科学家设计可重构神经形态视觉传感器，能用于运动目标监测

近日，香港理工大学郝建华教授团队将铁电与二维材料进行融合，设计出新型的可重构神经形态视觉传感器来实现对运动目标的监测。

（来源：https://www.polyu.edu.hk/sc/academicians/our-distinguished-scholars/hao-jianhua/）

铁电门的特性源于双向完全极化的状态之间，存在多个中间级别，使其能够灵活调节。这种特性有助于精确控制原子超薄二维材料的掺杂程度和电子输运行为。

这种方法增强了对神经形态突出权重的准确编程的灵活性和可调性，能够实现优异的线性度和多态下均匀的步长变化，从而抵消难以控制的方法和不可预测的波动限制。

并且，基于铁电与二维材料的可重构神经形态视觉传感器具有可连续逐渐调节的正负光电导，因此可以成功模拟视网膜中信号接收感知、转换传导、信息处理和修改的过程。

运动目标的检测与识别已成为智能场景中的核心需求，如智能家居、人工视觉、安全监控、无人驾驶汽车和军事防御。

铁电材料是一种非中心对称晶体材料，由于形成稳定的电偶极子而表现出非易失可调节的电极化的能力，其优异的特性可以用作存储单元。

未来结合大规模材料生长和器件制备手段，有望代替基于互补金属氧化物半导体的图像传感器平台。

谈及开展本次研究的原因，该团队表示传统的基于每一帧的图像传感器，以固定的帧率传递绝对光强度，忽视了被探测主题的主要变化，因此生成大量冗余的视觉数据并且传递的有效信息有限。

受生物视网膜的启发，神经节细胞对不同的运动表现出选择性响应，所以可以基于事件驱动，仅响应场景中的相关变化。

传统的图像传感器芯片在不同模块之间需要大量额外的块和复杂的数据转换、传输、存储和处理操作，与智能应用所追求的便携性和高效率的目标相悖。

此外他们还发现，在推断和学习神经形态应用的背景下，具有高准确性和能量效率的神经网络发挥着至关重要的作用。

具有多态可区分和高线性突触权重更新影响了视觉传感器系统的均一性和准确性的表现。同时，提高整体能量效率并建立自供电系统对于视觉传感器至关重要。

基于此，他们定下本次课题并根据要实现的性能和特征，确定基本的器件结构，进行一系列的表征和测试。

在时域算法的实现部分，他们与香港理工大学同在应用物理系的柴扬教授课题组合作。

感存算一体架构由于运动目标的驱动特性，在光照强度变化时触发并输出信息，避免了静态背景导致的冗余信息，因此适合用于处理动态场景任务。

再结合时域算法，他们发现每读取一个图片的像素值阵列，铁电器件的正负响应的范围会生成两个新的像素值阵列，根据时间顺序进行叠加，便可以突出运动的事件。

与此同时，生物视觉系统可以在复杂环境中高效地感知运动。这种自然特征带动了高效硬件资源的设计以及机器视觉系统的推进。

而用于动作识别的传统机器视觉系统通常涉及复杂的人工神经网络，因此近几年来他们也逐渐进入神经形态器件和人工视觉领域。

本次研究中，他们探讨了重要一个问题：即是否可以利用传感器感知动态运动，并且将感知存储和信息的处理集合在同一个器件单元中？基于这一讨论，他们在本次研究中结合铁电的非易失性和多级中间态以及二维材料易受外场控制的特性，借助人工神经网络识别出了运动目标的特征。

受到人类视网膜的运动感知启发，这项研究在机器视觉系统中以智能方式显著提高了对于静态信息和动态信息的区分和处理。

至此，研究正式完成。日前，相关论文以《基于铁电调制的可重构神经形态视觉传感器实现目标运动检测》（Object Motion Detection Enabled by Reconfigurable Neuromorphic Vision Sensor under Ferroelectric Modulation）为题发在ACS Nano[1]，党兆盈是第一作者，香港理工大学郝建华教授担任通讯作者。

研究人员表示，利用他们之前研究中使用的仿生视觉传感器为基础，他们成功模拟了类似于生物视觉系统中发现的一系列感知和预处理功能。

这些功能包括适应不同的光强度、在传感器内执行神经网络处理、检测运动和编码视觉信息 [2]。

为了促进视觉传感器的实际实施，整合多模感知变得至关重要。这突显了改进特定视觉传感器以捕捉更广泛的与光相关的数据的重要性。

参考资料：

1.Dang, Z., Guo, F., Wang, Z., Jie, W., Jin, K., Chai, Y., & Hao, J. (2024). Object Motion Detection Enabled by Reconfigurable Neuromorphic Vision Sensor under Ferroelectric Modulation.ACS nano, 18(40), 27727-27737.

2.ACS NanoDOI: 10.1021/acsnano.4c10231 (2024)；Adv. Electron.Mater. DOI: 10.1002/aelm.202400528 (2024)；Adv. Funct. Mater.34, 2400105 (2024)；Mater. Horiz.10, 3719 (2023)；Nano Lett.23, 6752 (2023)

3. Feng Guo, Menglin Song, Man-Chung Wong, Ran Ding, Weng Fu Io, Sin-Yi Pang, Wenjing Jie, and Jianhua Hao, "Multifunctional optoelectronic synapse based on ferroelectric Van der Waals heterostructure for emulating the entire human visual system",Adv. Funct. Mater., 32, 2108014 (2022) (Top 10 most downloaded papers).

运营/排版：何晨龙