青岛大学金明亮、宿杰&NUS葛树志团队： 非冯诺依曼柔性神经形态视觉传感器

欢迎星标 果壳硬科技

研究背景

现有的机器视觉在自动驾驶、人脸识别、无人机导航、工业检测、视频监控等方面已经达到了一定水平，但是面对复杂环境，比如高速运动、极端昏暗条件下，其综合性能还有待提高。目前，机器视觉系统面临的挑战有以下三点：

1. 如何采集良好的视觉数据。

2. 硅基半导体技术在跟上摩尔定律方面已经达到了极限，在芯片升级方面存在瓶颈；

3. 处理器与存储器间的信息传输存在缺陷。

人类视觉系统是我们感知系统中最重要的组成部分，它负责感知和处理人体获得的80%以上的信息。面对如此庞大的信息，人类视觉系统表现出低冗余、低功耗、强鲁棒性等优越的性能。这是现有的机器视觉系统无法比拟的。因此，重新审视人类视觉系统，借鉴其感知与处理信息的机制，有助于发展更高性能的机器视觉。在人类视觉系统中，视网膜在功能与结构上的特点可以辅助解决以上问题：

1. 视网膜曲面的结构保证较好的成像效果。若将机器视觉系统中感光模块制作为曲面，可进一步减少算力消耗；

2. 人类神经网络有助于神经网络算法的进一步发展。更优秀的算法可建立性能更高的机器视觉系统；

3. 视网膜作为感知模块的终点与信息处理的起点，仅由一个模块完成了两个模块的工作。若将机器视觉系统中感光模块与预处理模块进行集成，不仅能提升整体集成度，而且也能避免存储器壁(memory wall)的问题。

研究成果

近日，青岛大学金明亮团队、宿杰团队、新加坡国立大学葛树志团队发表综述文章，概述了一类受视网膜启发的具有“感存算一体化”功能的柔性神经形态视觉传感器的制作方式。相关成果以“On Non von Neumann Flexible Neuromorphic Vision Sensors”为题发表在npj Flexible Electronics上。

图 人类视觉系统、传统机器视觉系统和神经形态视觉系统的比较

本文从人类视觉系统出发，比较和讨论了人类视觉系统和传统机器视觉系统之间的差异。由于视觉信息的多样性和数据量较大，使用非冯诺伊曼结构的柔性神经形态视觉传感器可以有效地弥补基于冯诺伊曼架构的传统机器视觉系统的局限性。首先，本文讨论了视网膜信息处理机制的模仿方式，并概述了非冯·诺伊曼计算架构的原理和电路实现方法。

图 非冯·诺伊曼式计算架构.

其次，本文以二维材料为例，从光电材料与计算材料两种角度介绍了该类型传感器材料选择的一般标准，并对目前相关光电探测器性能进行了对比。

图 不同于硅的前沿材料

再次，在模拟视网膜表面结构方面，本文介绍了柔性传感器阵列的优势与制造方法。根据时间顺序对相关工作者的探索进行了总结。最后，本文分析了非冯·诺伊曼柔性神经形态视觉传感器目前面临的挑战，并对其未来的发展进行了展望。

图 早期的曲面视觉传感器阵列和柔性电子技术

图 柔性电子学技术的探索

论文信息

发布期刊 npj Flexible Electronics

发布时间 2024年5月7日

文章标题 On non-von Neumann flexible neuromorphic vision sensors

（https://doi.org/10.1038/s41528-024-00313-3）

研究团队 | 作者

酥鱼 | 编辑

如果你是投资人、创业团队成员或科研工作者，对果壳硬科技组织的闭门会或其它科创服务活动感兴趣，欢迎扫描下方二维码，或在微信公众号后台回复“企业微信”添加我们的活动服务助手，我们将通过该渠道组织活动——