面向自主智能的增强视觉传感器
机器视觉是自主智能体理解物理世界、与之交互的感知基础。但视觉信息在时空上天然异构:缓变的空间语义提供场景上下文,快变的时间动态承载关键而瞬态的事件。稳健感知要求把两者整合,代价却是感知数据量急剧膨胀,撞上存储、能量与传输的物理上限,形成所谓“数据墙”(图1a)。常规方案是让多个传感器并行采集异构信息,再在后端完成时空对齐、特征提取与计算融合(图1b(i)),但这需要多条物理上独立的数据通道,高分辨率数据还会压垮后端存储与处理器。更根本的限制在传感器自身:帧式传感器以全帧采样换取高空间保真,帧率却通常只有30–60fps,时间分辨率不足,导致混叠与动态细节丢失;事件驱动传感器以稀疏脉冲微秒级响应光强变化,却在像素级差分电路中丢弃绝对光强,空间语义缺失;混合式DAVIS在同一像素内同时输出帧与事件两路重数据流,数据量成倍叠加,后端融合计算繁重,像素级电路增多还会压低填充因子与空间分辨率(图1c)。因此,理想方案是在传感器前端以统一像素单元自适应处理异构信息流(图1b(ii))。
鉴于此,香港理工大学的柴杨教授提出并实现了一种增强视觉传感器:以约30帧/秒的低刷新率周期性地非易失存储高保真空间语义,同时以事件驱动方式异步增强快速变化的瞬态动态,等效时间分辨率为约10μs。高保真语义背景与高速时间动态在同一像素内融合,为异构数据的处理提供了高效的数据提取方式。基于34 × 34阵列的演示表明,该传感器在保持7.08信息熵的同时,将感知产生的数据量减少96%以上,并在高层推理任务中保持90%以上的准确率,为自主智能体提供了数据高效、时空精准的机器视觉硬件方案。相关论文以题为“Augmented vision sensors for data-efficient and precise spatiotemporal perception”发表在最新一期《nature sensors》上。
![]()
![]()
图 1 | 面向多样世界感知的机器视觉
增强视觉传感器的工作原理
帧式传感器按固定帧率同步采样绝对光强的空间分布,输出F = P(x, y, tn),tn =kTframe;事件驱动传感器只对光强变化做差分阈值判决,输出由(x, y, t, p)构成的稀疏事件集,p为极性;DAVIS则是帧序列与事件流在后端的计算融合。增强视觉传感器走的是另一条路径(图2a):先非易失地存入缓变的空间语义,再叠加事件驱动的时间动态,输出可写为Faugment = PVG(t)(x, y, t0) + ΔP(x, y, t)。它不提供两条独立通道,而是在硬件层直接给出统一的时空表征。物理上,它把光电子浮栅晶体管与 MIS 单元集成为一个TransMIS 单元(图2b、图2c),并采用光谱互补设计(图2d)。Sb2Se3层(Al2O3/Sb2Se3/Al2O3,30 nm/25nm/10 nm)带隙1.3 eV、吸收系数大于105 cm−1,以光辅助隧穿编码绝对光强并承担非易失存储;Si基MIS 单元(p-Si/Al2O3/IGZO,500 μm/40 nm/30 nm)覆盖可见光至近红外,靠光生载流子的电荷再分布完成光强变化的时间微分,即事件驱动增强;IGZO层(带隙3.4eV)不作感光介质,而作电荷融合通道,在可见至近红外波段高透明,可抑制寄生载流子注入与光学串扰(图2g、图2h)。信号由透明ITO电极读出。器件工作由周期栅压VG(t)调度(图3a–图3c)。负压阶段,Sb2Se3中的光生电子隧穿进入IGZO沟道,剩余空穴经静电栅控提高沟道电导,空间语义被非易失写入;VG = 0 V时,p-Si/Al2O3/IGZO界面耗尽区内的漂移驱动电荷再分布,无需外加偏置即可自驱动产生事件电流;正压阶段,IGZO中的电子隧穿回浮栅,擦除存储并复位。连续电流曲线(图3d )显示:语义电流Isemantic构成非易失基线,动态电流Idynamic以瞬态尖峰叠加其上,只有偏离基线且超过预设阈值的部分才被编码为事件,总输出为Iaugmentation= Isemantic + Idynamic。图3e的交通场景演示了“存入路面标线—增强驶过车辆—刷新”的完整循环。
![]()
图 2 | 增强视觉传感器的像素设计
![]()
图 3 | 增强视觉传感器的操作原理
空间语义存储与时间动态增强
与常规光电子浮栅晶体管不同,该器件以“感光浮栅”而非感光沟道作电荷存储介质,使光、电两类刺激得以共存,实现光辅助Fowler–Nordheim 隧穿,隧穿电子浓度Δp = ΔpsTWKB,其中TWKB按Wentzel–Kramer–Brillouin近似计算。电学上,只有VG超过临界隧穿阈值才发生有效态切换(图4a、图4b);光学上,非易失态可被入射光的波长与强度调制,因而支持空间语义的多级存储(图4c)。VG = 0 V时隧穿势垒足够高,已存电荷与后续事件响应在电学上相互隔离,事件瞬态主要由MIS单元的光强变化决定。时间动态增强的效果见(图4d):光强阶跃上升(暗态→1 mW cm−2→10 mWcm−2)产生负尖峰,阶跃下降产生正尖峰;该增强覆盖可见与近红外波段,近红外响应更强(图4e,520 nm、660 nm、808 nm、980 nm)。器件可探测光功率跨17 nWcm−2至100 mW cm−2,动态范围超过120 dB(图4f);信噪比高于30dB,最小可探测光强低至纳瓦每平方厘米量级;事件响应高度对称,对称指数为 0.87(图4g)。响应时间(峰值10%至 90%区间)为3.8μs(图4h),时间分辨率为10.2μs,等效帧率约 100,000fps;在100μs与10μs的事件间隔下,仍能无失真地区分连续事件(图4i)。对旋转目标成像时,30fps 帧式传感器出现明显运动模糊,增强视觉传感器则持续保持高保真动态特征。
![]()
图 4 | 用于空间语义存储和时间动态增强的增强视觉传感器特点
面向时空感知的增强视觉传感器阵列
研究构建了34 ×34 阵列(图5a、图5b),像素经Cr/Au 金属层互连为crossbar结构,并配有专用寻址控制电路;样机由阵列、控制电路和含激光源与反射式空间光调制器(SLM)的可编程光学装置组成,由FPGA 驱动(图5c)。概念验证中,字母“P”先被写入为非易失空间语义,字母“U”随后作为瞬态刺激被投影,事件响应与已存语义耦合输出(图5d)。在240 × 180分辨率、同 一交通场景下,对 帧式传感器、事件 驱动传感器、DAVIS与增强视觉传感器并行实时成像(图5f–图5i)。以1 s时间窗内的原始传输比特量衡量数据效率(图5j):1,000fps高速帧式传感器具备微秒级时间分辨率,却产生562.5 Mbit的过量数据;100fps低速帧式传感器与DAVIS的数据量约低一个数量级,前者时间分辨率严重退化,后者仍需繁重后端算力且未真正消除冗余;事件驱动传感器压缩率超过99%,但完全丢弃绝对空间语义,信息熵仅0.09,任务准确率跌至约60%。增强视觉传感器以30 fps刷新空间语义抑制冗余、以微秒级稀疏编码刻画动态,数据量减少96.92%,信息熵仍达7.08,识别准确率超过90%(图5k、图5l)。与现有原型相比,它在极简的硬件复杂度下同时具备微秒级瞬态响应与超过120dB的动态范围。
![]()
图 5 | 用于数据高效、时空精确感知的增强视觉原型
结论与展望
该工作把异构视觉感知的复杂性从数字后端前移到模拟传感器前端:低频非易失存储缓变语义,异步事件增强快变动态,从而在数据高效的前提下兼顾时空精度——时间分辨率约 10μs,动态范围超过120 dB,响应覆盖可见至近红外。样机在数据量减少 96%以上的同时,保持 7.08 的信息熵与 90%以上的高层任务准确率。这一时空精准、数据高效的硬件路径,有望成为下一代机器视觉与具身智能的前端感知基础。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.