网易首页 > 网易号 > 正文 申请入驻

ACS Nano副主编,最新Nature Sensors!

0
分享至

面向自主智能的增强视觉传感器

机器视觉是自主智能体理解物理世界、与之交互的感知基础。但视觉信息在时空上天然异构:缓变的空间语义提供场景上下文,快变的时间动态承载关键而瞬态的事件。稳健感知要求把两者整合,代价却是感知数据量急剧膨胀,撞上存储、能量与传输的物理上限,形成所谓“数据墙”(图1a)。常规方案是让多个传感器并行采集异构信息,再在后端完成时空对齐、特征提取与计算融合(图1b(i)),但这需要多条物理上独立的数据通道,高分辨率数据还会压垮后端存储与处理器。更根本的限制在传感器自身:帧式传感器以全帧采样换取高空间保真,帧率却通常只有30–60fps,时间分辨率不足,导致混叠与动态细节丢失;事件驱动传感器以稀疏脉冲微秒级响应光强变化,却在像素级差分电路中丢弃绝对光强,空间语义缺失;混合式DAVIS在同一像素内同时输出帧与事件两路重数据流,数据量成倍叠加,后端融合计算繁重,像素级电路增多还会压低填充因子与空间分辨率(图1c)。因此,理想方案是在传感器前端以统一像素单元自适应处理异构信息流(图1b(ii))。

鉴于此,香港理工大学的柴杨教授提出并实现了一种增强视觉传感器:以约30帧/秒的低刷新率周期性地非易失存储高保真空间语义,同时以事件驱动方式异步增强快速变化的瞬态动态,等效时间分辨率为约10μs。高保真语义背景与高速时间动态在同一像素内融合,为异构数据的处理提供了高效的数据提取方式。基于34 × 34阵列的演示表明,该传感器在保持7.08信息熵的同时,将感知产生的数据量减少96%以上,并在高层推理任务中保持90%以上的准确率,为自主智能体提供了数据高效、时空精准的机器视觉硬件方案。相关论文以题为“Augmented vision sensors for data-efficient and precise spatiotemporal perception”发表在最新一期《nature sensors》上。



图 1 | 面向多样世界感知的机器视觉

增强视觉传感器的工作原理

帧式传感器按固定帧率同步采样绝对光强的空间分布,输出F = P(x, y, tn),tn =kTframe;事件驱动传感器只对光强变化做差分阈值判决,输出由(x, y, t, p)构成的稀疏事件集,p为极性;DAVIS则是帧序列与事件流在后端的计算融合。增强视觉传感器走的是另一条路径(图2a):先非易失地存入缓变的空间语义,再叠加事件驱动的时间动态,输出可写为Faugment = PVG(t)(x, y, t0) + ΔP(x, y, t)。它不提供两条独立通道,而是在硬件层直接给出统一的时空表征。物理上,它把光电子浮栅晶体管与 MIS 单元集成为一个TransMIS 单元(图2b、图2c),并采用光谱互补设计(图2d)。Sb2Se3层(Al2O3/Sb2Se3/Al2O3,30 nm/25nm/10 nm)带隙1.3 eV、吸收系数大于105 cm−1,以光辅助隧穿编码绝对光强并承担非易失存储;Si基MIS 单元(p-Si/Al2O3/IGZO,500 μm/40 nm/30 nm)覆盖可见光至近红外,靠光生载流子的电荷再分布完成光强变化的时间微分,即事件驱动增强;IGZO层(带隙3.4eV)不作感光介质,而作电荷融合通道,在可见至近红外波段高透明,可抑制寄生载流子注入与光学串扰(图2g、图2h)。信号由透明ITO电极读出。器件工作由周期栅压VG(t)调度(图3a–图3c)。负压阶段,Sb2Se3中的光生电子隧穿进入IGZO沟道,剩余空穴经静电栅控提高沟道电导,空间语义被非易失写入;VG = 0 V时,p-Si/Al2O3/IGZO界面耗尽区内的漂移驱动电荷再分布,无需外加偏置即可自驱动产生事件电流;正压阶段,IGZO中的电子隧穿回浮栅,擦除存储并复位。连续电流曲线(图3d )显示:语义电流Isemantic构成非易失基线,动态电流Idynamic以瞬态尖峰叠加其上,只有偏离基线且超过预设阈值的部分才被编码为事件,总输出为Iaugmentation= Isemantic + Idynamic。图3e的交通场景演示了“存入路面标线—增强驶过车辆—刷新”的完整循环。


图 2 | 增强视觉传感器的像素设计


图 3 | 增强视觉传感器的操作原理

空间语义存储与时间动态增强

与常规光电子浮栅晶体管不同,该器件以“感光浮栅”而非感光沟道作电荷存储介质,使光、电两类刺激得以共存,实现光辅助Fowler–Nordheim 隧穿,隧穿电子浓度Δp = ΔpsTWKB,其中TWKB按Wentzel–Kramer–Brillouin近似计算。电学上,只有VG超过临界隧穿阈值才发生有效态切换(图4a、图4b);光学上,非易失态可被入射光的波长与强度调制,因而支持空间语义的多级存储(图4c)。VG = 0 V时隧穿势垒足够高,已存电荷与后续事件响应在电学上相互隔离,事件瞬态主要由MIS单元的光强变化决定。时间动态增强的效果见(图4d):光强阶跃上升(暗态→1 mW cm−2→10 mWcm−2)产生负尖峰,阶跃下降产生正尖峰;该增强覆盖可见与近红外波段,近红外响应更强(图4e,520 nm、660 nm、808 nm、980 nm)。器件可探测光功率跨17 nWcm−2至100 mW cm−2,动态范围超过120 dB(图4f);信噪比高于30dB,最小可探测光强低至纳瓦每平方厘米量级;事件响应高度对称,对称指数为 0.87(图4g)。响应时间(峰值10%至 90%区间)为3.8μs(图4h),时间分辨率为10.2μs,等效帧率约 100,000fps;在100μs与10μs的事件间隔下,仍能无失真地区分连续事件(图4i)。对旋转目标成像时,30fps 帧式传感器出现明显运动模糊,增强视觉传感器则持续保持高保真动态特征。


图 4 | 用于空间语义存储和时间动态增强的增强视觉传感器特点

面向时空感知的增强视觉传感器阵列

研究构建了34 ×34 阵列(图5a、图5b),像素经Cr/Au 金属层互连为crossbar结构,并配有专用寻址控制电路;样机由阵列、控制电路和含激光源与反射式空间光调制器(SLM)的可编程光学装置组成,由FPGA 驱动(图5c)。概念验证中,字母“P”先被写入为非易失空间语义,字母“U”随后作为瞬态刺激被投影,事件响应与已存语义耦合输出(图5d)。在240 × 180分辨率、同 一交通场景下,对 帧式传感器、事件 驱动传感器、DAVIS与增强视觉传感器并行实时成像(图5f–图5i)。以1 s时间窗内的原始传输比特量衡量数据效率(图5j):1,000fps高速帧式传感器具备微秒级时间分辨率,却产生562.5 Mbit的过量数据;100fps低速帧式传感器与DAVIS的数据量约低一个数量级,前者时间分辨率严重退化,后者仍需繁重后端算力且未真正消除冗余;事件驱动传感器压缩率超过99%,但完全丢弃绝对空间语义,信息熵仅0.09,任务准确率跌至约60%。增强视觉传感器以30 fps刷新空间语义抑制冗余、以微秒级稀疏编码刻画动态,数据量减少96.92%,信息熵仍达7.08,识别准确率超过90%(图5k、图5l)。与现有原型相比,它在极简的硬件复杂度下同时具备微秒级瞬态响应与超过120dB的动态范围。


图 5 | 用于数据高效、时空精确感知的增强视觉原型

结论与展望

该工作把异构视觉感知的复杂性从数字后端前移到模拟传感器前端:低频非易失存储缓变语义,异步事件增强快变动态,从而在数据高效的前提下兼顾时空精度——时间分辨率约 10μs,动态范围超过120 dB,响应覆盖可见至近红外。样机在数据量减少 96%以上的同时,保持 7.08 的信息熵与 90%以上的高层任务准确率。这一时空精准、数据高效的硬件路径,有望成为下一代机器视觉与具身智能的前端感知基础。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
纳指尾盘跌幅扩大至5% 恐慌指数升破36

纳指尾盘跌幅扩大至5% 恐慌指数升破36

财联社
2026-11-21 05:06:02
俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

扶苏聊历史
2026-11-19 18:17:35
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
75岁母亲得知儿子住院,凌晨拄拐步行4公里去探望,到了医院却怎么也找不到;警方通过人脸识别帮她找到儿子,儿子却说:本想瞒着她的

75岁母亲得知儿子住院,凌晨拄拐步行4公里去探望,到了医院却怎么也找不到;警方通过人脸识别帮她找到儿子,儿子却说:本想瞒着她的

农民日报
2026-11-20 13:29:01
降价18.78万,奥迪 “头等舱” 新车:继续开售 !

降价18.78万,奥迪 “头等舱” 新车:继续开售 !

沙雕小琳琳
2026-11-21 08:33:12
为什么现在部分股民对中国股市有这么大的怨气?

为什么现在部分股民对中国股市有这么大的怨气?

星语者056
2026-11-21 10:21:43
37分!18篮板!11助攻!联盟第1!MVP大黑马诞生

37分!18篮板!11助攻!联盟第1!MVP大黑马诞生

微评体育圈
2026-11-21 09:19:07
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
双状元56+21破纪录,另一状元却挂零!单节仅丢9分,鱼腩真要变黑马

双状元56+21破纪录,另一状元却挂零!单节仅丢9分,鱼腩真要变黑马

锅子篮球
2026-11-21 15:56:09
独子新交的女友,竟是其前妻出轨对象的妻子;老两口担心儿子“恋爱脑”导致仅剩的房产外流,立遗嘱:财产全留给孙女,由孙女负责生养死葬

独子新交的女友,竟是其前妻出轨对象的妻子;老两口担心儿子“恋爱脑”导致仅剩的房产外流,立遗嘱:财产全留给孙女,由孙女负责生养死葬

扬子晚报
2026-11-21 14:54:43
马斯克的星舰,正在亲手毁掉一个行业

马斯克的星舰,正在亲手毁掉一个行业

林子说事
2026-11-20 02:30:03
终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

混沌录
2026-11-20 10:25:16
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
深圳APEC最治愈的一幕:真正的大国格局,从不用统一定义体面!

深圳APEC最治愈的一幕:真正的大国格局,从不用统一定义体面!

故事终将光明磊落
2026-11-21 09:45:41
最高检公布案例:黄某升强奸再审抗诉案,由无罪改判为五年六个月;孙某飞强奸、猥亵儿童二审抗诉案,由四年十一个月改判为十四年

最高检公布案例:黄某升强奸再审抗诉案,由无罪改判为五年六个月;孙某飞强奸、猥亵儿童二审抗诉案,由四年十一个月改判为十四年

台州交通广播
2026-11-21 13:07:43
C罗回击滕哈赫:能接受穆里尼奥批评,为何不能接受前曼联主帅?

C罗回击滕哈赫:能接受穆里尼奥批评,为何不能接受前曼联主帅?

雅儿姐姐爱侃剧
2026-11-21 11:23:07
中国台北代表施振荣的不习,映照台当局在两岸交流上的政治操弄!

中国台北代表施振荣的不习,映照台当局在两岸交流上的政治操弄!

有态度的何总
2026-11-21 08:06:02
林依轮给儿子买房子,儿子节目说谎了,婚后公婆全款买房不归儿媳

林依轮给儿子买房子,儿子节目说谎了,婚后公婆全款买房不归儿媳

椰黄娱乐
2026-11-21 14:47:38
火箭不敌掘金 两队僵持了整场 为何火箭最终能输掉比赛

火箭不敌掘金 两队僵持了整场 为何火箭最终能输掉比赛

大话火箭队
2026-11-21 16:42:49
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
2026-11-21 16:55:00
高分子科学前沿 incentive-icons
高分子科学前沿
高分子领域第一自媒体
17190文章数 66946关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
房产
亲子
手机
军事航空

艺术要闻

2026第七届民族美术作品展 油画选二

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

亲子要闻

流感季随寒流杀到致学龄儿童中招 专家:接种疫苗仍来得及!

手机要闻

对标iPhone Duo!摩托罗拉首款阔折叠Razr Flex 2027渲染图出炉

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版