受鲤鱼启发！香港科技大学，最新Nature Materials

仿鲤科鱼类的半球形串联视网膜实现全彩视觉与事件驱动运动检测

传统机器视觉系统长期受困于平面图像传感器的固有局限。为实现宽视场成像，平面探测器不得不依赖复杂的多元件镜头组，这不仅限制了设备的微型化，还引入了严重的场曲和色差问题。同时，基于帧的成像模式会产生海量冗余数据，给外部处理器带来沉重的计算负担，导致能耗居高不下。受鲤科鱼类卓越视觉能力的启发，一种全新的仿生设计理念应运而生——通过模拟生物视网膜的曲面几何结构和分层色彩感知机制，有望从根源上破解这些技术瓶颈。

香港科技大学范智勇教授团队报告了一种名为“串联半球形仿生视网膜神经元阵列”（THE-BRENA）的突破性仿生眼系统（图1d）。该系统采用半球形串联人工视网膜，集成了367,500个像素，像素密度高达1,905 ppi，实现了300至800纳米宽谱段的全彩成像，并将无像差视场角拓展至160°以上（图1f）。更重要的是，其串联设计赋予设备在传感器内进行事件驱动运动检测的能力，将带宽需求降低了99.95%以上，运动识别准确率达到了98.6%（图1g），为下一代紧凑型、多功能智能视觉系统铺平了道路。相关论文以“An aberration-corrected bionic eye for full-colour vision and event-driven motion detection”为题，发表在Nature Materials上。

图1 | 生物视觉与仿生设计。a，鱼类眼睛的球形晶状体与超宽视场示意图，以及鲤科鱼类的照片。b，鲤科鱼类眼睛及其神经元结构示意图。c，具备高效运动处理功能的视网膜神经元阵列。d，本仿生眼器件的结构示意图。DAQ，数据采集。e，具备全彩运动检测能力的THE-BRENA结构。f，集成仿生眼器件的照片。g，全彩运动检测能力。

研究人员从鲤科鱼类的视觉系统中汲取了核心设计思想。这种鱼类凭借球形晶状体和分层分布的视锥细胞，能够在水下昏暗环境中实现宽视场消色差成像（图1a）。鲤科鱼类的视网膜拥有独特的垂直堆叠结构——不同深度的视锥细胞与不同波长的焦点位置精确匹配，从而有效校正了色差（图1b）。受此启发，研究团队构建了THE-BRENA仿生眼，其核心在于三层层叠的半球形视网膜，分别对应红、绿、蓝三色（图1e），每层视网膜由核-双壳层钙钛矿-金属氧化物异质结纳米线阵列构成，模拟了生物视网膜神经元的光信号转换功能（图2a,b）。集成后的器件实物显示，这一半球形人工视网膜通过金输入/输出触点与印刷电路板牢固连接，整体结构紧凑而精密（图3d,f）。

该器件的每层视网膜都表现出高度特异的光谱响应。蓝、绿、红三层视网膜分别在405纳米、520纳米和650纳米波长处具有选择性响应峰值，覆盖了从紫外到近红外的宽广波段（图2c）。这种色彩选择性来源于钙钛矿材料带隙的精确工程调控。器件内部的钙钛矿-NiO-InO异质结能带结构，使得纳米线在光照下能够自供能地产生光电流，无需外部偏压（图2d）。当周期性光照作用于各层视网膜时，器件表现出快速且稳定的开关响应特性，每一次光照开启都产生瞬态电流尖峰，关闭时电流迅速归零（图2e-g），完美模拟了生物视网膜ON和OFF神经节细胞对光强变化的瞬态反应——这正是事件驱动视觉的核心机制（图2h）。

图2 | 仿生眼系统的自供能光响应。a，视网膜结构及其生物光响应示意图。b，纳米线结构及其仿生光响应行为示意图。c，B、G、R三层视网膜的光谱灵敏度。d，钙钛矿-NiO-InO异质结能带图。e–g，周期光照下的事件驱动光响应：B视网膜在405 nm（1.15 mW cm⁻²）；G视网膜在520 nm（1.62 mW cm⁻²）；R视网膜在650 nm（1.28 mW cm⁻²）。h，运动检测原理示意图。

要在半球形基底上实现高密度像素阵列，制造工艺面临巨大挑战。研究团队开发了一种三维激光雕刻技术，通过逐层调整激光焦点高度，在半球形表面精确刻蚀出交叉电极图案（图3a）。这种工艺在15分钟内即可完成整个图形化过程，电极间距达到40微米（图3b）。从不同尺度的电极照片可以清晰看到，交叉电极在曲面基底上均匀分布、连续无断裂（图3e）。三层视网膜的实物照片各自呈现半透明薄膜状，贴合于半球形支架表面（图3g）。像素均匀性测试表明，整个阵列的像素响应高度一致（图3h），验证了气相纳米线合成和全局电极图形化方法的可靠性。由于半球形基底上每一层的平面投影密度为635 ppi，三层垂直堆叠后总像素密度高达1,905 ppi（图3i）——这一数值远超此前报道的任何半球形图像传感器。

图3 | 基于THE-BRENA的高分辨率仿生眼器件。a，THE-BRENA结构示意图。b，交叉电极设计示意图。c，THE-BRENA结构的等效电路图。d，连接PCB板的人工视网膜照片。e，不同尺度下的交叉电极照片。f，连接人工视网膜与PCB板的金输入/输出触点照片。g，B、G、R三层视网膜照片。h，三层器件的像素均匀性。i，半球基底上随角度变化的像素密度。

在运动检测应用中，THE-BRENA展现出与传统帧式相机截然不同的工作模式。当移动物体穿过视场时，每个像素独立检测光强的增加（ON响应）或减少（OFF响应），从而同时提取物体的形状和运动方向信息（图4a,b）。基于当前检测到的位置和运动矢量，系统能够实时外推物体的未来轨迹（图4c）。在包含红色物体的全彩运动检测演示中，R视网膜层对该红色物体产生了显著强于B和G层的信号，验证了色彩通道在运动检测中的区分能力（图4d,e）。研究团队通过模拟进一步验证了该系统在复杂场景下的轨迹预测功能——多个物体同时运动时，各自的运动轨迹被清晰分离并外推至未来时刻（图4f）。这一过程完全在传感器层面完成，无需将原始图像数据传输至外部处理器，从根本上消除了传统方案中的数据冗余。

受动物视觉系统中视网膜-大脑信息处理通路的启发（图4g），研究团队将THE-BRENA与卷积神经网络-长短期记忆（CNN-LSTM）模型相结合（图4h）。在这一架构中，仿生眼输出的稀疏事件数据直接馈入CNN层进行空间特征提取，随后由LSTM层处理时序动态信息，最终完成运动模式的识别与分类。与传统相机需要连续传输数十帧完整图像不同，THE-BRENA仅输出动态变化像素的信息。定量对比显示，在同一视频片段的处理中，传统相机的带宽需求随帧率线性增长，而THE-BRENA由于仅响应变化像素，带宽占用始终维持在极低水平，削减幅度超过99.95%（图4i）。令人瞩目的是，即便仅向CNN-LSTM网络输入一帧事件数据，训练五个周期后系统的运动识别准确率即达到98.57%（图4j），充分证明了事件驱动表征在信息密度上的巨大优势。

图4 | 基于THE-BRENA的仿生眼运动检测与轨迹预测系统。a，感兴趣场景。b，基于THE-BRENA仿生眼的场景重建（正负光电流分别独立归一化）。c，轨迹预测功能。d，全彩运动信息检测演示中的感兴趣场景。e，基于THE-BRENA器件的色彩通道相关场景重建。f，模拟运动检测与轨迹预测。g，动物视觉系统示意图。h，CNN-LSTM模型架构。i，传统相机与THE-BRENA仿生眼的带宽需求对比（基于相同视频片段在不同帧率下激活像素数的计算）。j，训练五个周期后的运动检测准确率（THE-BRENA输入1帧，传统相机输入1-9帧）。插图：基于仿生眼的MDR系统训练准确率。

传统超广角镜头虽然能够覆盖大范围场景，但不可避免地引入场曲和色差等光学缺陷。在单层人工视网膜器件中，当绿色光精确聚焦时，蓝色和红色图案分别聚焦在视网膜前后方，导致严重的色彩模糊（图5d-g）。而THE-BRENA的串联设计完美解决了这一问题——通过将三层半球形视网膜分别置于球面透镜对应蓝、绿、红波长的焦点位置，每种颜色的光都在其对应的视网膜层上形成清晰焦点（图5b,c）。实验重建结果显示，单层器件的红蓝通道模糊严重，而三层器件的所有色彩通道均呈现锐利成像（图5h,i）。对于场曲像差，球面透镜的像面本身是弯曲的，恰好与THE-BRENA的半球形探测器几何匹配。定量测量表明，即使入射角达到80°，聚焦光斑直径仍能保持在5微米以下（图5l）。而平面传感器即使在串联配置下，由于像面与探测器平面的失配，仅中心区域能够清晰成像，边缘区域完全模糊（图5j,k）。这一对比直观地展示了半球形探测器在超宽视场成像中的根本性优势（图5m,n）。

图5 | 基于THE-BRENA仿生眼的像差校正视觉。a，感兴趣场景。b，基于仿生眼的场景重建示意图。c，基于THE-BRENA仿生眼（350×350×3像素）的场景重建。d，基于单层人工视网膜的场景重建示意图。e，基于单层人工视网膜的模拟场景重建。f，聚焦于THE-BRENA仿生眼和单层视觉器件上的波长相关光斑直径。g，基于THE-BRENA仿生眼和单层视觉器件的白光光斑成像示意。h,i，单层视觉器件（h）和THE-BRENA仿生眼（i）在场景重建演示中的RGB通道输出。j，基于串联平面图像传感器的场景重建示意图。k，基于串联平面图像传感器的模拟场景重建。l，聚焦于THE-BRENA仿生眼和平面图像传感器上的角度相关光斑直径。m,n，基于串联平面图像传感器（m）和THE-BRENA仿生眼（n）在不同入射角下对光斑的成像示意。

该研究成功将仿生曲面探测器、全彩光谱响应和事件驱动计算集成于一体，解决了长期困扰视觉传感器的场曲和色差难题，同时大幅降低了运动检测任务中的数据传输和计算能耗。THE-BRENA仿生眼不仅达到了实用化的分辨率水平，其基于三维激光雕刻的制造工艺也具备大规模生产的潜力。随着该技术的持续迭代，未来在自动驾驶、智能机器人和无人机视觉等领域，将有望出现更小巧、更高效、更智能的仿生视觉系统，为机器赋予接近生物视觉系统的环境感知能力。