2026年，视觉传感器如何发展？

混合视觉传感器(HVS)提供了一条更切实际的前进道路。

在过去几年中，基于事件的视觉传感器(EVS)在半导体和人工智能(AI)行业持续受到关注。与传统的CMOS图像传感器(CIS)不同，这种受生物启发的设备仅检测场景中的变化，而不是连续采样静态图像。每个像素独立运行，当光照变化超过阈值时触发事件。这种架构实现了连续的时间感知、高达数万帧/秒的超高有效帧率以及极宽的动态范围。

这些特性使EVS成为汽车安全、工业自动化、医疗成像和消费电子等应用极具吸引力的候选方案。然而，尽管经过多年的研究活动和多次商业发布，其采用率仍然不均衡——特别是在消费市场。

在最近的一次采访中，AlpsenTek（锐思智芯）创始人兼首席执行官邓坚从更广泛的系统级角度，阐述了EVS为何难以规模化，以及混合视觉传感器(HVS)如何提供一条更切实际的前进道路。

“AI时代需要对外部世界进行多维、多模态的理解，”邓坚解释道。“以智能驾驶为例。一个稳健的视觉系统理想情况下需要多个维度的信息：二维图像平面；深度；颜色或光谱数据；以及至关重要的时间和运动。这五个维度共同构成了现代机器视觉的基础。”

传统的图像传感器提供空间细节。飞行时间(ToF)和其他测距传感器增加深度信息。光谱传感器扩展颜色信息。时间和运动可以从视频流中提取——但成本巨大。传统视频依赖于固定的帧率，产生大量冗余数据，并且需要大量计算来提取有意义的运动线索。

“基于事件的视觉工作方式不同，”邓坚说。“受人类视网膜启发，它仅将变化编码为稀疏的事件信号。它通过直接、高效且连续地捕捉运动信息，来补充基于帧的传感器。”

自2019年成立以来，AlpsenTek一直致力于将这两种范式集成到单个设备中。其混合视觉传感器在像素级融合了基于事件和基于帧的传感技术。随着时间的推移，该公司计划进一步整合包括距离测量和光谱传感在内的其他模态，打造邓坚所描述的面向下一代AI系统的“全栈”视觉传感器。

在此背景下，采访探讨了定义HVS商业和技术轨迹的五个关键问题。

HVS（混合视觉传感器）的角色究竟是什么？

从核心上讲，HVS在单个传感器内集成了传统成像和基于事件的视觉。虽然EVS的原理已被广泛报道（EVS具有公认的优势，包括低数据输出、快速响应和高动态范围），但HVS的决定性特征在于其定位：它首先是一个图像传感器，而不是纯粹的事件传感器。

据AlpsenTek介绍，HVS通过在同一像素阵列中集成图像采样电路和事件检测电路，实现了专有的像素级融合。利用像素内传感和处理架构——如iampCOMB、GESP和IN-PULSE DiADC——以及TILTech和PixMUX等时间交织读出技术，HVS支持三种工作模式：传统图像模式、事件模式和混合模式。

虽然邓坚没有透露详细的像素架构，但他强调，HVS应被理解为CIS的进化步骤，而不是一种平行技术。在许多应用中，它作为主要成像传感器而非辅助设备发挥作用。

在将HVS与纯EVS传感器进行比较时，这一区别很重要。“纯事件传感器可以超过10000帧/秒，”邓坚指出。“它们非常适合成本敏感度较低的超高速场景。”相比之下，HVS平衡了多个指标：帧率、动态范围、像素尺寸、功耗、数据量和成本。

与纯基于事件的传感器相比，HVS能够提供高质量的图像数据。通过持续优化，AlpsenTek的HVS传感器可以轻松实现等效1000fps的帧率和120dB的动态范围，同时保持比纯事件传感器低得多的成本。这种平衡使其适合大批量市场。

邓坚还强调了传感器集成的更广泛行业趋势。例如在智能手机中，ToF和光谱传感器已经支持成像管线。随着时间的推移，这些模态正越来越多地被直接吸收到图像传感器中。

“我们的路线图遵循这一方向，”邓坚说。“基于事件的传感最终将被集成到主摄或超广角摄像头中。它将成为传感器的一部分，而不是一个独立的组件。”

从AlpsenTek的角度来看，HVS解决了视觉系统中数据配准的一个根本性缺口。“真实的运动信息至关重要，”邓坚说。“没有其他传感方法能像EVS那样高效地捕捉运动。但运动数据最终必须在时空坐标内与空间图像数据进行映射或配准。这正是HVS具有天然优势的地方。”

HVS能做什么？应用场景

原则上，任何适合事件相机的应用也可以从HVS中受益。在实践中，输出标准图像数据的能力显著拓宽了可行用例的范围。

汽车系统展示了这一优势。基于事件的传感提供高动态范围、快速响应、低延迟和低数据冗余——这些属性非常适合光照快速变化的环境。邓坚将事件传感描述为能够实现“抢占式评估”。

“传统的图像传感器提供丰富的视觉细节，”他说。“但曝光需要时间，从细节中提取关键信息也需要时间。这降低了系统响应速度。”

相比之下，基于事件的传感可以快速为车辆提供粗略的输入数据，例如快速移动物体的存在。这些线索随后通过复杂的算法触发更详细的语义分析，从而缩短响应时间，提高安全性并降低功耗。

在智能手机中，HVS支持高时间分辨率的动作捕捉，即使在低光条件下也是如此。运动信息可以显著改善图像增强效果，如去模糊、HDR成像和视频帧插值。对于视频拍摄和基于AI的后处理（AI编辑），它提供了一个稀疏且连续的基于事件的参考，在原本有明显间隔的图像帧之间保持时间一致性。

据邓坚介绍，AlpsenTek还开发了紧凑型HVS设备，旨在与智能手机主摄更直接地对齐，降低了配准来自独立传感器的异构数据的复杂性。这种方法是通过与智能手机OEM厂商的密切合作而产生的，旨在将HVS直接集成到手机摄像头模组中。

从系统角度来看，HVS在整个成像管线中都有贡献。在拍摄前，它辅助测光和对焦。在曝光期间，它连续记录运动和变化。拍摄后，它改善帧配准并支持去模糊、HDR和帧插值等高级处理。

2023年，AlpsenTek推出了首款量产的HVS产品APX003（此前称为ALPIX-Eiger）。目前的部署主要分为两类。一类针对快速传感应用，如机器人和运动相机。另一类将HVS定位为边缘AI的低功耗、数据提炼和特征提取传感器，支持XR设备、智能手机前置摄像头、智能家居设备和交通监控。

邓坚反复强调，HVS本质上是一个AI传感器。“用高帧率视频训练AI系统极其低效，”他说。“大部分数据并不包含信息，但却带来了巨大的存储和计算成本。”

基于事件的传感直接在传感器端执行数据提炼，过滤掉无贡献的信息。因此，它能够实现更高效的物理AI和具身系统，使其能够实时与现实世界互动。

为什么要追求像素级融合？

鉴于多传感器系统的可用性，一个自然的问题出现了：为什么要追求紧密集成的像素级融合，而不是使用独立的传感器？

挑战在于图像和事件传感器架构之间的根本不匹配。事件传感器有效地计算光电信号的时间导数，通常在对数光强上运行，并基于阈值变化触发事件信号。相比之下，图像传感器随时间积分光线以形成帧。

邓坚承认这一困难，但强调HVS被设计为具有集成事件功能的图像传感器，而不仅仅是两个不同传感器的并置。这种设计选择使其像素阵列与CIS相当。AlpsenTek已经展示了缩小像素尺寸的路线图，其中1.89µm的HVS已投入量产。相比之下，一些商用的纯事件传感器（如IMX636）使用的像素大于4µm。

尽管AlpsenTek的路线图包括高分辨率HVS设备，但邓坚警告说，让每个像素都“混合化”没有实际价值。EVS提供的运动信息通常是稀疏和粗略的，过多的事件像素数量会增加数据量和成本，却无法带来成比例的收益。

因此，AlpsenTek分别指定APS和EVS分辨率，允许根据应用需求定制事件分辨率。

邓坚总结道，像素级融合的核心价值在于原生时空对齐。当图像和事件数据源自同一像素并采用精妙的读出电路设计时，空间和时间配准是固有的。这消除了对外部同步和计算昂贵的后配准的需求。

双传感器架构在对齐以不同采样率运行的异构数据方面面临固有挑战。这些挑战导致了早期试图将纯事件传感器引入消费设备的成功有限。

“支持事件数据还需要改变算法框架和数据结构，”邓坚指出。“开发负担巨大，而投资回报率往往不成比例。”

HVS何时能达到大众市场规模？

早期事件传感器供应商面临的困难提供了重要的教训。独立的事件传感器在集成、数据处理和不明确的产品定位方面举步维艰。许多供应商也缺乏与智能手机OEM厂商的深度接触。

邓坚承认早期开拓者在建立意识和生态系统基础方面的作用。他将这一轨迹与ToF传感器进行了比较，后者也需要数年时间才从出现走向智能手机的广泛采用。

在邓坚看来，现在的时机更为有利。在需求侧，AI应用越来越需要高效的运动感知和低功耗。在供应侧，HVS技术已经成熟，能够提供切实的投资回报率(ROI)。

通过在传感器级别提炼数据，HVS很好地契合了紧凑型边缘设备的需求。AlpsenTek的传感器已在可穿戴设备、AIoT、智能交通和安防应用中出货。

“我们预计2026年和2027年将是快速增长期，”邓坚说。“AlpsenTek是目前唯一一家将此类传感器投入量产的公司，我们已经完成了广泛的算法和系统开发。”

重要的是，HVS制造依赖于标准的图像传感器工艺流程，而不是专门的制造步骤。因此，邓坚预计随着需求增加，产能不会成为瓶颈。

技术和开发生态系统的成熟度如何？

2025年4月，AlpsenTek完成了B轮融资，投资方包括智慧互联产业基金、普信资本、中车时代投资等。在此之前，AlpsenTek已获得四轮融资，支持者包括领先的行业参与者和基金，如联想、OPPO、歌尔股份、虹软科技、舜宇光学，以及中科创星、清科、光远投资等（部分机构参与了多轮投资）。这种持续的投资反映了对HVS技术的长期信心。

从2019年成立到2023年推出首款HVS产品，该公司解决了众多挑战，包括像素集成、干扰抑制、工艺优化以及打破摄像头模组的机械限制。

除硬件外，邓坚还强调了软件和系统的重要性。AlpsenTek团队的很大一部分专注于面向混合传感的算法和系统开发。该公司不仅提供传感器，还提供开发板、参考设计、SDK和数据集。

算法开发涵盖三个层面：针对2位事件数据的硬件优化核心算子；驱动级模型和SDK（如运动和人体检测、姿态和手势识别）；以及由客户制定的应用层框架。AlpsenTek还提供针对特定场景的事件数据集，以降低开发门槛。

该公司与全球顶级学术机构合作，并赞助计算机视觉和其他领域的顶级学术会议。这些合作伙伴关系支持多模态传感和感知的前沿研究及生态系统发展。

“HVS生态系统是一项长期努力，”邓坚总结道。“随着更多参与者采用该技术，应用逐渐成熟，迭代加速，生态系统将进入良性循环。”

*声明：本文系原作者创作。文章内容系其个人观点，我方转载仅为分享与讨论，不代表我方赞成或认同，如有异议，请联系后台。