【元宇宙】利用基于事件的传感技术革新眼动追踪

引言集成视觉增强系统 (IVAS) 是微软于 2018 年获得的一个价值 220 亿美元的项目，旨在为美国陆军开发增强现实 (AR) 头戴设备。作为资金的一部分，微软曾与美国陆军签订了合同，将交付 12 万台搭载 HoloLens 的头戴设备，但该设备于 2024 年停产。2025 年初，国防科技初创公司 Anduril Industries宣布将接管该项目。Anduril专注于人工智能驱动的硬件技术，其使命是“利用先进技术改变美国及其盟国的军事能力”。

帕尔默·卢基 (Palmer Luckey) 是 Anduril 的首席执行官。该公司由多位知名风险投资家注资，拥有一系列涵盖陆地、空中、水下和外太空防御能力的国防产品。帕尔默·卢基开发了领先的 AR/VR 平台 Oculus，并于 2014 年将其出售给 Facebook（现为 Meta）。他于 2017 年离开 Meta，并创立了 Anduril。

Meta 将 Oculus 平台发展成为Meta Quest 头显系列。该系列配备了内向式传感器，支持眼动追踪功能，具有诸多优势。Meta 正在积极研究使用 Prophesee 基于事件的摄像头进行眼动追踪。与传统的基于帧的摄像头相比，使用基于事件的摄像头在速度、采样率、精度、背景和噪声抑制方面均具有显著优势。此外，它还能显著减小尺寸、重量和发热量，而这些特性对于用户舒适度和电池寿命至关重要，因为这类头显的商业和军事部署正在加速。

兜兜转转，Anduril 和 Meta 最近宣布合作 ，共同为美国军方打造扩展现实 (XR) 设备。这项工作将利用 Anduril 于 2025 年初负责的 IVAS 项目。马克·扎克伯格和帕尔默·拉基终于达成共识了！

Prophesee 是基于事件的神经形态视觉技术的先驱和市场领导者，近期宣布与眼动追踪和注意力计算领域的全球领导者 Tobii 合作。双方的目标是提供专为 AR/VR 和智能眼镜应用量身定制的下一代基于事件的眼动追踪解决方案。鉴于上文关于 AR/VR 头戴设备 IVAS、Meta 和 Anduril 功能融合的讨论，这是一个令人兴奋的进展。基于事件的传感技术异步读取仅记录强度变化超过用户定义阈值的像素，从而降低延迟、功耗、计算、存储和热管理要求。

Prophesee（“预测并观察动作的位置”）总部位于法国，将其基于事件的相机用于工业自动化、AR/VR、安全、医疗保健和 AoT™（事物自主）应用。该公司成立于 2014 年，于 2022 年 10 月完成 5000 万美元的 C 轮融资。迄今为止，它已筹集了 1.27 亿美元。Prophesee 专注于向 Tobii 等最终用户以及其他为各种应用开发成像系统的用户提供其传感器芯片、SDK（软件开发套件）和相机参考设计。它的下一代 MetaVision GenX 320 QVGA 传感器（320 x 320 像素、6 μm 像素间距、4 mm x 3 mm 占用空间）专为游戏和可穿戴 AR/VR 头显中的眼动追踪而设计。图 1 突出显示了部分功能：

Luca Verre 是 Prophesee 的首席执行官。目前正在进行的一项重要计划是开发一款比 MetaVision QVGA 更精简的事件传感芯片，用于智能眼镜应用。将像素间距缩小 50%（< 3 微米），可将芯片面积缩小 5 倍。MetaVision 传感器的系统级功耗约为 25 mW（包括传感读数、信号预处理和 900 微米波长 LED），而智能眼镜专用芯片的目标是将功耗降低 10 倍以上，并提供接近 1 KHz 的数据速度（与上述 Meta 论文中报告的类似）。相比之下，基于 CMOS 的带框摄像头解决方案的功耗约为 250 mW（与智能眼镜应用不兼容），数据速度约为 120 Hz。数据速度在眼动追踪中至关重要，因为它可以提供更精细的分辨率，这对于情绪状态、意图和兴趣等各种心理方面都至关重要。

Verra先生对与Tobii的合作感到非常兴奋：“基于事件的视觉技术完美契合了下一代可穿戴设备对低功耗、始终在线传感日益增长的需求。此次合作建立在我们团队之间坚实的协作基础之上，并将我们的联合能力拓展到眼动追踪领域。凭借Tobii在眼动追踪领域久经考验的领导地位，加上我们在基于事件的传感领域的经验，我们致力于为AR/VR和智能眼镜的未来发展树立新的标杆。”

Tobii成立于约 20 年前，总部位于瑞典，自称是眼动追踪领域的领导者（推出了全球首款远程眼动追踪仪）。该公司服务于全球数千家企业、大学和研究机构，是注意力计算（图 2）领域的先驱，其将注意力计算定义为“理解人类注意力和意图的技术”。Tobii 在瑞典纳斯达克上市，拥有 600 名员工，年收入约为 9000 万美元。

Tobii 利用机器学习、人工智能和先进的信号处理技术来解码头部和眼球运动，将细微的手势转化为精准的注视信号，并生成洞察，从而揭示吸引用户注意力的因素并解读其意图。其应用领域涵盖四大领域：

1. 消费者研究与用户体验：将市场研究流程从基于正式调查（其中向受访者提出的问题不可避免地会产生偏见）转变为情感研究，通过眼动追踪获得的细微线索（例如注视点、姿势和存在感）可以为改进产品和包装提供有价值的信息。数据可以在正式或非正式的场合收集（例如，当顾客购物并查看其他产品时）。

2. 发展心理学和医疗保健研究：眼动追踪数据为人类行为和认知过程提供了宝贵的见解，使其成为心理学、医学诊断和教育等广泛研究领域的多功能技术。

3. 游戏和可穿戴设备领域的消费技术：眼动追踪系统级芯片解决方案可在可穿戴设备、智能眼镜和AR/VR头显中，为用户与其设备之间提供无缝交互。索尼是Tobii的客户之一（索尼PlayStation产品线）。

4. 汽车驾驶员监控系统 (DMS)：Tobii Autosense 使 OEM 能够面向未来构建系统，突破可能的界限，实现真正的车内差异化和安全监控。

Tobii 的硬件包括一套可穿戴式眼动仪。软件集成以及确保设备在所有人群（年龄、肤色、眼睛颜色、照明条件、振动、面部和眼妆等）中都能稳定运行是关键挑战。迄今为止，该公司已售出数百万台眼动仪。首席执行官 Anand Srivasta 表示，眼动仪解决方案市场尚处于起步阶段。他预计，随着这项技术的普及，尤其是在消费级可穿戴设备、工业生产力和数字媒体管理系统 (DMS) 市场，眼动仪的销量将会增长。

基于事件的传感技术在某些垂直领域（例如可穿戴设备）能够带来显著的颠覆性发展，因为这些领域对小尺寸、轻重量、低功耗和发热至关重要，而高数据速率可以增强眼动追踪分辨率，从而更深入地洞察消费者的意图和情感。其他应用可能会继续使用带框CMOS相机（例如在DMS中需要完整图像时）。他期待与Prophesee的合作能够“补充我们现有的相机技术，为我们的客户在产品设计时提供更多选择和灵活性。智能眼镜是眼动追踪技术要求最高的领域之一——需要超低功耗、高性能，并无缝集成到标准眼镜的外形尺寸中。”

随着技术加速发展，数据生成量呈指数级增长。在很多情况下，这些数据大多毫无用处、毫无事件性且不可操作。试图分析所有数据会减慢决策和洞察的速度，并有可能错过重要事件。基于事件的传感技术在降低计算、存储和热管理成本，提供更高的可操作数据速率，以及开拓新市场和技术普及方面发挥着重要作用。

免责声明：

本文所发布的内容和图片旨在传播行业信息，版权归原作者所有，非商业用途。如有侵权，请与我们联系删除。所有信息不构成任何投资建议，加密市场具有高度风险，投资者应基于自身判断和谨慎评估做出决策。投资有风险，入市需谨慎。

设为星标 避免错过

虚拟世界没有旁观者，每个点赞都是创造历史的像素

关注我，一起探索AWM⁺

2025-05-27

2025-05-28

2025-05-24

商业赞助

点击下方 “目录” 阅读更多