首颗空间定位协处理芯片发布，耀宇视芯如何助力VR/AR行业破局

文/VR陀螺

2023年，VR/AR市场依旧值得期待。

苹果Vision Pro引领行业风向，产业链新技术突破纷至沓来，头部厂商持续发布新品，内容生态建设日趋完善，整个VR/AR产业都在快速进行技术迭代。

在VR/AR的硬件生态中，显示技术和芯片技术领域的创新尤为引人关注。显示领域，京东方、视涯、JBD等知名企业以及湖畔光电、宏禧科技等众多创业企业都在加速研发；在芯片领域，国外的高通、三星，国内的耀宇视芯、万有引力等都在积极推进产品落地。

今年10月，耀宇视芯率先推出自主研发的协处理芯片“启明”，打响了国产芯片进军VR/AR协处理芯片市场的第一枪。

作为国内首颗成功流片的空间定位协处理芯片，“启明”的出现意味着耀宇视芯正式以“国产协处理芯片方案商”身份开始在VR/AR行业展露头角。那么，在国产化的标签之下，“启明”相比此前的芯片方案究竟取得了多少技术进步？能够为行业带来怎样的影响？关于这些问题，还是得通过对“启明”的剖析找到答案。

自然交互、极低延迟，VR/AR协处理芯片已成大势

2023年6月，苹果发布其初代MR头显，采用了以语音+手势+面部/眼动追踪为主的更加自然的交互方式。从Vision Pro公布的信息和目前媒体评测的反馈看，Vision Pro相比于近年来的VR头显以及AR眼镜，实现了突破性的创新，在交互方面把用户视角下的VR/AR体验带到了一个新的高度。

这些令人惊叹的交互升级背后，都离不开苹果为MR量身定制的R1芯片。

在苹果Vision Pro中，R1作为协处理芯片，独立于主控芯片，运行更为高效，负责处理来自12个视觉摄像头，5个传感器，6个麦克风输入信号的数据处理工作，实现空间计算所需的姿态追踪、眼动追踪、3D环境感知以及手势识别等核心功能，动态延迟仅有12毫秒。

如果说苹果的R1芯片属于集大成者，那么如今的创业公司所选择的方向则更针对行业痛点：耀宇视芯将最常用、占用资源多、开发难度大、功耗高的6DoF空间定位、低延迟渲染和手柄交互追踪等部分作为其协处理芯片的核心功能，为VR/AR行业率先造出易用好用的通用“轮子”。

在苹果VisionPro发布之前，几乎所有的国产VR或者AR终端均采用单主芯片架构，主芯片不仅需要处理空间交互、VST、手势交互，同时还需要处理画面图像渲染补偿等算法。以目前移动端性能最高的高通XR2 Gen2芯片来看，其性能实际上已经足以媲美高端的手机芯片。并且与上一代骁龙XR2相比，CPU的性能提高了33%以上，GPU性能提升了2.5倍，GPU能效提升了50%，可以处理多达10个摄像头的数据，可实现12毫秒的超低延迟直通……

但由于VR/AR内容大部分为3D，画面渲染工作量比平面2D高出数倍，加上还需要实时处理交互数据，所以现有的移动端XR芯片处理能力实际上对于VR/AR来说远远不够，更不用说再加上VST、空间拍摄等新功能之后的负担更是巨大。

所以当PC端的VR内容移植到一体机时，需要对内容画面大幅减面，或者直接开发Low-poly风格，以减轻对画面渲染的压力。

如今单眼4K分辨率、VST、手势追踪以及空间拍摄逐渐成为VR终端标配功能，对于产品性能要求直线上升。这也直接促使苹果VisionPro在采用Mac处理器芯片M2的同时还必须要增加一片性能强大的R1协处理芯片，以使VisionPro达到极致的用户体验。

趋势与需求逐渐清晰，但需要面对的现实是，此前VR/AR行业很长一段时间都没有类似于R1的协处理芯片，用主控芯片在处理低延迟6DoF数据以及视觉渲染补偿方面不仅功耗偏高同时还存在不少问题，且能运行SLAM的DSP 仅由极少数芯片大厂垄断，国内自给率较低，导致VR/AR方案单一、价格昂贵。如何让整个行业能够出现更多的差异化产品，如何在更低的功耗下获得低延迟高精度的空间定位及优秀的显示效果是摆在所有VR/AR厂商面前的一道难题。

从单目到多目SLAM全面支持，“启明”为VR/AR带来选择自由

经过多年发展，VR/AR的空间定位已经经历了激光、光学、红外、超声波、电磁等众多技术路径，最终统一到以视觉为主的inside-out技术方案。

而在视觉定位的范畴内，也发展出两条不同的路径，如VR从最开始的双目发展到四目、五目，直到如今苹果搭载外部12颗摄像头+传感器，极限堆料来实现高精度空间定位和MR交互、手势交互等；另一方面，AR设备则为了更贴近轻薄的眼镜形态和更低功耗，选择了简化摄像头传感器数量，形态从最开始的HoloLens、MagicLeap之类的头盔式，逐渐变成现在以Birdbath、光波导为主的眼镜形态产品。而为了使其在轻薄形态下还能实现SLAM定位、手势识别，摄像头传感器的数量却在不断被减少，如今已经出现用单目实现SLAM定位的AR眼镜技术方案。

SLAM是实现6DoF空间定位的核心技术，也是实现虚实融合的核心，直接决定用户体验。在此之前市场上一直没有用于SLAM定位的国产专用芯片，直到今年10月耀宇视芯推出“启明”，并宣布该芯片已经完成所有测试，成功流片。

这是一款基于自研算法推出的协处理芯片。通过接收摄像头、IMU等传感器的数据，经过计算和处理后输出6DoFPose，用以确定设备的定位和姿态。该款芯片不仅可以用于VR/AR头显、眼镜设备的空间定位，同时还能用于自追踪手柄和机器人视觉定位系统。

从性能上看，“启明”可以提供高精度和极低延迟的6DoF Pose及优秀的显示渲染补偿。其支持30-120FPS视觉定位特征提取，1000Hz6DoF姿态的输出，追踪延迟小于1ms，并且不论是单目还是多目SLAM都能实现空间定位。

特别是在功耗控制方面，“启明”表现极其优秀。在多种典型场景测试中，“启明”的功耗表现（以下功耗已包含MIPI和USB接口传输功耗）数据都远优于其他方案。

在双目定位（30FPS+1000Hz IMU）测试环境下，“启明”的功耗约170-180mW，而作为对比，目前市场上在主控芯片DSP中跑软件算法功耗普遍会达到600-800mW，CPU中跑软件算法通常会达到2-3W，功耗高会带来一连串续航、发热问题影响实际体验，这也是困扰产品开发的重要指标。

此外，在单目定位（30FPS+1000Hz IMU）的测试环境下，“启明”的功耗能进一步降低至130mW；甚至在极限低功耗单目定位（15FPS+1000Hz IMU）测试环境下，功耗仅仅100mW。

可见，相比采用CPU或DSP，使用“启明”进行空间定位运算不仅能提升整个VR/AR系统的定位及显示效果，还能够极大降低VR/AR系统对核心处理器的资源占用及功耗。此外，一体式AR眼镜相比VR头显对重量体积控制要求更高，“启明”6.5mm×6.5mm的小封装设计显然也更加适应AR眼镜轻量化的发展趋势。

对于VR/AR设备来说，更强的GPU性能、更高的能效比、更佳的6DoF追踪水平，都有利于产品适应未来AI技术不断进步下的大型沉浸式游戏、工业3D设计、VR教育医疗等元宇宙应用，摆脱对外部算力终端的依赖。

而“启明”的加入不仅提供了优秀的6DoF技术，同时解放了VR/AR系统在主处理器选择上的自由度，降低了设备品牌厂商在研发上的投入及产品迭代周期。用耀宇视芯的话说，“启明”芯片“不仅可以搭配穿戴芯片实现极低成本，同样也可以搭配PC芯片实现极致性能”。

自追踪手柄的强力支撑，VR/AR交互更进一步

除了能够作为头显/眼镜的SLAM定位重要支撑外，“启明”也可用于自追踪手柄定位。

QuestPro的发布让手柄自追踪技术来到台前，以往头显的手柄需要依靠头显上的摄像头来进行追踪，由于容易出现视觉定位遮挡或者光线影响导致手柄漂移、丢失等不稳定情况，所以在视觉之外往往都会配合IMU来进行补偿计算。手柄自追踪通过在手柄上加入摄像头来使其实现其独立追踪，以摆脱对头显的依赖。

作为一种成熟且被广泛接受的交互工具，手柄能为用户提供精确输入或复杂操作下的更好体验。不过，VR/AR厂商在手柄研发上常常面临双重困境。

一方面，传统的手柄由于需要尽可能地增加被头显摄像头捕捉的面积，所以往往体积较大，重量较重，不便于携带的同时长时间使用也可能会让用户产生疲劳。所以，自追踪一方面为了提升追踪精度，同时也承载着为用户带来更好的使用体验的设计初衷。

但另一方面，体积小、轻量化手柄相比传统手柄又受到高精度追踪的困扰。特别是当用户体验一些重交互内容的时候，对追踪系统的稳定性和准确性提出了更高的要求。其次，由于高精度的追踪通常需要进行更多的计算，但小型轻量化手柄往往需要通过限制传感器的大小和数量减小体积，使得芯片选择以及功耗管理成为轻量化手柄研发中的一个重要挑战。

对于这一难题，“启明”作为一款可以在手柄上搭载的复杂算法和高算力芯片，同样通过高性能、低功耗的SLAM算法，减小手柄端摄像头数量与性能负担、大幅降低自追踪手柄的成本，从而轻松在手柄上实现自定位追踪。

据了解，“启明”最低可以实现手柄上仅用1颗摄像头来实现自追踪，定位精度达到毫米级。

补齐安卓市场“短板”，耀宇视芯已支持数十家VR/AR企业

苹果VisionPro的发布常被视为市场的一大风向标，可以预见的是未来众多VR/AR终端都将朝着这个风向标看齐，协处理芯片也将成为其中重要的一环。

在智能手机领域，虽然前面经历了众多系统百花齐放的乱战时期，但最后形成的安卓与苹果双分天下的格局至今未变。相对于智能手机，VR/AR虽然有一部分可延续智能手机的供应链和技术，但其涉及到的技术面更广。同时，作为可穿戴产品，产品需要考量的点包括光学、显示、功耗、散热、延迟、重量、佩戴人体工学等，每一个项目都是技术进步需要攻克的难关。

如今，苹果在VR/AR领域以“顶配”一鸣惊人，我们也不得不承认其与市场上现有产品拉开的技术差距。

虽然鸿沟依然存在，但令人欣慰的是，每一个底层技术板块都在不断往前迈进，如单眼4KMicro-OLED显示除了索尼之外，京东方、视涯等知名企业以及湖畔光电、宏禧科技等众多创业企业都在加速研发；高性能主芯片板块高通持续发力；SLAM、VST协处理芯片则出现了如耀宇视芯、万有引力等备受期待的新星；此外，手势识别和眼动追踪等其他板块也有巨头和创业企业共同在推进。

安卓系与苹果系取得平衡，形成良性竞争，最大化覆盖消费用户，产业才能健康发展。

据了解，目前耀宇视芯“启明”芯片已经开始支持数十家厂商进行VR/AR眼镜及自追踪手柄的开发，取得了核心客户二十万片的意向订单，并将于2024年2月份正式开启批量供货。

此外，耀宇视芯在两年内已经完成了三轮融资，最近一轮于今年7月份由星纳赫联合敦鸿资产、弘博资本、伯藜资本等投资了数千万元。

随着人工智能等各领域技术的持续突破，将二维信息重构迁移为空间三维信息将是未来数字化时代的核心。SLAM作为VR/AR领域的底层技术，其门槛降低将让VR/AR虚实融合的体验加速进入到人们的生产生活中。

作为国内空间定位协处理芯片先行者的耀宇视芯，也将以“启明”为开端，从芯片级空间计算技术出发，贴合VR/AR不同需求打造包括8K级VST、无线云分布式方案等在内的完善芯片级方案矩阵，支持更多VR/AR设备厂商快速开发产品并将主要精力聚焦到产品的场景化、差异化、商业化，助力虚拟现实行业快速高效发展。