Vision Pro“裸眼上车”？北京车展上商汤绝影全新舱内3D交互亮相

4月25日，北京车展开幕，商汤绝影全新舱内3D交互也在车展上亮相。北京青年报记者现场看到，操作人员坐在模仿座舱的屏幕前，通过3D Gaze高精视线交互和3D动态手势交互，方法与Apple Vision Pro相类似。据介绍，这是全球首创的能够通过视线定位与屏幕图标进行交互的智能座舱技术。

采用“非接触式”交互已经成为智能座舱交互革命的必然趋势，行业目前普遍能做到的是视线检测功能。现在车辆普遍搭载的驾驶员监测系统(DMS)就是以视线检测技术为基础。商汤绝影的视线检测功能已成功解决了智能座舱场景下如遮挡、阴阳脸、墨镜等问题，并量产落地100多个车型。

但DMS通常只能做到分心监测等舱内大面积区域的识别，受困于精度很难通过它进行具体的交互动作。商汤绝影全球首创3D Gaze高精视线交互，通过提升视线的精度，能精准识别到驾驶员注视中控屏或者后排用户看向后排屏幕的具体的某个图标并进行交互，实现“所见即所选”。

因为眼球并不是标准的几何球体，每个人的眼球形态、大小、角膜曲率都存在生理上的差异，所以商汤绝影开发出了一套“千人千眼”的高精度三维眼球模型，突破了座舱场景下的视线精度难题，配合手势、语音甚至是眨眼等方式，将给用户带来更智能、更个性化的舱内视觉交互体验。

3D手势交互则是以超高精的三维手部重建为基础，实时捕捉、识别与分析用户的三维手势动作，实现对车辆功能控制的技术。商汤绝影在北京车展首发座舱内3D手势交互，能更加精确定位手部的移动位置，并对手指细节进行优化，保证了不同手指间相互作用的准确感知，进而可以识别如捏合、拖拽等复杂动作，实现鼠标级的隔空手势交互操作。

商汤绝影构建了超百万级别的数据规模，在大量采集真人真实数据的基础上，借助渲染算法，对真实采集中缺少的数据维度以及各种极端场景进行渲染补充，确保数据囊括车舱环境下几乎所有场景。商汤绝影引入了基于大模型的端到端识别网络。相较于传统的人为规则逻辑，端到端神经网络完全依靠海量数据学习到的知识对感知到的手部动作和手指细节进行判断，带来座舱3D手势交互的全新模式。

商汤绝影已经实现这两大舱内3D交互功能相互配合，如同Vision Pro“裸眼上车”，未来将量产上车。截至2023年12月，商汤绝影已与本田、比亚迪、长城、广汽、红旗、极氪、哪吒、奇瑞、蔚来等超过30家国内外车企携手合作，覆盖超90款车型，累计交付195万辆智能汽车。

文/北京青年报记者 温婧

编辑/樊宏伟