北京
HELIOS 项目的起点是三个约束条件：不使用原生代码、不配备头戴式显示器、不要求用户安装任何运行时。浏览器就是操作系统，摄像头就是传感器，WebGL 就是显示屏幕。这就是全部的技术赌注。 第一个原型非常粗糙。我在 Three.js 里渲染了一个平面，贴上伪造的窗户纹理，用 MediaPipe 的手部关键点推动光标移动。那感觉就是一个充满延迟的技术演示。真正的突破口在于：我停止了模拟鼠标，转而开始对手势进行建模。第一次用两根手指捏合，把界面中的平面像物理对象一样拖到一侧，同时摄像头实时追踪手的运动——那一刻，赌局变得真实了。没有蓝牙控制器，没有扫码配置，没有专有 SDK。只有一个 Chrome 标签页、一台笔记本电脑的摄像头，以及几十行 TypeScript。 这个赌注背后的核心技术判断是：对于人们已经拥有的设备，WebXR 是一个错误的抽象。WebXR 适合戴上头戴设备、进入一个完全隔离的虚拟空间。但大多数空间交互实际发生在人们坐在屏幕前的时候，而最持久、最可靠的空间传感器，其实就是你已经拥有的摄像头。 WebXR 承诺的是一套完全沉浸的 3D 场景，包括控制器、房间追踪和深度感知。但它的前提是专用的 VR 头显或支持 AR 的手机。HELIOS 的目标设备只是配备摄像头和桌面浏览器的普通笔记本。在桌面浏览器环境下，没有内置摄像头的头显，WebXR 根本提供不了手部追踪。这成了它的决定性短板。 我在早期同时评估过这两种技术栈，取舍很清楚。选择 Three.js 带来一个隐藏的好处：HELIOS 可以运行在现有应用旁边的弹出窗口中。它不试图独占显示控制权，这更像是人们日常使用 AI 的方式——一个在旁边协作的副驾驶，而不是一个取代显示器、接管全部视觉注意力的虚拟世界。 把这只手看作事件总线，而不是光标。光标暗示的是位置，而位置是鼠标时代的隐喻。手势引擎真正关心的是意图识别：捏合意味着抓取，推拉意味着缩放，拳头意味着暂停。当手变成事件的载体，而不只是位置的指针，空间交互才真正摆脱了桌面计算的惯性思维。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
