北京
我发起HELIOS项目时，给自己定了三条铁律：不写原生代码、不用头戴显示器、不让用户安装任何运行时。也就是说，浏览器就是操作系统，摄像头就是传感器，WebGL就是显示屏。这是全部赌注。 第一个原型很难看。我在Three.js里渲染了一个平面，贴上一张模拟窗口的纹理，用MediaPipe的手部关键点推着光标走。它更像一个充满延迟的技术演示。真正的突破是当我放弃模拟鼠标、开始建模手势的时候。第一次用拇指和食指捏合、横向拖动一个平面，让平面像实体物体一样移动，同时摄像头追踪着我的手——那个赌注忽然变得真实。没有蓝牙手柄，没有二维码配对，没有专有SDK。只有一个Chrome标签页、一台笔记本摄像头和几十行TypeScript。 这个赌注背后的技术判断是：对人们已经拥有的设备来说，WebXR不是空间计算的正确抽象层。WebXR适合戴上头显、离开房间的沉浸体验。但大多数空间交互发生在我们坐在屏幕前的时候；而你身上最持久、最现成的空间传感器，就是摄像头。 为什么不用WebXR？WebXR承诺完整的沉浸式3D场景，包括手柄、房间追踪和深度感知。但代价是需要专用VR头显或支持AR的手机。我们的目标设备只是带有摄像头和桌面浏览器的普通笔记本。在这种环境里，没有内置摄像头的头显，WebXR根本无法提供手部追踪。这是决定性的硬伤。 我早期同时评估过两条技术栈，取舍很清楚。选择Three.js反而带来一个隐藏好处：HELIOS可以运行在你现有应用旁边的弹出窗口里，不需要独占整个显示屏。这更接近人们每天实际使用AI的方式——它是你身边的副驾驶，而不是一个取代你的显示器的世界。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
