最近刷 Reddit 的时候,看到一个叫 R2fA9r 的艺术家分享了一个挺有意思的插件。乍一看以为是什么实验室里的黑科技,结果人家说这就是他自己搞的追踪系统,把手机和笔的运动直接映射进 3D 软件里,实时的那种。我盯着视频看了好几遍,第一反应是:这玩意儿要是早点出来,我当年学建模也不至于对着坐标轴发呆。
简单来说,这套系统的玩法是这样的:你拿着手机动,软件里的摄像机就跟着动;你拿笔在空中画,那些轨迹就会变成数字笔触,直接记录在 3D 空间里。然后软件会从追踪摄像机的视角把这些笔触渲染出来,最后在 Adobe Premiere 里跟原始视频素材合成到一起。整个过程是实时的,不是后期抠像那种。
![]()
这套系统到底是怎么工作的?
R2fA9r 在帖子里解释了一下原理。他做了一个小小的“基站”,这个基站可以连接到电脑、VR 头显、手机或者其他设备。你把这个追踪器贴到任何物体上,它就能以亚毫米级的精度追踪那个物体的运动。注意,是亚毫米级,不是那种大概齐的体感追踪。至于那支笔,目前还是个原型产品,开发者说后续打算做一个更小的版本,大小和手感应该会接近 Apple Pencil。
也就是说,这套东西的核心不是笔本身,而是那个小小的追踪基站。笔只是其中一个形态,他还在实验戒指、追踪器、笔等不同的外设形状。目前他正在为很多应用开发 SDK 和插件,因为自己特别喜欢这个 3D 软件,所以就先从它开始做了。
从画线到雕刻,下一步才是重头戏
现在这个版本能实现的是用笔在空中画线,然后这些线会以 3D 笔触的形式出现在软件里。但 R2fA9r 说,他的下一步计划是启用雕刻功能——一个追踪器代表几何体,笔则作为雕刻工具。想象一下,你手里拿支笔,对着空气比划,软件里的模型就跟着被“雕”出形状来。这已经不是简单的画线了,这是在把物理世界的手势直接翻译成数字世界的操作。
说实话,看到这里我有点困惑,但又很期待。困惑的是,这种雕刻的精度到底能到什么程度?毕竟手在空中的抖动和细微动作,跟用数位板在桌面上操作完全是两码事。期待的是,如果这个功能真的做成了,那对于做概念设计或者快速原型的人来说,可能真的会改变工作流。
一个原型,两条路线
从 R2fA9r 的分享来看,他显然不是只想做一个画线工具。他提到后续还会做动画路径,甚至可能涉及 VR。也就是说,这套追踪系统的野心可能不止于插件,而是一个通用的空间交互方案。基站可以连接各种设备,外设可以做成不同形状,SDK 和插件在陆续开发中——这听起来像是一个人在做一件本该由团队来完成的事。
目前这个笔还是原型,基站也是小批量自制的状态。R2fA9r 说他会继续分享更多更新,包括雕刻功能,然后再推进到动画路径和 VR。如果你感兴趣,可以去 Reddit 上关注他,也可以直接给他反馈和建议。
我的几点困惑和观察
作为一个用过不少建模工具的人,我对这套系统有几个疑问。首先是延迟问题,虽然视频里看起来是实时的,但实际使用中,无线传输和计算处理会不会带来可感知的延迟?其次是精度问题,亚毫米级的追踪精度在实验室环境下可能没问题,但实际使用时手部的自然抖动会不会被放大?最后是软件生态,目前只看到这个 3D 软件和 Premiere 的整合,如果后续要支持其他 DCC 工具,工作量可不小。
不过话说回来,这毕竟是一个个人开发者的项目,能做到这个程度已经相当惊人了。而且他明确说了,因为自己喜欢这个软件才先做这个,这种“为爱发电”的路线反而让人觉得靠谱。
这个项目目前还在早期阶段,很多细节都还没定型。但方向是明确的:把物理世界的动作变成数字世界的创作工具。不管是画线、雕刻还是未来的动画路径,本质上都是在探索一种更直觉的 3D 交互方式。对于习惯了鼠标键盘和数位板的我们来说,这种“拿笔在空中画”的方式确实有点科幻,但说不定几年后就会成为某个主流软件的标准功能。
反正我是把帖子收藏了,等着看他的雕刻功能到底能做成什么样。如果真成了,我可能得考虑把吃灰的 VR 头显翻出来了。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.