使用Unity创建基于空间计算的移植应用《工作模拟器》

随着苹果全新设备Vision Pro的发布，我们正在进入空间计算的新时代，强大的扩展现实（XR）工具和灵活的工作流程使开发人员能够在编辑器中添加交互、缩放图形、原型和测试等全新视角。2024年Unity游戏报告预测到，未来XR游戏的需求会更大，许多游戏工作室对于该预测表示认同。

Unity的高级开发者安东尼娅·福斯特和Owlchemy实验室的CEOwl安德鲁·艾希在本文中讨论了对于空间计算未来的看法以及为Apple Vision Pro开发应用的实用技巧。

让我们从展望未来开始。你认为虚拟现实和空间计算的未来是什么？

安德鲁·艾希：我们正在经历XR技术快速发展的最重要阶段——使用XR设备作为针对特定领域任务的通用空间计算设备，其中Apple Vision Pro操作系统的出现和Meta操作系统的升级应证了空间计算时代的到来。我们正试图解决如何在虚拟现实中处理一般工作负载与极特殊的工作负载的范例。

当我们实际上在XR环境中工作时，看起来会像什么样？Unity试图将现有的任务转移到空间环境中的相同范例中。他们希望开发者能尽快入驻，这有助于他们快速了解这种全新工作环境的广度和深度。

这对Unity来说非常重要，这样他们就可以发现这项技术的实用性和直观性。在这个行业中，最有潜力的平台通常位于高实用性和高直观性象限。通过虚拟现实技术，我们希望确保它朝着高度实用和高度直观的方向发展，这是手机、个人电脑和智能电视所处的象限。

展望未来，空间计算将有助于使虚拟现实技术更加实用化。如何做到这一点？我们改变了主要输入向量，以与玩家目前最为关注的移动平台保持一致。我们需要专注于消除实现手部跟踪的摩擦，使头显更轻，并获得更好的光学效果。

工作模拟器，由Owlchemy实验室开发

关于XR技术的发展。你认为未来几年还有哪些技术趋势可能会影响XR？

Gaussian splatting技术令人非常难忘，我认为它将是影响更好的动作捕捉和动画制作的关键技术。我们用三维捕捉解决了假设如果只使用覆盖空间和相机或使用光场的错误问题，但现在高斯透明会使得效果更好，这有助于我们重新考虑将如何优化它。

同时我也认为人工智能（AI）未来将对XR技术产生更大的影响。我们正在期待着一个真正有趣的用例——不必渲染整个帧，只需渲染其中的一部分。如果我们渲染30%，然后将它交给张量处理单元（TPU），它会根据之前和之后的所有数据填充它，这样我们头显里的图形芯片就更加趋向于电脑了。这就是NVIDIA RTX显示卡计算光线反射的实际工作方式，实际上我们已经在这条路上走了一段路。

同时人工智能技术的发展也填补了分重绘画的空白，生成式人工智能将取代最佳拟合算法作为补间算法。最佳拟合算法通常会分几个部分进行构建，如果在最佳拟合算法的几个部分之间使用生成式人工智能技术进行内容生成，并且可以由艺术家控制，这将变得更加有趣。这对于那些想要专注于制作有趣内容但不想花时间制作补间动画的动画师来说非常友好。

基于XR空间计算技术的发展趋势，您对进入空间计算时代的开发人员有什么建议？

从交互设计方向来看，空间计算技术首先需要打破传统VR中与周边或虚拟事物互动的方式，“不要试图把一个方钉塞进一个圆孔”。对于开发人员来说，跳入其中并深入其中很有诱惑力，但作为一名新开发人员，我建议慢慢接近空间计算。并慢慢来堆砌正确的积木。

例如，将《工作模拟器》从VR环境移植到XR环境中，我们从使用操作系统级交互的合适时机开始。当我们为Apple Vision Pro版本安装Swift UI窗口时，我们讨论了何时使用pinch功能。我们关注了苹果如何使用它，因为他们非常明确在何时用于什么目的使用它。

当用户想要结束窗口应用时，他们可能需要与3D对象互动来结束这一进程。这时，需要停止窗口并把它显示成2D显示器上的一个应用程序，这将更像是在现实世界中在电脑屏幕前关闭对话框相似的产品设计。遵循现实世界中与对象交互的设计原则，以直观的方式设计交互方式将更加适用于XR空间界面设计。但需要注意的是，请确保当游戏在真实的空间和设备上与真实的用户进行实际测试时持续关注您用户体验情况。这非常重要！

对开发者来说，把虚拟物体拿在手中并支持其与用户完成互动将变得非常关键。我建议分配充足的时间进行修改。在不同的平台上，体验会有所不同。规格可能不同，因此保持灵活性非常重要。

最后，虚拟现实的特别之处在于如何探索虚拟环境并与之交互。《工作模拟器》的探索版本中玩家将坐在一张拥有抽屉的桌子前，体验者可以随意翻找抽屉，拿起每个物体，看看它们是如何工作和相互作用的，这是一件非常有趣的事情。玩家更喜欢这种互动的一个关键原因是，他们可以把手中的东西放在任意地方，以真正改变周围的环境状态，我们没有让他们与遥远的或与他们脱节的事物互动，这有助于提升玩家的沉浸感。

工作模拟器，由Owlchemy实验室开发

你会给希望为Apple Vision Pro移植或开发游戏的开发人员什么建议？关于由Unity制作的vision OS《工作模拟器》移植版使用体验如何?

Unity一直与Unity和苹果密切合作，并致力于以最佳方式实现我们的希望和愿景。《工作模拟器》在Apple Vision Pro上运行非常快速，使用起来与在iOS中构建应用相类似。但使它成为一个完全沉浸式的游戏让我们花费了一些精力。Unity必须调用一个函数，将我们想要的输出传递给苹果操作系统。在此之前，我们只能创建一个平面窗口，如果你关闭它，游戏就结束了。

我们使用Unity开发的vision OS《工作模拟器》移植版是一款完全沉浸式的游戏，vision OS作为一款通用计算操作系统，退出游戏流程的制作对我们来说是一件新鲜事。为PC构建时，我们没有退出应用程序的第二步骤，玩家只需点击x 就可以退出程序，当我们将它放在Quest上时，它实际上是二进制的，游戏要么运行，要么关闭，但当游戏被移植到Apple Vision Pro上时，这个游戏实际上是可以进入到后台运行的，我们需要做的工作是弄清楚如何真正让玩家离开应用程序。

我们的建议是真正的合作与开放。你永远不知道什么时候会有人解决你遇到的瓶颈。这不仅对你我有好处，对整个社区也有好处。Unity拥有非常活跃的论坛讨论和论坛票选。这有助于我们找到对社区其他人同样有益的解决方案。在社区中提交错误报告有助于为我们与其他处于类似情况的开发人员提供合作的机会。这无疑加快了我们的学习曲线，并有助于我们向前发展。

你们从vision OS开发中学到的最有价值的东西是什么？

多年来，我们一直致力于在Windows PC和Android两个生态系统中进行开发。Vision OS与苹果其他操作系统有许多相似之处，因此我们现在更加了解该操作系统的编程潜力与试错方向。我们也找到了可以做得更好的地方。

Vision OS系统的一个显著优势是Facetime和共享屏幕的价值与潜力，该功能支持向其他人展示你正在经历的事情——比如说，用于调试。在Vision Pro屏幕中可以显示你正在运行的应用程序，你正在运行的代码，其他人可以完美地看到你所看到的视图。而现在其他头显很难做到这一点。