Techviz：在工程设计中使用VR手指追踪的5个用例

随着虚拟现实技术的进步，许多行业都在流程中融入了AR和VR技术。对于大多数用例来说，传统的手持控制器在产品设计和生产过程中已经绰绰有余。但对于一些精确的用例来说，添加虚拟现实手指跟踪和触觉反馈是才是真正的游戏规则改变者。

例如，你沉浸在你的汽车的CAD模型中，你正在进行人体工程学的研究。实时可视化3D数据是一项非常棒的功能。但能徒手和模型互动，感受每个元素在哪里，又是另一种体验。在这篇文章中，我们将带大家探索在工程设计中专业人士需要或可能用到的5中手指追踪技术，下面就让我们开始吧。

什么是VR手指追踪？

手指追踪是一种追踪类型，旨在在一些精确的用例中使用用户的双手取代传统的VR控制器。一般来说，手指跟踪可以被认为是一种特殊类型的手部跟踪系统。在这种情况下，当用户在虚拟现实中与CAD模型交互时，系统可以实时找到其手指的位置，而不受移动速度或手部复杂运动的限制。

基于手指跟踪的交互与触觉力反馈设备相结合将提供完全身临其境的虚拟现实体验，包括视觉和实践。在与1:1 CAD模型交互时，用户将能够感受到3D模型不同部分的质感、纹理和硬度。这样，在你抓取一个虚拟物体时，就能够产生对用户手的指阻挡或阻力进一步增加互动的真实性。

交互式虚拟现实技术精确跟踪手指运动有几种不同方式。能够与TechViz一起使用的是VR触觉手套，由于Techviz软件可与许多跟踪传感器设备兼容，例如ART Fingertracking、Vibro Tactile Finger Tracking、Cyberglove、UltraLeap等设备。

VR手指追踪和VR手部追踪有什么区别？

当VR头戴式相机或外部传感器基站开始跟踪用户的手部位置、深度、速度和方向时，就会进行VR手部跟踪。跟踪数据由用户的虚拟现实系统收集，并转换为用户的手部及其在虚拟现实环境中的运动的三维表示。即使手部跟踪场景可以包括触觉和力反馈设备，它们通常不如单个手指跟踪精确。这两种跟踪方法之间的选择很大程度上取决于具体用例所需的精确度以及所部署的虚拟现实系统。

VR手指追踪和手势识别有什么区别？

通过使用机器学习、深度神经网络和基于模型的跟踪，Oculus和谷歌等几家公司推出的头戴式显示器现在能够识别手势。然而，这项技术旨在识别特定的手部动作和姿势。如果用户有需要精细手指跟踪的特定用例，例如在虚拟现实中模拟数字仪表组并运行座舱工效学研究，现有的手势识别技术将无法达到要求，因为该技术还无法达到使用手指精确触摸屏幕这样较为精细的交互动作。

手指触摸检测和手指追踪有什么区别？

全手指跟踪不同于手指触摸检测。在使用手指触摸检测功能时，你仍然还需要用到VR控制器。控制器可以检测你的手指，而无需在你放置拇指、食指或中指的位置按下任何按钮或模拟杆。这使得你在VR体验中可以用手做出更自然的手势。这是一种简单且经济高效的方式启用基本手势，如指向、挥手和竖起大拇指.

但手指跟踪的真正含义是，该系统可以在不使用控制器的情况下跟踪用户每根手指的单独运动。

VR手指追踪在工程设计中的5个用例

沉浸式VR在各行业中已经开始快速普及。在这里我们向大家介绍一些VR手指追踪的使用案例以及与虚拟现实中的完整手指跟踪系统相比,“传统”虚拟现实和手部跟踪将受到限制。

人机工程学和可达性研究

带有手指跟踪触觉力反馈手套对于车内人机交互的虚拟现实评估场景是必不可少的。例如，非常重要的一点是，要知道司机是否可以在眼睛不离开路面的情况下操作汽车的所有控制装置。只有当虚拟现实手指跟踪与触觉相结合时，才能在驾驶舱中安全的进行有意义的可达性研究。

在3D模型中插入非3D元素

虚拟现实中的触觉反馈和手指跟踪对于用户体验至关重要，比较典型的案例就是车内人机界面的评估（HMI）。尤其是用于与数字仪表组、数字信息娱乐或导航系统进行交互。其目的是在虚拟现实环境中的3D汽车模型中模拟一个触摸敏感的、可与用户互动的独立2D应用。

完全沉浸式设计审查

能够参与项目评审和演示通过手指跟踪加快产品设计过程。它使每个利益相关者能够直观地参与CAD模型——即使他们在虚拟现实方面没有什么经验。虚拟现实产品设计中的手指跟踪为用户与虚拟对象的每次交互提供了更加精确和更加快速的反馈。

具有专向性的虚拟现实训练场景

虚拟现实中的手指跟踪可实现与虚拟现实模拟的高保真交互，并为培训场景提供更加真实的沉浸感。这与工人需要使用手指的场景非常相关，例如技术人员的维护场景或装配线培训。使用VR控制器的VR训练场景和现实生活中还是会有差距。而使用手指追踪的虚拟现实模拟有助于同步思维和双手，并通过避免混淆和错误提供更准确、更有效的培训结果。

远程协作

手和手指的运动越精确地转化为虚拟现实，交流就越容易。将手指跟踪添加到VR远程协作中，将使用户的虚拟化身能够在向同事解释某些事情时反映其正在做的手势。将非语言交流添加到虚拟现实中可实现更为真实的对话交流感，这将有助于用户减少沟通失误，提高团队的整体表现。

为什么VR手指追踪对工程设计很重要？

虚拟现实中的手指跟踪允许用户在不需要虚拟现实控制器的情况下直接用手指与CAD内容进行交互，并通过触觉力反馈设备为虚拟现实模拟添加另一层真实感。因此，它有许多优点：

增加虚拟现实体验的真实感：改进的感知真实感使用户更容易对虚拟原型的UX、可制造性或人体工程学做出决策。

更强的存在感和沉浸感：通过将双手在VR中可视化，你的大脑将认为你正在经历的一切都是真实的，这将允许用户完全沉浸在虚拟现实中，因此该技术非常适合模拟和学习场景。

更好的用户体验：面向专业人士的AR/VR涉及各类不同的用户，从设计师到工程师再到技术人员。手指跟踪与触觉相结合，实现了不需要陡峭学习曲线的交互，这与依赖控制器的交互相反，在控制器中，每个交互都有不同的编程。此外，与从未经历过虚拟现实培训的用户合作，测试其用户行为也至关重要。

针对特定用例的更精确的工具：人类的手指拥有27个自由度和感知微小物体的能力，是一种非常精确的抓取“工具”。手指追踪技术可轻松实现现实世界中手指的，抓取、拿捏和摆动手指等各种动作，使用户与虚拟物体交互更加直观。

更轻松地与同事协作：在人与人交流中非语言交流有非常大的用处，很多情况下自然的手部动作可更加直接的让对方了解你想做什么，这对虚拟现实中的协作沟通有很大帮助

哪些VR系统支持手指追踪？

可以使用基于投影的VR系统（如CAVE，Powerwall…）进行VR手指追踪工作吗？

使用基于投影的VR系统，一台或多台立体投影仪显示两组略有不同的图像，以创建只有使用LCD快门眼镜才能看到的3D效果。如果只有一台投影仪，则称为Powerwall。当至少有两台投影机同时运作时，它才能成为一个沉浸式的房间或CAVE（CAVE自动虚拟环境）。

为了跟踪用户的位置，你需要多台外部红外摄像机。但是对于像手指追踪这样非常精确的交互，你需要将手指跟踪手套添加到虚拟现实系统中，如ART Fingertracking。

手指追踪是否适用于任何VR头戴设备？

一些头戴式显示器原生支持在没有控制器情况下的手指跟踪功能，如Meta Quest 2、HTC Vive Pro、Pimax 5K和Pimax 8K以及Varjo XR-3和VR-3。

对于除上述以外的其他虚拟现实系统，你需要在你的虚拟现实头显上添加一个专业的手指跟踪传感器设备。