Quest Pro的眼动追踪和面部追踪可以做什么？

借助 Quest Pro，Meta 引入了新的头像界面，可以更好地反映用户的面部表情和身体动作

在 Meta Connect 2022 上，Meta 推出了 Movement SDK，允许开发者在他们的 VR 应用中实现以下功能：

• 人脸追踪（使用 Meta Quest Pro）
• 眼动追踪（使用 Meta Quest Pro）
• 身体追踪（使用 Meta Quest Pro 和Meta Quest 2）

Quest Pro 的面部和眼动追踪

眼动追踪和面部追踪功能利用 Meta Quest Pro内部的五个新红外传感器。也就是说，三个瞄准眼睛和脸的上部，两个瞄准脸的下部。

预训练的 AI 模型基于面部动作编码系统 (FACS) 从抽象传感器数据中获取面部表情，这是一种广泛使用的人类面部表情编码方法。开发人员可以将面部表情映射到各种化身。无论是漫画还是现实，人类还是幻想，都没有关系。

Meta 创建了两个头像示例供开发人员进行试验。一个是Alien Aura，如你所见，它可以代表一系列逼真的面部表情。

眼动追踪还可以进行目光接触或新的互动形式。面部和眼动追踪默认关闭，必须由用户在设置中激活。根据 Meta 的说法，传感器数据保留在设备上，一旦不再需要数据处理，就会被删除。

全身追踪

Quest 2和Meta Quest Pro支持全身追踪。这个词有点误导。事实上，这个功能只包括头部和手部的动作。耳机不会记录臀部、腿或脚的运动。

运动 SDK 的身体跟踪功能将运动数据传输到Avatar，使其看起来尽可能自然。

机器学习在这里也发挥了作用。“我们使用真实人体运动的大型数据集来纠正逆运动学或基于 IK 的方法中常见的错误，”Meta 产品经理 Vibhor Saxena 解释说。逆运动学方法来自机器人学，描述了基于有限数据点的肢体空间关系的机器估计。

目前， Meta Horizo
n 产品已经使用了这种身体追踪功能。现在它可供开发人员使用，因此将在除 Horizo
n Home、Worlds 和 Workrooms 之外的其他 VR 应用程序中启用更逼真的化身，而无需开发人员编写自己的 IK 模型。该系统是灵活的。它可以在手和控制器跟踪之间无缝切换，并且可以映射到不同形状的骨架。

“我们使用大量真实人体运动数据集来学习和纠正逆向运动学或基于 IK 的方法中常见的错误，”Saxena 承诺。他可能指的是具有模拟腿的化身，除其他外，它可能在发布时也属于运动 SDK。

Movement SDK 是Presence Platform的一部分，是Meta 对沉浸式界面和 SDK 的统称。Meta 将它们分为三大支柱：混合现实（Insight SDK）、交互（Interaction SDK 和语音 SDK）和社交存在。运动 SDK 是第一个属于后者。