袁东：XR是未来数字世界中最核心的技术

更多精彩内容，请关注 《预见未来十年！2020网易未来大会》专题报道

杭州网讯12月18日-20日，2020网易未来大会在杭州盛大举行。大会以“洞觉未见”为主题，汇聚了全球最强大脑，期盼以远见超越未见，去寻找打开未来的钥匙。

大会上，HTC Vive软件产品总监，Vive亚太开发者关系负责人袁东在《DL/ML为XR带来更浸入式的体验》主题演讲时表示，虚拟现实从2017年和2018年有明显的下落，但从2019年到2020年，特别是今年的疫情，已经明显感觉到虚拟现实越来越靠近我们的生活。袁东说非常坚信XR是未来数字世界中最核心、最重要的一款产品。

袁东认为，未来人类生活可以生活在虚拟中的，通过AI，XR，Blockchain以及最先进的通信技术彻底改变人类的生活。

以下为袁东演讲实录：

袁东：各位来宾下午好，我是来自HTC VIVE的袁东，首先感谢网易的邀请来到网易未来大会，来到美丽的杭州跟大家分享在XR行业，我们利用AI，利用深度学习和机器学习如何来提升XR的体验。

我们的品牌是一个比较年轻的品牌，品牌LOGO在一个三角形中，有一个生命的蛋，这个代表人文科技和梦想。那我们的愿景是“解放现实的无限想象”。我记得在2016年的时候，当世界上第一款6DoFi的VR产品问世时，那一年非常火热。曾经我的同事跟我讲，他说在2016年在做年终汇报时，我们参加了全国100多场会议，也就是每2个工作日就要参加1个虚拟现实的会议。但虚拟现实就像今天杭州一样经历了比较冷的感觉，从2017年和2018年感觉有明显的下落，但从2019年到2020年，特别是今年的疫情，我们已经明显感觉到虚拟现实越来越靠近我们的生活。特别是在这过去的3天中，我们听到了很多行业的嘉宾、大咖分享以后，觉得很多人跟我们的想法还有愿景是一样的。虚拟现实技术，甚至是XR技术会改变我们的生活。

首先我介绍一下我们VIVE的ECOSYSTEM，我们在硬件、软件、艺术、投资领域都做了很多贡献，我们非常坚信XR是未来数字世界中最核心、最重要的一款产品。但是我还是要感谢真正在生态中的开发者，因为没有这些开发者的话，虚拟现实和XR并不会这么快进入我们的视野，影响我们的生活。

下面，我想提出一个词，叫做VIVE Reality，这是我们董事长在西班牙时提出的一个概念，通过这个视频请大家了解一下。

VIVE Reality，我们认为未来人类生活可以生活在虚拟中的，通过AI，通过XR，通过Blockchain，还有最先进的通信技术会彻底改变人类的生活。为了实现这些，我们会在下面4个方面实现这些内容和技术，特别这些技术会非常借鉴于AI来实现。下面，我向大家一一阐述这些。

第一个是面部的追踪，可以说我们在人与人交流时，交流的关键是要有面部的表情，特别是眼睛、嘴巴、鼻子，形成一个三角的区域，这个会传达人与人之间的感情，还有语言。那通过我们的硬件，可以完全模拟，实时模拟人物眼睛的追踪，还有嘴巴追踪，甚至可以统一叫做面部追踪。

NeosVR利用了我们的开发者套件就可以在虚拟世界中跟他的朋友进行真正的交流，这也可以实现它的表情实时传输，在虚实世界中可以化身为一个虚拟形象。

下面讲一下手部追踪。我相信在座的很多朋友第一次体验到真正的虚拟现实时，是通过《The Blue》这个游戏内容。当面前一条巨大的蓝鲸还有魔鬼鱼游弋过去时，我当时最初反应是伸开双手想触摸它，用手来接触自然是人类对自然最自然的一种反馈，还有接近。那我们也是利用了深度学习还有机器学习来实现这些追踪。首先举个例子，在最早没有用到深度学习时，我们曾经想利用叫做匹配的技术，来实现手部的交互，当时我们的IT团队，在北京的研发团队开发了一个VIVEpaper内容，我们当时和日游这家公司推出了这个应用。

这个是当初我们技术的Breakdown，当我们在用前置摄像头识别手的时候，可以看到第三列中间这幅图，摄像头会发现一些脏的数据（dirty data），这个会影响摄像头的判断，它可能会认为旁边这一块也是人类的手。那我们的团队就利用了左边这一栏有两页的K&Q纸，来把环境隔开。也就是我只会识别K&Q纸张里的图像是不是我的双手。如果我的双手进行了一些像翻页动作、点击动作时，它就可以打开，还有翻页，呈现内容。但是我们团队后来使用了深度学习以后，可以通过实时的camera去学习手部的资料，然后通过这几个步骤，包括自动去标定、自动识别手部，然后建立起骨骼模型，最终可以在3D空间中追踪人的手。那利用这个Deep Learning，我们的手部追踪可以实现不同肤色人的手，左手右手的识别，正反的识别，可以识别6个这样的既定姿态，甚至可以在空间范围内识别手的位置信息，可以追踪手的骨骼模型。我们还推出了可以自定义手势，比如说你在听音乐会的时候，伸出了Rock这样的姿势也可以定义。

我们通过跟国外的艺术家合作创作了利用手势的内容，可以看到这个场景是80后非常熟悉的那个场景，当年的时候每个家庭都有一幅这个茶杯，然后一幅这样上下开门的冰箱。那我是非常渴望能够再回到童年，去触摸童年的记忆，手势识别就扮演了这个桥梁。

下面讲Body Tracking，全身的动作捕捉。在虚拟现实中如果想跟朋友交互，身体姿态也是必不可少的。在皮肤的Tracking之前，我想介绍一下我们在2017年美国CES发布的一款产品，叫Web Track，主要功能是在我们追踪功能下绑在任意物体上，使任意物体被追踪到。开发者非常有创意，简单通过了一些开发之后，短时间内就创造出很多有意思的内容来。像在美国就有消防局用Track来模拟消防的演习。在欧洲的话，欧洲杯一些球员也利用我们的Track制作的内容来进行足球训练。

这是现在好莱坞非常流行，甚至是主流的一种制片模式，虚拟制片，利用Track来进行焦距的变换，还有虚拟摄像机的定位。右下角是我们在今天很多shopping mall里看到的VR线下体验，像一把真枪在现实影射，让你体验射击的快感。

VIVE sync团队是跨国团队，设计团队在旧金山，engineering团队在台北。因为疫情原因，交流比较困难，就在想怎么让团队合作更加融洽，就创造了VIVE sync软件，它就是在虚拟现实中协同一块进行工作，可以支持最主流的办公文件格式，甚至可以在虚拟现实中同时review一个3D模型，这对产品同学会非常有吸引力。但我们发现一个很大的问题，在一开始交流过程中，人体很难被模拟。因为在虚拟现实中我们只有一个头盔和两个手柄，模拟的人体非常不自然。我们团队通过机器学习的方法来改善这一块，这里有一个IK（Inverse Kinematics），利用人有限身体节点反向模拟人体。其中上面两个，左边是人的正常的活动姿态，右边是我们想实现的通过机器学习和我们的方法，能够模拟出人的身体姿态。当然这两个无限的接近，就证明这样的模拟是有效的。

我们通过了很多的training数据，通过机器学习进行training以后，再通过后期美术的优化和加工达到了效果。这个视频展示了我们怎么training data，可以看到我们用的硬件只有两个头盔和两个VIVE controller，分别绑在肘部，用两个外部的controllers模拟手的姿态。通过这样的训练，得到了人上半身非常精准的姿态数据。

经过机器学习和美工加工，可以看到我们与其他通过没有经过机器学习的模拟IK的效果对比。左边是我们通过机器学习得到的模拟效果，右边是普通情况下模拟的人上身的效果。可以看到右边容易出现穿模不自然的状态。在VIVE sync软件里面，就有一个更好的对比。

在虚拟现实中，我们不仅想把人最自然的姿态、人最自然的表情映射进来，我们还希望能增强人在虚拟现实中对现实的认知。我下面想向大家介绍的是通过我们的技术如何增强人对世界的感知，甚至是对自我的感知，能够达到增强现实的效果。

通过Deep Learning的技术，在2D方面可以实时识别很多物体，而且识别的物体数量会继续增加。这样比较好的应用，比如我在玩VR的过程中，我的沉浸感非常强，而且戴头盔就没办法看到外界的东西。但如果在你旁边走过去的亲朋好友，对他们来讲你其实是一个非常危险的人，因为他不会预测你未来会做什么样的动作伤到他。这时候我们通过对人物的识别，就会实时反映出来，告诉你前面有一个人或者小猫小狗走过去，你就会注意到，不会伤害他。对于3D的识别，我们通过前置摄像头进行环境扫描以后，会把空间所有的信息做内部处理，识别出3D物体位置和3D物体大小。通过这个视频，可以看到一个简单的应用。这个demo在台湾办公室录制，可以看到通过前置摄像头扫描完了桌椅以后，生成数据，可以识别出这个是否桌椅，就可以做3D、MR内容的研发。

未来，我们还想更进一步通过深度学习和机器学习，来增强这些方面的体验。比如，我们会识别出在环境中灯光的来源，就像我今天站在这里的时候，我通过VR也能学习到我的光源是从我正前方的镁光灯射过来，还有它的方向，甚至它是什么样的光源，是点光源还是散射光源等等。

2020年是一个令人难忘的一年，因为这一年发生了很多的改变，特别是新冠肺炎疫情让大家跟很多亲人没有办法像之前一样那么方便地团聚和工作。但是在世界各个角落通过虚拟现实技术，通过我们的一些技术，还是有很多热爱生活的人，他们依然在虚拟现实中得到了现实方面的体验和满足。

我们相信未来的XR技术，加上真正的AI技术和人机交互技术，也会让人们在办公中得到真正的像现实中一样的便捷。

从虚拟现实真正走向大众的2016年开始，我们跟网易一直有非常密切的合作。在我们的内容平台已经有两款网易的内容上线，我们未来会跟网易伏羲继续在技术和产品上合作，也非常感谢网易和网易伏羲的邀请！最后预祝这次大会圆满成功，谢谢各位！

2020网易未来大会由杭州市人民政府和网易公司联合主办，杭州市商务局、杭州市经济和信息化局、杭州市滨江区人民政府、北京网易传媒有限公司以及网易（杭州）网络有限公司承办，中国移动总冠名。大会将进行三天的头脑风暴、涵盖了预见未来、新基建、人工智能、区块链、潮商业、UP生活以及和文化等论坛。