Maya自动绑定实时推流UE5，可捕捉舌头动作！面部捕捉都精细到这种程度了？

点击上方蓝字CG世界关注我们

“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”

中国很有影响力影视特效CG动画领域自媒体

提及动作捕捉，对于我们行业小伙伴来说并不陌生，目前市面上的各种动捕设备，动捕基地啥样都有，面部捕捉技术设备也是各种各样，随便拿个手机就能搞面部捕捉实时给到虚拟角色上了。

目前用的最多的就是影视短片和实时直播两个行业，但影视短片和实时直播这两种渠道并不兼容。影视短片中的数字人颜值精美，可谓是与真实世界完美融合的“高仿真”，但TA从未在实时直播中呈现过；实时直播里的数字人，大多带有二维或动画风格，其真实程度从未达到影视短片中的精良程度。

虚拟数字人，先从“脸”开始卷起

元宇宙浪潮下，互联网大厂先后开始布局数字人赛道，随即文娱类企业也纷纷上车，围绕虚拟数字人的应用场景和市场也变得愈加多元。涌入人们视线的虚拟数字人也开始层出不穷，数字人的创造者们开始逐渐赋予其更多的身份定义，从虚拟偶像虚拟主播到虚拟数字记者虚拟代言人……

有了不同身份的数字人，内容也愈加的丰富有趣，人们对内容的精度也逐渐开始有了更高的追求，角色不能再是简单的“动”起来，也不再仅仅对上的“口型”，如何让虚拟人物面部有自然流畅的表情运动，如何让虚拟数字人拥有微表情的流露……所有这一切高要求都需要一个高精面部技术来支持。

国内顶尖研发团队FACEGOOD

说到虚拟数字人的面部表情技术，这两年国内技术一直在发力，最值得提及的就是国内扛起面部捕捉技术大旗的极客团队FACEGOOD。这里简单跟大家介绍下，FACEGOOD是国际领先的3D工业软件研发商，主要应用于媒体和娱乐产业，研究领域涉及生物软组织仿真，运动科学，计算机图形学等。

目前他们一直在死磕高精面部捕捉这一难题，在去年底他们发布了高精度实时面部捕捉技术Seattle Pro， 还公布了一篇论文，之前我们公号推送过（点击下图可查看论文），那时候开始面向全球创作者招募Beta测试。

猛戳图片可查看之前论文▲

MOTSE墨子技术流程测试过程

技术有了，如何检验在实际项目中的成果呢？于是FACEGOOD选择了对技术效果呈现最为“挑剔”的艺术家团队——MOTSE墨子，开展测试。MOTSE墨子团队是一家国家高新技术企业，团队提供全案解决方案的全流程建制。这个团队的数字艺术作品不仅长期在国内当代艺术馆展出，同时在高端商业品牌营销、创新性展览展示、商业场景升级中有着敏锐的嗅觉和深厚的商业落地经验。

在没和FACEGOOD合作之前，MOTSE墨子团队尝试了苹果的ARKIT FACEWARE等不同的实时面部捕捉方案，但是这些方案都只能带动几十个Blend Shape，在面部细节的还原程度上和表现效果上都很不尽如人意。

后来研发过程中使用了FACEGOOD提供Seattle Pro面部捕捉技术，相比手机端民用级别的方案，SeattlePro可以完整驱动Metahuman规范下的上百根骨点，600+修型Blend Shape与材质节点，在数量级上提升了10倍，基于这个技术对虚拟偶像的落地进行了全流程的匹配。

首先，MOTSE墨子团队设计出虚拟人的外貌体态，并进行高精度模型贴图的制作，同时在Ureal Engine5中实现皮肤质感和外形毛发等的细化。

他们这个测试出了一个视频，为了方便小伙伴们直观的理解，这里我们先把内容拆解来看下。

第一步：Maya中自动绑定▼

在Maya里实现自动绑定面部表情。这是MOTSE墨子团队在MAYA中配合Seattle Pro算法的绑定需求基于Metahuman的绑定结构研制出了自动绑定的流程。

这套流程可以自动匹配不同布线和外形轮廓的模型，无须再手工拓扑与绑定，极大的缩短了数字人的开发流程，另外Seattle Pro面部捕捉技术获得的实时数据同时可以推送进Maya成为离线的动画数据，满足传统制片流程。

第二步：匹配UE5绑定▼

这是通过livelink将实时数据直接推流到虚幻引擎中的效果，由于绑定和数据的流通是在Maya和UE的生产环境中是完全同步的，这样就能自动化、程序化的满足虚拟人在商业应用里的不同需求。

第三步：数字人面部实时驱动▼

实时驱动精细测试，口腔。▼

这里大家可以看到，包括舌头动作都能精准捕捉到，这就有点厉害离谱了。据了解这也是目前全球唯一能做舌头动作捕捉的技术。

嘴唇▼

脸颊▼

面部整体测试效果▼

下面来看看视频展示效果吧▼

双方在经过长达 一个月的技术磨合与测试，MOTSE墨子跑通了Seattle Pro，在效果和流程上进行完美的落地验证。

幕后团队采访

两个不同DNA的团队之间的碰撞，双方是如何理解艺术与技术的互融？如何看待技术进步对创作形态的演变？针对这些问题，我们也采访了幕后两个团队。来听听他们是怎么说的。

FACEGOOD团队：

年初我们在高精度实时表情捕捉上有很大突破，流程上美术上完全可控，对于任意的表情POSE、动画风格可以定义，例如舌头的捕捉是极其复杂的，但Seattle Pro在呈现上可以做到百分百还原。视频中可以看到舌头多数情况下被口腔遮挡了，但中之人在讲话的时候，数字人的舌头有伴随运动，这在业界是绝无仅有的。Beta测试启动后我们收到了非常多厂家的申请，MOTSE墨子是第一批测试用户，测试结果超出我们双方的预期。

在MOTSE墨子的落地主要有两个场景：首先在高精度的数字人应用中用来做一些直播内容。其次，在番剧生产中，MOTSE墨子团队已经开始用实时捕捉来制作动画，由FACEGOOD技术输出的动画数据不需要手工优化可以直接进入制片，产能提升巨大。

MOTSE墨子团队：

数字视觉艺术和新媒体艺术本身就是艺术+科技的结合。不同的团队在各自擅长的技术端努力，百花齐放，才能有更多的突破与创新；从技术上的互补，再到艺术+技术的互融，MOTSE墨子和FACEGOOD在两个团队的合作中也经历了从陌生到彼此认可欣赏的过程，只有志趣相投的团队才有可能相互协作，共同探索。

一直以来我们是以科技、技术驱动数字视觉艺术的团队，利用科技手段创作更多内容，为各场景升级提供更多的可能性，并且坚信未来各领域一定离不开虚拟体验。从MOTSE墨子的角度来看，虚拟体验目前可应用在各领域场景升级和未来元宇宙中。虚拟人作为虚拟体验的重要载体，现在大多数虚拟人是通过传统影视流程制作出的营销道具，其实不是真正的虚拟体验。

我们认知和创作的虚拟人是：高仿真度、可交互，可实时、强体验感、并具有商业应用延展性的。未来可真正在虚拟世界中进行体验、可交互的仿真数字人，才是未来元宇宙定义下虚拟体验。

结束语

艺术是为了激发想象的能力，科技是实现想象的能力；无论是新媒体艺术还是数字视觉艺术都是建立在科技的基础之上，只有科技的发展才能推动更多更好的创作。

FACEGOOD和MOTSE墨子两个团队将在未来继续不断尝试对虚拟数字人效果呈现的方式，从技术实现，产能提升，商业落地等方向一同探索，FACEGOOD也表示未来的所有研发成果都将在第一时间开放测试，与各种创作团队陆续开展联合实验，从研发和生产的角度不断提升虚拟数字人产能和效果，来撬动虚拟数字人赛道里更多商业场景落地的可能性。

全文完