幕后解密 | 小提琴表演与虚拟数字人的数字化再现过程

在“迪生 VICON- 东方影都动作捕捉创作中心”启用仪式中，一场关于手指舞动与虚拟世界无缝对接的演示赢得了满堂喝彩，指尖细腻的精准捕捉，让在场的每一位观众都为之震撼。 今天，我们有幸邀请到迪生技术服务部总监韩沐坤先生，一同揭开这场技术盛宴背后的神秘面纱，深入探索这场技术盛宴的非凡魅力与幕后故事。

小提琴表演环节中，演员指尖动态和琴弦完美融合，是如何做到的？

首先我们对演员表演使用的小提琴和琴弓进行三维扫描生成mesh，为了保证扫描数据的准确性，我们还在琴和琴弓上贴点录制了基本的数据，之后用点位数据和mesh进行比对和调整，保证mesh和实际的小提琴物理体积保持最高的匹配度。接下来我们对小提琴和琴弓做了基本的道具骨骼绑定，基于Shogun的模型预览和道具mesh可视化的功能，我们将绑定好的琴和琴弓mesh导入Shogun和演员的实时表演数据进行准确度检查和进一步调整。

除此之外，我们通过手指贴点的方式捕捉演员的手指位置、角度和速度等关键信息，然后在Shogun软件里创建演员手指1:1还原的虚拟骨骼系统，然后将虚拟骨骼系统与小提琴和琴弓的mesh模型进行同步和整合，保证演员在虚拟环境中演奏小提琴时，指尖动态与琴弦的交互将呈现出更高的真实感和流畅度，这不仅为观众带来更逼真的观赏体验，也为小提琴演奏的数字化记录和再现提供了新的可能性。

光学手指捕捉的优势有哪些？

光学手指捕捉技术通过marker点的实际空间位置来生成手指数据，能够提供更真实准确的手指位置和姿态信息，即使在部分marker点被遮挡的情况下，光学捕捉系统也能根据手势训练模型推算出最接近的手指姿态数据，从而保持捕捉的连续性和准确性。

比起惯性手套，光学手指捕捉系统与身体数据在同一软件内进行处理，避免了因数据传输距离或多系统并用导致的同步问题。除此之外，光学捕捉系统通常不需要演员佩戴复杂的设备或手套，只需在手指上贴上marker点即可，因此不会对演员的表演造成太大的干扰或不适。

如何选择手指贴点方式？

迪生光学手指捕捉提供了三指、五指、十指三种贴点方式，能够满足不同场景下的手指捕捉需求，在选择手指贴点方式时，需要根据具体的应用场景、捕捉精度要求、后期数据处理量以及成本预算等因素进行综合考虑。

三指贴点的方式适用于一般的手指捕捉需求，如简单的手部动作捕捉、交互体验等。这种贴点方式贴点数量相对较少，操作简便快捷，能够满足基本的手指姿态和手部抓握动作的捕捉需求，并且数据修复量较少。

五指贴点的方式适用于对手指舞蹈、手指单独运动的精细捕捉，以及后期需要进行数据处理的情况。该贴点方式能够精准捕捉每根手指的动作，适用于对手指细节要求较高的场景，虽然对于特殊手型可能需要后期调整，但对大多数动作的捕捉效果较好。

十指贴点的方式适用于实时手指表演、数字人制作等需要高精度手指解算和实时效果的场景。十指贴点能够获得比五指更精确、更好的手指解算效果和实时效果。但需要注意的是，由于手指密度大，点之间的位置距离小，对摄像头数量和像素要求较高。

虚拟数字人分身环节在技术方面有哪些突破？

基于ViconShogun的自动MetaHuman重定向功能我们可以一键对Metahuman的骨骼在Shogun Post内进行重定向并且在Shogun Live内进行mesh实时预览，极大的提升了重定向的准确度和易用性。

同时配合Loki 4D面捕捕捉系统带来的高精度Metahuman面捕解算，我们在和动作捕捉同步的前提下得到了超高精度的面捕捕捉还原，使得每一个嘴型和细微的表情都能够在Metahuman上得到呈现。结合Loki的舒适轻便头盔可以降低演员长时间佩戴的不适感。

迪生数字人技术团队的优势有哪些？

迪生拥有基于虚幻引擎的的高效数字人制作和虚拍制作流程，并且配备了领先的三维扫描、4D时域扫描、动作捕捉、面部捕捉和虚拟摄影机等尖端设备，可以在前期资产制作、数据采集、拍摄预览、实时渲染和后期制作阶段提供全流程的服务，满足客户的各种创意和拍摄需求。

从指尖轻触琴弦的微妙动态，到光学手指捕捉技术的精准呈现，再到虚拟数字人分身的生动演绎，迪生不断突破技术壁垒，将创意与技术的结合推向了新的高度，未来，迪生将继续深耕数字技术，为创意产业带来更多惊喜与可能。