首次落地，淘汰传统动捕？腾讯2800万预约头部产品揭秘AI+格斗

AI在商业游戏中的实际应用。

整理/秋秋&青晖

在今天的2026GDC现场（Game Developers Conference，游戏开发者大会），腾讯游戏的AI负责人廖诗飏Elvis，带来了一场关于“在3D格斗游戏中利用实时AI技术生成过渡动画”的技术演讲。

本次演讲的落地案例，是目前腾讯魔方备受关注的漫改IP格斗新作——《异人之下》（The Hidden Ones）。该作采用虚幻引擎开发，配合“三渲二”技术，呈现了高质量的动作视觉表现，目前游戏全网预约量已突破2800万。

在快节奏的格斗游戏中，角色动作的流畅度与打击感是核心体验。但海量的动作状态切换往往会导致“滑步”或动作僵硬。

在本次分享中，演讲者详细拆解了团队如何通过无标记动捕、轻量级神经网络（仅6MB）以及异步引擎部署，在头部商业游戏中跑通了这套AI动作生成管线。

以下为经过整理的演讲实录，内容有所删减调整：

01

为什么格斗游戏需要AI动作生成？

大家好，我是腾讯游戏的AI负责人廖诗飏Elvis。今天我将向大家分享，在即将推出的新作《异人之下》中，我们是如何利用实时AI技术来生成过渡动画（transition motions），从而创造出流畅且自然的角色动作的。

简单介绍下我的背景：我在英国伯明翰大学获得了计算机科学博士学位，专攻大规模仿真系统；随后在IBM Research进行百亿亿次超级计算机的前沿研究；之后在新加坡南洋理工大学（NTU）担任助理教授，教授计算机图形学、VR及游戏开发等课程。

2020年我加入腾讯，目前担任魔方工作室的AI负责人，同时兼任游戏领域顶刊《IEEE Transactions on Games》的副主编。

《异人之下》是一款3D格斗游戏。每个角色都有独特的技能、攻击流派和速度，玩法极具个人特色与策略性。

通过上面的视频可以看出，精美的画面和动画是这款游戏的核心。为了让快节奏的战斗衔接更加平滑自然，团队提出了一种全新的解决方案：利用生成式AI技术来增强角色动作的表现力。

为什么要这么做呢？在格斗游戏中，角色需要频繁在不同的动作状态间切换。比如从受击切到待机、从攻击切到冲刺、再切到奔跑。

这其中的过渡组合数量极其庞大，我们不可能全靠动捕（Mocap），动画师也无法手动把它们全部K帧（Keyframe）出来。因此，我们需要一种更高效的方式，实时把这些中间过渡状态生成出来。

传统的办法，比如线性插值，经常会让角色出现“滑步”（Foot sliding）。用IK（反向运动学）去强行修正落脚点，动作看起来又会很僵硬、缺乏细节。

而运动匹配（Motion Matching）等数据驱动方案也有明显局限：它需要一个极其庞大的动画库，特别吃内存；还得为每个角色定制过渡动画；而且泛化能力很差，遇到夸张的待机姿势就需要大量微调。

这就是为什么我们要去探索生成式AI的解决方案。

AI方案，如鲁棒的动作补帧、CVAE、双阶段Transformer及基于Diffusion的方法等，能很好地泛化到各种姿势，生成流畅、自然且符合物理法则的动作。

但基于AI的方案落地到商业游戏中，同样面临三大挑战：

• 推理时间长，不适合实际游玩；

• 内存和包体占用大；

• 现有研究多集中于日常行为，缺乏功夫格斗场景的数据和案例。

为了解决这些问题，我们的项目确立了三个维度的目标：

• 技术美术（TA）视角：尽量减少手动调优，同时保留动画师的视觉意图。

• 游戏设计师视角：打击时机和节奏必须准确，避免滑步和穿模。

• 客户端工程师视角：保持极小的包体占用和极短的处理时间。

只有这三点同时满足，才算是一个完整的解决方案。

02

数据获取与模型设计

我们的整体方案涵盖了三个层面：

1. 数据层面：使用无标记（Markerless）多视角视频动捕、经过优化的捕捉工作流及数据增强技术，来处理姿势的采集和重定向（Retargeting）。

2. 模型层面：采用轻量级设计，设计输入输出特征及损失函数（Loss design），提高动画质量。

3. 部署层面：解决骨骼适配、动态位移、动画相位匹配（Phase matching）及武器穿模等问题。

据我所知，这是世界上首次将AI生成的过渡动画，实际应用在3D格斗游戏的案例。

当游戏中触发动作过渡时，AI模型会预测过渡帧，然后我们会在引擎内开一个单独的线程进行推理，经过后处理提升质量后，结果会直接送到游戏引擎中进行渲染。

在数据获取方面，传统的动捕需要大型影棚和昂贵的设备，还要在演员身上贴满马克点。现在，我们在一个小房间里，仅仅使用七台像GoPro一样的普通摄像头就能达到同样的目的。

通过姿态估计（Pose Estimation）提供关键点，三角测量提供3D坐标，再用惯性传感器修正脊柱的旋转误差。

这种低成本设置，能实现快速原型开发，非常适合原地动作捕捉，效果相当不错，并且演员不需要穿戴任何马克点。

在数据增强方面，我们首先做空间增强，比如沿着前方轴线做镜像对称。这是零成本的，并且能极大增加数据的多样性。

由于动捕数据和游戏的帧率往往不匹配，我们会通过缩放对齐，把动捕数据匹配到目标帧率。

此外，我们还能通过切割和融合那些运动趋势相似、但初始姿态不同的动作，从单个真实样本中合成更多的高质量数据。这样不需要采集更多原始数据，就能丰富我们的数据集。

在模型设计方面，我们使用了多特征编码器和LSTM（长短期记忆网络）。

只需要输入两帧：起始姿势和目标姿势。模型包含当前状态编码器、目标编码器、偏移编码器和特征编码器。我们加入了位移差、目标运动趋势等额外信息，这能有效改善角色大幅度位移时的动作表现。

我们还使用了分离的解码器：一个是MoE（混合专家）解码器用来生成中间帧，并且把上半身和下半身的解码器也分开了。这种设计让模型对下半身有更强的预测能力，有效防止了滑步。

同时，我们还加入了相位信息和脚步接触信息，这极大地改善了奔跑动画的质量。

最后，在推理方式上，我们采用自回归（Autoregressive）逐帧生成。这种串行推理允许异步执行，完美符合实时引擎的限制，不会导致动画系统阻塞。

在损失函数上，除了旋转、根骨骼位置等标准指标，我们还特别加入了基于速度和接触的滑步惩罚以及脚步接触惩罚。

03

部署与优化：

6MB包体、0.4毫秒延迟

在性能表现上，FP32精度的模型大约是15MB，每次推理耗时0.75毫秒。我们对LSTM中超过8%的权重进行了动态量化（Dynamic quantization），量化后的版本只有约6MB，推理时间降到了0.4毫秒，且位置偏差不到1厘米，实现了不错的性能权衡。

在游戏内引擎部署方面，量化模型我们使用的是C++接口。异步推理意味着我们直接从结果缓冲区进行渲染，动画系统完全不会被阻塞。我们通过偏移运动处理来解决根骨骼的方向和空间变化。

关于模型对不同角色骨架（Rig）的重定向问题：模型其实是在统一的骨架上训练的，我们通过计算模型T-pose和目标T-pose的身高比例，将其映射到每个角色的骨架上，并按此比例自动缩放位置和旋转。因此，我们无需重新训练，就能支持正常体型、较矮或较高的各种角色。

武器穿模（Weapon clipping）是游戏动画中最让人头疼的问题之一。为此，我们改变了原始的过渡目标，将其设为一个中间姿态，然后结合AI生成的过渡帧与IK资源来调整动画，成功防止了武器穿透角色身体。

此外，为了让生成的过渡动作与后续的奔跑循环衔接，我们在系统中引入了相位匹配机制。当角色从过渡状态切回奔跑时，该机制会确保其腿部的运动相位保持一致。这个方案，有效避免了动作的抽搐或卡顿（Pops），让角色跑动看起来更自然。

在最终的效果对比中可以看到，对于大位移运动（如从滑步到奔跑的过渡），传统方案会生硬地切入转身，而AI模型能自然流畅地转身，同时毫不牺牲玩家操作的响应速度。

总结来说，我们将AI无标记动捕、轻量级神经网络与动画引擎部署技术相结合，数据、模型和部署缺一不可，最终为大家提供了一个完整的3D格斗游戏动作过渡解决方案。

04

QA环节

问：对于毛发和布料这些次要动画（Secondary Animation），传统做法往往倾向于使用物理引擎进行模拟。但在刚才的演示中，我注意到一些布料依然存在穿模现象。你们是否有计划，把这类次要动画也完全交由AI来生成？

答：我们目前确实还没有将这套系统应用在毛发或布料上。基于物理系统是传统的解决方式，但我们实际上已经有了一些针对AI生成布料模拟的解决方案，甚至包括针对可形变物体（Deformable objects）的模拟，比如处理自碰撞（Self-collision）和软体模拟。

其核心难点在于自碰撞检测。因为游戏角色有很多骨骼关节点，传统的碰撞检测过程需要消耗大量的算力和时间。而对于AI生成的解决方案，我们只需要训练好模型，就可以在本地直接生成，目前的初步测试结果非常有潜力。

我们未来会继续在这个方向上进行探索，但目前这套系统主要还是集中在角色躯干和核心根骨骼动作的生成上。

游戏葡萄招聘商务经理，

| |

| |

游戏行业书籍推荐

（星标可第一时间收到推送和完整封面）