介绍一件衣服,数字人需要边讲解边展开衣物、展示细节,再自然地收回双手。讲解持续几十秒甚至几分钟,人物的面容、服装和背景还要前后连贯。
这些看似自然的表现,给数字人视频生成提出了一组相互牵制的要求:动作要丰富,画面要稳定,生成还要足够快。对于内容制作方,三者共同决定了一段视频能否进入实际生产。
阿里巴巴淘天集团 TaoLive AIGC 团队推出的数字人生成框架 AptAvatar,以“面向业界即用”(Production-Ready)为目标,试图同时解决这些问题。
在保留140亿参数模型容量和720p 生成能力的基础上,AptAvatar 将每个视频片段的生成过程压缩至两步,支持通过文字提示控制人物动作,并改善长视频接续中的一致性。
与 InfiniteTalk 多步基线相比,AptAvatar 每个片段的模型前向评估次数从120次降至2次。论文据此报告了60倍推理提速,这一数字对应核心推理计算口径。
![]()
AptAvatar 结合人物参考图、语音和文字动作提示,支持细粒度动作控制与长视频生成。图中300秒、1000秒为长时生成展示,分钟级量化评估采用1分钟视频。
目前,在行业内全球首个流式交互视频生成评测榜单StreamEval中,AptAvatar 14B 以75.01分的综合得分位列第六。StreamEval由清华大学、NVIDIA、CMU、UC Berkeley、Princeton、NUS 等海内外高校与机构联合发起,覆盖数字人对话、虚拟人表演、世界生成、指令编辑与参考编辑五类任务,共300个测试用例、涵盖38个模型。与既有基准相比,StreamEval 不只测 “生成质量”,更测 “交互能力”,将指令执行、状态一致性、视觉质量与音画协调纳入同一套可量化评测体系,让不同技术路线的模型在统一条件下完成测试。
![]()
让人物形象与动作共同服务于内容
不同内容需要不同的人物形象。AptAvatar 的生成结果覆盖写实人物与风格化角色:下图中,两组写实人物分别对应服装展示和长视频讲解,水墨3D 与新艺术3D 角色则呈现了不同的服饰、场景与美术风格。这为商品介绍、知识讲解和品牌内容提供了多样的视觉选择。
![]()
从左至右为写实人物服装展示、写实人物长视频讲解、水墨3D 角色与新艺术3D 角色。
人物形象确定之后,创作者还可以进一步安排表达方式。AptAvatar 将参考图、语音和文字提示结合起来:参考图提供人物外观,语音驱动说话表现,文字则用于描述手势和身体动作。展示衣物、轻抚头发等要求,可以直接写入动作提示。
例如,在服装展示片段中,人物需要一边讲解,一边向两侧展开衣物,再收回双手。这个动作需要同时处理手与衣服的接触、双臂姿态的变化,以及动作前后的自然衔接。人物的表情、手势和衣物变化,需要在连续画面中相互配合。
对创作者而言,这意味着脚本可以包含更具体的动作设计:介绍商品时如何展示,强调内容时如何配合手势,都可以通过文字提示交给模型。数字人的身体动作由此成为内容表达的一部分。
少步生成如何保留大模型的表现力
高质量视频生成通常需要多轮去噪计算,逐步形成清晰的画面结构与运动细节。将这一过程缩减至两步,模型就必须在更少的计算中完成原有任务。如何在提速后保留人物结构、手部细节和动作幅度,是少步生成的关键难题。
AptAvatar 保留了大容量模型、双向视频生成架构,以及每个片段约3秒的时间窗口,通过改进训练方法实现加速。
团队先训练一个四步生成器并固定其参数,将其最终生成结果的分布作为稳定参照,为两步模型提供额外指导。这项方法被称为端点锚定分布蒸馏(EADD)。它为两步模型设置了一个更容易接近的学习目标,与原有教师指导共同作用,帮助模型在减少计算步骤后保留人物与运动细节。
四步生成器的作用发生在训练阶段。实际生成视频时,运行的仍是两步模型,因此不会增加额外的四步推理过程。
![]()
AptAvatar 技术框架。端点锚定分布蒸馏支持两步生成,自生成历史回放改善长视频接续中的一致性。
内容制作往往需要反复调整台词、修改动作、比较不同版本。降低每个片段的核心推理计算量,为这些日常创作环节提高效率提供了基础。
长视频的稳定性来自持续接续的能力
长视频由多个片段接续生成。前一段的人物姿态、服装状态与背景布局,都会成为下一段画面的依据。一次轻微偏差如果被后续片段不断沿用,就可能逐渐表现为人物外观变化或场景漂移。
这与模型训练和实际生成时面对的历史画面有关。训练时,模型通常接触真实视频;实际生成时,它需要沿着自己的输出继续生成。模型能否适应这些并不完美的历史,直接影响长视频的稳定性。
AptAvatar 引入自生成历史回放(SGHR),保存较早模型版本生成的片段,并在后续训练中反复使用。模型因此能够从训练阶段就接触自身输出中的偏差,学习如何在这些条件下继续生成。
历史片段可以重复利用,每次训练更新只需生成当前片段,无需从头生成整条长视频。这让模型在练习长时间接续的同时,减少了反复生成长序列所需的计算。
![]()
同一段约48秒视频在第1、12、24、36、47秒的画面,呈现持续讲解中的人物、服装与场景。
上述连续帧呈现了人物在同一场景中的手势变化。对于商品讲解与知识课程,动作需要随内容展开,人物外观、服装和背景则需要前后连贯,长视频生成的价值也由此落到一段完整内容的呈现上。
面向业界即用检验生成能力
团队在自建测试集上评估了100条15秒短视频和20条1分钟长视频,并与 InfiniteTalk、Wan2.2-S2V、LongCat-Video-Avatar 1.5、LiveAvatar 和 SoulX-FlashTalk 五种方法进行比较。在两组测试已报告的各项指标中,AptAvatar 均取得最优结果,覆盖画面质量、人物与背景一致性、动作平滑性、时间稳定性和音画同步等维度。
在主观评估中,10名评审者对100条短视频的生成结果进行匿名、随机排序的比较,考察动作多样性、手部完整性和人物身份保持等方面。AptAvatar 获得62% 的偏好投票,占比最高。
面向实际内容生产,生成效率与画面质量需要共同衡量。动作能否符合脚本,人物能否在持续讲解中保持一致,以及多轮制作的计算负担,都会影响数字人的应用价值。AptAvatar 将这些要求纳入同一框架,让少步生成、动作控制与长时稳定性相互配合,为商品展示、知识讲解、品牌内容和虚拟角色制作提供技术支撑。这也是其 Production-Ready 定位的具体落点。
AptAvatar 由 TaoLive AIGC 团队金美光担任项目负责人,张恒源、孙敬娜为共同第一贡献者。论文与推理代码已公开。
项目主页:https://taoliveaigc.github.io/AptAvatar/
论文:https://arxiv.org/abs/2607.24013
GitHub:https://github.com/TaoLiveAIGC/AptAvatar
