网易首页 > 网易科技 > 网易科技 > 正文

淘天推出 AptAvatar:两步生成,让数字人兼顾速度、动作与长时稳定性

0
分享至

介绍一件衣服,数字人需要边讲解边展开衣物、展示细节,再自然地收回双手。讲解持续几十秒甚至几分钟,人物的面容、服装和背景还要前后连贯。

这些看似自然的表现,给数字人视频生成提出了一组相互牵制的要求:动作要丰富,画面要稳定,生成还要足够快。对于内容制作方,三者共同决定了一段视频能否进入实际生产。

阿里巴巴淘天集团 TaoLive AIGC 团队推出的数字人生成框架 AptAvatar,以“面向业界即用”(Production-Ready)为目标,试图同时解决这些问题。

在保留140亿参数模型容量和720p 生成能力的基础上,AptAvatar 将每个视频片段的生成过程压缩至两步,支持通过文字提示控制人物动作,并改善长视频接续中的一致性。

与 InfiniteTalk 多步基线相比,AptAvatar 每个片段的模型前向评估次数从120次降至2次。论文据此报告了60倍推理提速,这一数字对应核心推理计算口径。


AptAvatar 结合人物参考图、语音和文字动作提示,支持细粒度动作控制与长视频生成。图中300秒、1000秒为长时生成展示,分钟级量化评估采用1分钟视频。

目前,在行业内全球首个流式交互视频生成评测榜单StreamEval中,AptAvatar 14B 以75.01分的综合得分位列第六。StreamEval由清华大学、NVIDIA、CMU、UC Berkeley、Princeton、NUS 等海内外高校与机构联合发起,覆盖数字人对话、虚拟人表演、世界生成、指令编辑与参考编辑五类任务,共300个测试用例、涵盖38个模型。与既有基准相比,StreamEval 不只测 “生成质量”,更测 “交互能力”,将指令执行、状态一致性、视觉质量与音画协调纳入同一套可量化评测体系,让不同技术路线的模型在统一条件下完成测试。

让人物形象与动作共同服务于内容

不同内容需要不同的人物形象。AptAvatar 的生成结果覆盖写实人物与风格化角色:下图中,两组写实人物分别对应服装展示和长视频讲解,水墨3D 与新艺术3D 角色则呈现了不同的服饰、场景与美术风格。这为商品介绍、知识讲解和品牌内容提供了多样的视觉选择。


从左至右为写实人物服装展示、写实人物长视频讲解、水墨3D 角色与新艺术3D 角色。

人物形象确定之后,创作者还可以进一步安排表达方式。AptAvatar 将参考图、语音和文字提示结合起来:参考图提供人物外观,语音驱动说话表现,文字则用于描述手势和身体动作。展示衣物、轻抚头发等要求,可以直接写入动作提示。

例如,在服装展示片段中,人物需要一边讲解,一边向两侧展开衣物,再收回双手。这个动作需要同时处理手与衣服的接触、双臂姿态的变化,以及动作前后的自然衔接。人物的表情、手势和衣物变化,需要在连续画面中相互配合。

对创作者而言,这意味着脚本可以包含更具体的动作设计:介绍商品时如何展示,强调内容时如何配合手势,都可以通过文字提示交给模型。数字人的身体动作由此成为内容表达的一部分。

少步生成如何保留大模型的表现力

高质量视频生成通常需要多轮去噪计算,逐步形成清晰的画面结构与运动细节。将这一过程缩减至两步,模型就必须在更少的计算中完成原有任务。如何在提速后保留人物结构、手部细节和动作幅度,是少步生成的关键难题。

AptAvatar 保留了大容量模型、双向视频生成架构,以及每个片段约3秒的时间窗口,通过改进训练方法实现加速。

团队先训练一个四步生成器并固定其参数,将其最终生成结果的分布作为稳定参照,为两步模型提供额外指导。这项方法被称为端点锚定分布蒸馏(EADD)。它为两步模型设置了一个更容易接近的学习目标,与原有教师指导共同作用,帮助模型在减少计算步骤后保留人物与运动细节。

四步生成器的作用发生在训练阶段。实际生成视频时,运行的仍是两步模型,因此不会增加额外的四步推理过程。


AptAvatar 技术框架。端点锚定分布蒸馏支持两步生成,自生成历史回放改善长视频接续中的一致性。

内容制作往往需要反复调整台词、修改动作、比较不同版本。降低每个片段的核心推理计算量,为这些日常创作环节提高效率提供了基础。

长视频的稳定性来自持续接续的能力

长视频由多个片段接续生成。前一段的人物姿态、服装状态与背景布局,都会成为下一段画面的依据。一次轻微偏差如果被后续片段不断沿用,就可能逐渐表现为人物外观变化或场景漂移。

这与模型训练和实际生成时面对的历史画面有关。训练时,模型通常接触真实视频;实际生成时,它需要沿着自己的输出继续生成。模型能否适应这些并不完美的历史,直接影响长视频的稳定性。

AptAvatar 引入自生成历史回放(SGHR),保存较早模型版本生成的片段,并在后续训练中反复使用。模型因此能够从训练阶段就接触自身输出中的偏差,学习如何在这些条件下继续生成。

历史片段可以重复利用,每次训练更新只需生成当前片段,无需从头生成整条长视频。这让模型在练习长时间接续的同时,减少了反复生成长序列所需的计算。

同一段约48秒视频在第1、12、24、36、47秒的画面,呈现持续讲解中的人物、服装与场景。

上述连续帧呈现了人物在同一场景中的手势变化。对于商品讲解与知识课程,动作需要随内容展开,人物外观、服装和背景则需要前后连贯,长视频生成的价值也由此落到一段完整内容的呈现上。

面向业界即用检验生成能力

团队在自建测试集上评估了100条15秒短视频和20条1分钟长视频,并与 InfiniteTalk、Wan2.2-S2V、LongCat-Video-Avatar 1.5、LiveAvatar 和 SoulX-FlashTalk 五种方法进行比较。在两组测试已报告的各项指标中,AptAvatar 均取得最优结果,覆盖画面质量、人物与背景一致性、动作平滑性、时间稳定性和音画同步等维度。

在主观评估中,10名评审者对100条短视频的生成结果进行匿名、随机排序的比较,考察动作多样性、手部完整性和人物身份保持等方面。AptAvatar 获得62% 的偏好投票,占比最高。

面向实际内容生产,生成效率与画面质量需要共同衡量。动作能否符合脚本,人物能否在持续讲解中保持一致,以及多轮制作的计算负担,都会影响数字人的应用价值。AptAvatar 将这些要求纳入同一框架,让少步生成、动作控制与长时稳定性相互配合,为商品展示、知识讲解、品牌内容和虚拟角色制作提供技术支撑。这也是其 Production-Ready 定位的具体落点。

AptAvatar 由 TaoLive AIGC 团队金美光担任项目负责人,张恒源、孙敬娜为共同第一贡献者。论文与推理代码已公开。

项目主页:https://taoliveaigc.github.io/AptAvatar/

论文:https://arxiv.org/abs/2607.24013

GitHub:https://github.com/TaoLiveAIGC/AptAvatar

相关推荐
热点推荐
蔡康永发文回应仅1天,高调现身接受采访,彻底道别,选择抛弃粉丝

蔡康永发文回应仅1天,高调现身接受采访,彻底道别,选择抛弃粉丝

向天祈福
2026-10-27 19:53:03
西班牙高铁相撞致68死,追尾车上的华人还原事故现场:鲜血,嚎叫,呼喊,爆破敲击声

西班牙高铁相撞致68死,追尾车上的华人还原事故现场:鲜血,嚎叫,呼喊,爆破敲击声

红星新闻
2026-10-29 11:06:33
大勒跪地怒砸!2-0领先遭34岁老将逆转 世界第八主场首轮游气炸

大勒跪地怒砸!2-0领先遭34岁老将逆转 世界第八主场首轮游气炸

颜小白的篮球梦
2026-10-29 05:53:09
iOS“史诗级更新”上热搜!网友:终于解脱了

iOS“史诗级更新”上热搜!网友:终于解脱了

沈阳公交网小林
2026-10-28 02:08:40
高校的一线教师太有本事了!会讲课,会科研,会指导论文,会就业,会做横向,还得会应付检查,抗压能力还贼强......

高校的一线教师太有本事了!会讲课,会科研,会指导论文,会就业,会做横向,还得会应付检查,抗压能力还贼强......

高教经纬88
2026-10-28 21:05:03
奕境X9起火,品牌高管紧急回应,网友吵翻

奕境X9起火,品牌高管紧急回应,网友吵翻

ZAKER新闻
2026-10-29 12:35:49
张铭恩被拍到女友向他下跪?本人回应:首先为违章停车道歉,其次她没有下跪,是在撒娇耍赖,起因是我给她拍的照片太丑了

张铭恩被拍到女友向他下跪?本人回应:首先为违章停车道歉,其次她没有下跪,是在撒娇耍赖,起因是我给她拍的照片太丑了

南方都市报
2026-10-29 08:13:29
德媒:孔帕尼倒地时出现疑似抽搐症状,医疗团队正检查头部的问题

德媒:孔帕尼倒地时出现疑似抽搐症状,医疗团队正检查头部的问题

懂球帝
2026-10-29 01:33:09
随着深圳大胜、宏远惨败,CBA又乱了!广州当老大,宏远倒6深圳倒4

随着深圳大胜、宏远惨败,CBA又乱了!广州当老大,宏远倒6深圳倒4

多特体育说
2026-10-28 22:09:07
义乌袜业大王破产18年,儿子在国外来电:爸,巴黎的房子还要吗?

义乌袜业大王破产18年,儿子在国外来电:爸,巴黎的房子还要吗?

七分瘦三分肥
2025-06-11 22:23:44
WTT冠军赛大冷门!张本智和0-3惨败一轮游,不敌32岁法国老将

WTT冠军赛大冷门!张本智和0-3惨败一轮游,不敌32岁法国老将

全言作品
2026-10-29 02:58:55
中纪委动真格,严查此领域!让老百姓能够发声,说了还管用

中纪委动真格,严查此领域!让老百姓能够发声,说了还管用

细说职场
2026-10-29 11:06:56
男子拆外卖盒被割伤左手缝6针,费用约1.5万元,涉事商家:外卖盒出餐时完好

男子拆外卖盒被割伤左手缝6针,费用约1.5万元,涉事商家:外卖盒出餐时完好

齐鲁壹点
2026-10-28 17:16:57
轰动全国的“91大神”庭审细节曝光,炸翻无数人

轰动全国的“91大神”庭审细节曝光,炸翻无数人

鸣金网
2026-10-18 14:17:30
APEC峰会即将召开,普京确定出席,马科斯也要来,特朗普态度明确

APEC峰会即将召开,普京确定出席,马科斯也要来,特朗普态度明确

云上乌托邦
2026-10-28 13:46:40
菲律宾军队重磅表态:愿意出兵追捕在逃参议员,谁也保护不了他!

菲律宾军队重磅表态:愿意出兵追捕在逃参议员,谁也保护不了他!

老头的传奇色彩
2026-10-29 00:05:52
美国急了,日本急了,菲律宾腿抖了,英法德沉默了。因为他们发现,中国的潜力不止眼前大家看到的这点东西

美国急了,日本急了,菲律宾腿抖了,英法德沉默了。因为他们发现,中国的潜力不止眼前大家看到的这点东西

扶苏聊历史
2026-10-28 14:06:44
黄金克价年内大跌超400元 水贝商家:早上睁眼就开始回消息,金属检测排队一个小时起

黄金克价年内大跌超400元 水贝商家:早上睁眼就开始回消息,金属检测排队一个小时起

封面新闻
2026-10-28 20:37:02
终于知道红薯为什么不能主粮化了,网友道出真相引万人共鸣!

终于知道红薯为什么不能主粮化了,网友道出真相引万人共鸣!

另子维爱读史
2026-10-26 21:20:02
奇瑞被曝安全管控再升级,截屏操作直接黑屏

奇瑞被曝安全管控再升级,截屏操作直接黑屏

ZAKER新闻
2026-10-28 18:04:04
2026-10-29 13:12:50

科技要闻

MacBook终于能触屏了:22999元起

头条要闻

女子展示iPhone Duo:开合不到8次 拿到第一天就"爆屏"

头条要闻

女子展示iPhone Duo:开合不到8次 拿到第一天就"爆屏"

体育要闻

普通人徐嘉余的入口与出口

娱乐要闻

李嘉格自曝离婚内情:过错方净身出户

财经要闻

“对不起,我们不投具身智能了”

汽车要闻

首销期权益价23.98万起 2026款理想i6上市

态度原创

亲子
房产
家居
健康
教育

亲子要闻

吾有一女,乃是我掌上明珠。 闹时灵动雀跃,静时软萌恬然。

房产要闻

12.1亿!三亚挂出重磅宅地!

家居要闻

2026建博会(广州) 公装联探展交流活动

查不出猝死风险?可能是项目没做对

教育要闻

985新增6个博士点,2027年起招生

无障碍浏览 进入关怀版
×