此次,通义万相团队构建了一个涵盖说话、面部表情和身体动作的大规模人物视频数据集,并基于通义万相图生视频模型进行后训练。Wan2.2-Animate将角色信息、环境信息和动作等,规范到一种统一的表示格式,实现了单一模型同时兼容两种推理模式;针对身体运动和脸部表情,分别使用骨骼信号和隐式特征,配合动作重定向模块,实现动作和表情的精准复刻。在替换模式中,团队还设计了一个独立的光照融合LoRA,用于保证完美的光照融合效果。
实测结果显示,Wan2.2-Animate在视频生成质量、主体一致性和感知损失等关键指标上,超越了StableAnimator、LivePortrait等开源模型,是目前性能最强的动作生成模型,在人类主观评测中,Wan2.2-Animate甚至超越了以 Runway Act-two代表的闭源模型。
自今年 2 月以来,通义万相已连续开源20多款模型,在开源社区和三方平台的下载量已超3000万,是开源社区最受欢迎的视频生成模型之一。通义万相模型家族已支持文生图、文生视频、图生视频、人声生视频和动作生成等10多种视觉创作能力。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.