网易首页 > 网易号 > 正文 申请入驻

这个世界模型“活”了:你递出一瓶水,AI生成虚拟人接过去喝!

0
分享至


智东西
作者 杨京丽
编辑 李水青

智东西11月18日报道,11月17日,蚂蚁技术研究院与杭州大模型公司西湖心辰发布并开源双向世界模型(Reciprocal World Model,RWM)Duo v1。它通过Intent(意图)和Realization(实现)两个紧密耦合的模块,将智能主体内化为世界的一部分。

Duo生成的场景中,虚拟主体能够持续接收用户的音视频输入,自主决定何时开口、何时倾听,并实时生成相应的声音和画面,与用户进行交互。例如,虚拟主体在运动后说自己口渴,用户递出冰水后,虚拟主体能够接过水瓶并饮用。


传统世界模型通常只模拟光影、材质、动态等物理场景。用户需要通过键盘、鼠标或文本输入指令。模型生成的世界虽然画面逼真,但内部缺少可主动回应的主体。

双向世界模型则同时覆盖物理现实和智能主体。在Duo v1的框架中,虚拟主体与世界共享同一交互时空:它持续接收用户的音频和视频输入,并生成与之一致的视听行为。在这种双向关系下,虚拟主体具备感知、推理和表达能力。


在30组真实交互的人类评估中,Duo v1通过了180项检查中的168项,总通过率为93.3%。其中,语言遵循性、语音可懂度和视觉身份稳定性三项指标的通过率均为100%,内容响应度为73.3%,内容响应度和长程一致性仍是当前版本的主要挑战。

目前,Duo v1的技术报告、训练代码和模型权重均已开放,开发者可以下载模型权重,在此基础上进一步拓展。


技术报告:

https://arxiv.org/abs/2611.15131

官网:

https://duo-v1.github.io/

代码:

https://github.com/inclusionAI/Duo

模型:

ModelScope:

https://www.modelscope.cn/collections/inclusionAI/Duo-v1

Hugging Face:

https://huggingface.co/collections/inclusionAI/duo-v1

一、每0.7秒决定开口或等待,意图和实现模块协同生成音视频

Duo包含Intent(意图)和Realization(实现)两个模块,分别承担交互决策和视听表达任务。

其中,Intent相当于虚拟主体的“大脑”,能够在统一时间线上进行连续交互推理决策。

在每个约0.7秒的时间块(chunk)内,Intent基于用户输入和交互历史,自主决策是选择开口说话或倾听等待,并同步生成对应的语言内容。

Intent传递的并非解码后的文本,而是模型内部的隐状态,用于直接指导Realization模块。

该团队称,这种设计让虚拟主体具备原生交互理性:它能够决定何时参与对话、何时保持沉默,以及被打断后如何回应。

Realization则是虚拟主体的“表达”,负责将决策转化为视听行为。它能够结合Intent的隐状态、用户输入和自身生成的历史内容,生成相匹配的音频和视频。

为保证流式交互中的因果正确性,Duo v1将用户输入、Intent决策和Realization生成严格对齐到统一时间线上,通过不同模块的注意力掩码限制信息访问范围,避免模型使用尚未发生的输入。此前生成的音视频则作为历史上下文,参与后续时间块的生成。

该团队称,这种因果同步由模型自身的推理节律来实现,每个时间块约0.7秒,Intent推理与Realization生成能够在统一管线中无缝衔接。


二、三阶段训练对齐意图理解和视听生成,蒸馏压缩至4步完成

Duo v1的训练分为三个阶段,分别为Intent训练、Realization训练和分布匹配蒸馏,逐步对齐“意图理解”与“视听生成”。

第一阶段训练Intent模块进行因果参与和文本预测。模型会在每个时间块预测开口或等待,以及对应的语言内容。由于多数时间块不包含新的角色发言,模型容易倾向于一直等待。团队通过动作感知重平衡(action-aware rebalancing),对不同类别的训练目标进行采样和加权,缓解“过度等待”的偏差。

同时,训练团队通过截断或重复历史文本,让模型学习如何从不完整或重复的上下文中恢复。


第二阶段训练Realization模块进行因果联合视听生成,Intent模块保持冻结。Realization基于 Intent提取的隐状态、录制媒体历史和用户输入,学习生成对应的音频和视频潜在表示。


这一阶段通过注意力掩码控制信息访问:带噪媒体表示只能访问参考图像、全局描述、历史干净媒体和当前Intent隐状态,不能访问自身对应的干净训练目标,也不能访问未来时间块。这种因果约束确保了训练和推理时的一致性。


第三阶段采用分布匹配蒸馏,将模型压缩为4步生成器。

这一阶段需要解决的关键问题是,训练时Realization使用录制的媒体历史,实际推理时却要依赖系统自身生成的历史,两者存在分布差异。

为此,团队加入Dual Rollout(双路展开)解决分布偏移:在每个训练窗口中,由冻结的Intent模块自回归生成角色文本,Realization则基于这些Intent特征及自身合成的视听历史继续生成。通过在自身生成的数据上训练,模型进一步适应实际交互时的输入分布。


三、60秒生成测试缓解画面退化,内容响应度仍是短板

Duo v1的训练数据包括合成数据和录制数据。

合成数据采用两阶段流程,先由大语言模型根据控制卡片生成结构化剧本,再通过视频生成模型逐块生成音视频。控制卡片涵盖时长、语言、人设和交互类型等维度,确保场景多样性。

视频合成面临的一项挑战是误差累积。如果每个区段仅使用前一区段的最后一帧作为参考,视觉误差可能逐步放大,导致画面质量持续退化。

Duo v1固定使用首个区段的开头视频作为质量参考,以缓解这一问题。在包含10个区段、总时长60秒的连续生成测试中,基线方法的亮度值从103.8降至69.6,下降34.2;采用该方法后,亮度值保持在约99,面部外观的一致性也得以维持。


生成完成后,团队通过首帧一致性、意外音频、镜头推近和大面积视觉变化四类自动质检,过滤低质量样本。

录制数据则包含六种类型,涵盖单人视频、同步双视角视频、异步双视角视频、直播互动、双工音频,以及筛选后的开源数据集。所有数据经过自动语音识别(ASR)、语音活动检测(VAD)、说话人分离和时间轴对齐处理,最终统一为因果交互格式。

性能方面,在30组真实交互、共180项检查的人类评估中,Duo v1通过168项,总通过率为93.3%。其中,语言遵循性、语音可懂度和视觉身份稳定性均为100%,视听情感一致性为96.7%,视听同步为90.0%,内容响应度为73.3%。

该团队称,内容响应度是最具挑战性的指标。模型需要在用户音视频仍持续输入时作出决策,对用户意图进行实时推断。复杂意图理解和长程一致性,将是后续版本重点优化的方向。

结语:世界模型中的虚拟主体开始自主参与交互

Duo v1尝试将交互决策与音视频生成放进同一模型框架,让虚拟角色在持续接收环境信息的同时,自主决定何时倾听、何时回应,并生成相应的视听行为。

当前版本在内容响应度和长时间会话稳定性方面仍有提升空间。随着训练代码和模型权重开放,这种将智能主体纳入世界模型内部的方案,也将接受更多场景下的检验。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普在回国的专机上,有件事让他很着急,事关中美的“大买卖”

特朗普在回国的专机上,有件事让他很着急,事关中美的“大买卖”

麓谷隐士
2026-11-21 15:01:54
突发暴跌!超29万人爆仓

突发暴跌!超29万人爆仓

中国基金报
2026-11-21 09:22:17
火箭主帅怒批球员:打得这么烂,你一场球都赢不了

火箭主帅怒批球员:打得这么烂,你一场球都赢不了

体坛周报
2026-11-21 17:34:09
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
英伟达,被查

英伟达,被查

第一财经资讯
2026-11-21 13:41:17
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

聊斋新志
2026-11-18 16:53:43
178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

178元一瓶,“APEC晚宴荔枝酒”卖断货,员工:干冒烟了,加班费让人开心

江山挥笔
2026-11-21 11:30:34
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

政知新媒体
2026-11-21 10:17:31
就在今天!哈登创造了80年NBA纪录

就在今天!哈登创造了80年NBA纪录

篮球大视野
2026-11-21 12:00:04
日媒:日本一女警察在警署等地分别与两名上司发生性行为,3人被处分

日媒:日本一女警察在警署等地分别与两名上司发生性行为,3人被处分

环球网资讯
2026-11-21 16:38:05
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

可达鸭面面观
2026-11-21 08:21:38
2004年,43岁的高市早苗第一次结婚,嫁给了52岁、离过婚还带着三个孩子的山本拓。

2004年,43岁的高市早苗第一次结婚,嫁给了52岁、离过婚还带着三个孩子的山本拓。

回京历史梦
2026-11-21 09:30:09
辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

回京历史梦
2026-11-21 09:30:43
七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

珠三角港
2026-11-20 10:44:17
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

政知新媒体
2026-11-21 09:48:46
78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

78岁中国体育大佬被查!曾担任篮协+羽协副主席 媒体人曝光内幕

念洲
2026-11-21 13:12:32
留洋巅峰战!韩旭狂轰38+9创新高压王思雨16+5 赢中国德比

留洋巅峰战!韩旭狂轰38+9创新高压王思雨16+5 赢中国德比

醉卧浮生
2026-11-21 15:19:30
2026-11-21 18:35:00
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12992文章数 117196关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

中国男子在澳遇袭被砍断两指 25万元医药费被朋友卷走

头条要闻

中国男子在澳遇袭被砍断两指 25万元医药费被朋友卷走

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
艺术
健康
数码
教育

手机要闻

PureView品牌或将重返市场 HMD新机曝光主打影像旗舰路线

艺术要闻

赵孟頫将这件书法写了整整500遍,被誉为行书“教科书”,水平已接近王羲之!

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

Blackview推出Zeno 3平板电脑:120Hz 800P面板、展锐T7250

教育要闻

小学数学填空,找准关系,轻松填出两个数字

无障碍浏览 进入关怀版