网易首页 > 网易号 > 正文 申请入驻

双榜第一背后,他们想做的不是下一个世界模型

0
分享至

编辑|牛来

今年交互视频世界模型成了大热门。

阿里 HappyOyster、蚂蚁 LingBot、生数科技 Vidu S2、爱诗科技 PixVerse R2 等接连亮相。

虽然技术路线各有侧重,但各家目标高度一致,都想让 AI 视频能实时响应用户操作,支持连续交互,生成一个可以自由探索的虚拟世界。

当然,我们对距离真正开放、长期运行的生成世界一直抱有保守期待,毕竟真正落地有不少技术与工程难题。

但现实的进展,往往快过预期。

最近,我们在交互视频世界模型评测 WBench 的榜首,看到了一个新名字:Murea-Pro。

它在多轮交互视频评测 WBench Full-289 中,以 81.1 分拿下第一。其中拉开差距最大的交互能力和物理合理性,分别取得 82.6 和 74.4 的高分。



Wbench 链接:
https://meituan-longcat.github.io/WBench/#leaderboard

生成速度方面非常亮眼,RTX PRO 6000 可以做到 3.6 s 生成 5s 长度视频, RTF < 1 (Real-Time Factor,实时因子),处理速度快于音频播放速度,实现了实时视频。

我们在该模型官网,发现它还有一个轻量型的开源版本:Murea-Fast。

这个「轻量型」并不逊色,在参考生视频评测 OpenS2V-Eval 中,以 64.98 分位居参评开源模型第一,其 NexusScore 达 51.66,在参考还原能力上同样排名第一。

两项成绩,让这组模型进入了我们的视野,在认真拆解了它的技术报告以及经过实测后,发现很多有意思的地方:这个团队的野心,不是下一个世界模型,而是更好玩、更有想象空间、能更快落地的 ——实时互动内容模型。


视频地址:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA


脱离「看视频」的逻辑,这更像在一个 AI 生成的世界里真正「玩」起来。

技术解读:Murea-InWorld 如何维持一个持续演化的世界?

Murea-InWorld 采用两层协同架构。

每轮交互开始时,上层的 Murea-Mind作为模型大脑,会读取当前世界状态、用户指令和上一段视频的结束画面,规划下一个事件,充当编剧和导演和核心角色;下层的 Murea-Pro 和 Murea-Fast负责执行生成相应的画面与声音;生成结果随后交给大脑模型检查,确认发生的变化再写回世界状态,成为下一轮交互的依据。

这一过程可以概括为「状态、行动、生成、观测」。

这种双层协作,可以让模型避免出现生成虽快,但内容无意义的情况,真正做到让用户用自然语言来持续改变一个有记忆、有声音、可以回档分支、支持多人参与的虚拟世界。



  • 技术报告链接:https://murea.ai/page/paper/InWorld-technical-report.pdf
  • GitHub链接:https://github.com/Murea-Labs/InWorld
  • Hugging Face链接:https://huggingface.co/MureaLabs/InWorld
  • 官网链接:https://murea.ai/

让这套闭环稳定运转的关键,是持续更新的世界状态。系统在视频模型之外维护一套「账本」,人物和场景的参考图、声音、固定描述被保存为资产;人物位置、服装、情绪、随身物品,以及天气、光线等信息则持续更新。固定身份与动态状态分开管理,可以降低角色外观和剧情变化互相干扰的概率。

用户撤销操作时,系统恢复生成前的状态快照;重新选择则创建并行分支,原有视频与剧情继续保留。多人模式下,每名玩家的输入先转换为结构化动作,再由系统统一编排进同一画面。



World Agent 总览。上层保存世界记忆;中层把用户指令转换成生成条件并保存片段;下层回看生成画面,为后续规划和部分状态更新提供依据。

世界状态确定之后,Murea-Pro 和 Murea-Fast 负责生成画面与声音,其核心机制是Omni-Reference Generation。人物、动物、物品和场景参考会被分别编码为干净的条件 latent,并获得独立编号。参考素材不参与加噪和去噪,主要作用是稳定人物身份和外观。



左侧是输入参考,右侧是同一生成视频的连续采样帧。可重点看人物、猫、布料与庭院的组合,以及多人同框、写实和风格化场景中的实体对应。

视频与音频在同一个 DiT 中联合生成。受控注意力机制先让参考信息作用于各自模态,再通过正片中的视频和音频 token 建立联系。训练数据使用结构化描述,明确每个参考对应谁、由谁说出哪句台词,以及动作和镜头发生的时间顺序。



音视频生成框架总览。模型能力的三层结构。上方 (a) 说明参考图、可选声音参考和文本如何共同控制音视频生成;左下 (b) 说明 MeanFlow → DMD 两阶段蒸馏;右下 (c) 说明带有限历史的流式续写

连续生成采用有限历史窗口策略。视频侧主要保留前一个片段,音频侧保存更长的上下文,用来衔接未说完的句子和人物语气。训练时,系统会给历史内容加入噪声或 latent 扰动,使模型提前适应前序片段存在瑕疵的情况。

低延迟则主要依靠少步蒸馏与系统优化。Murea-Pro 经过 50 步到 4 步蒸馏及系统优化后,在 8 张 H20 上将 5 秒有声音视频的生成时间由 231.6 秒缩短至 6.96 秒,端到端累计加速 33.3 倍。

换用 RTX PRO 6000 Blackwell,同一套管线生成 5 秒有声音视频只需 3.6 秒。按照「生成耗时 / 成片时长」计算,其实时因子RTF 约为 0.71。

RTF 低于 1,说明模型生成速度快于视频播放速度。换句话说,在该硬件和测试条件下,Murea-Pro已经达到实时生成的速度门槛。



从左到右看延迟,从上到下看累计优化。8 张 H20 上,生成 5 秒音视频的延迟由 231.6 秒降至 6.96 秒,累计加速 33.3 倍;其中 50 → 4 次模型评估先将延迟降至 23.2 秒,后续优化继续降低开销。每一行都保留此前优化。

评测结果印证了两款模型各自的能力侧重。

在 WBench Full-289 中,Murea-Pro 以 81.13 分排名第一,其交互能力为 82.60 分,物理合理性为 74.42 分,分别领先第二名 9.52 分和 5.23 分。



具体来看,Murea-Pro 在事件编辑、角色动作和视角切换上表现突出。其中,事件编辑得分 90.92,角色动作得分 87.04。导航得分为 71.79,是四类交互任务中相对较弱的一项。

画面质量方面,Murea-Pro 得到 79.97 分,整体处于较高水平。



Murea-Fast 的优势集中在多参考生成,在 OpenS2V-Eval 中获得 64.98 分,位居参评开源模型第一,其 NexusScore 达到 51.66,为被测参考生视频系统最高。在扩展评测 OS2V-Pro 中,Murea-Fast 的逐参考保真度为 46.0,排名第一;片内身份一致性达到 89.0,并列第一。



由此可见,Murea-Pro 擅长多轮指令执行和物理因果,Murea-Fast 在多参考身份保持方面表现突出。

一手实测:AI 能否把一段故事持续演下去?

当然除了这些成绩和技术原理,我们更想知道,在当下「互动」还普遍是预制的阶段,真的能实现让用户在 AI 世界里,「玩」起来吗?

我们抢先体验了一把 Murea-InWorld。

系统随机生成一个科幻世界,自动设定人物、场景和故事主线。

故事很简单,但里面很多细节值得关注。



首先是连续性和一致性上,主角手里的平板道具在第一段视频后,已经被面板记录,从而在后续十几轮的交互里,一直是主角拿着,也一直是这个平板。

普通视频续写主要依靠此前的画面维持连续性,角色拿过什么、物品现在归谁,并不一定有明确记录。一旦镜头切换,这些信息就可能丢失。

但 Murea-InWorld 可以在连续生成十几段视频,人物外貌、随身道具、背景环境依然保持稳定。


视频链接:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA


其次是自然语言的即时生成,每轮视频结束后,Murea-InWorld 都会根据当前剧情推荐后续行动,选一项系统即可自动推进剧情和镜头,无需逐段编写详细提示词。

我们还可以临时改变剧情,直接输入:「画面突然出现了一只小猫。」

系统随即为它创建独立资产,下一段视频里,一只三花猫出现在控制室。此后镜头切换,它的外观依然保持一致,没有因为场景变化而突然消失。

而且小猫出现的过程中,剧情和台词会根据此刻场景(空间站)以及主角动作来给出自然的衔接,保证了剧情体验的一致性。


视频链接:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA


再一条指令让小猫绕着主角转一圈,系统也正确识别了动作主体和目标,两个角色的动作关系也没有出现混淆。


视频链接:https://mp.weixin.qq.com/s/_YAaKBXAJuwOjXcFovarLA


在这 15 轮交互里,Murea-InWorld 给人最直观的感受是,故事没有随着视频片段增加而「失忆」。主角手中的道具不会无故消失,临时加入的新角色也能进入后续剧情,玩家还可以随时介入并改变走向。

目前来看,Murea-InWorld 已经让连续生成有了接近实时互动的感觉。

生成式互动世界,能打开多大的市场?

生成式互动世界最直接的价值,在于将内容生成放进用户参与的过程之中。

传统互动内容通常需要提前设计情节、制作素材并提前制作大量分支,更偏向一种「预制」。而 Murea-InWorld 系统利用 Murea-Mind 的大脑能力,可以让玩家用自然语言随时改变世界走向,这是一套新的实时互动内容生产范式。

这套范式真正做到了「让一千个玩家,玩出一千个哈姆雷特」,它可以延伸进游戏、互动叙事、虚拟角色、在线娱乐等众多场景。

多家机构估算,相关市场合计已达百亿美元量级,叠加 AI 陪伴等相邻赛道的增速效应,这一数字有望在 2030 年前后扩展至 500 亿美元。若高质量互动内容渗透率达到全球内容娱乐市场的 10%,对应的长期规模更是将突破千亿美元。

不过,市场空间再大,最终还得靠产品体验说话。从 Murea-InWorld 展现出的模型能力与系统完成度来看,Murea Labs 团队已在构建实时互动内容模型的方向上迈出了值得关注的一步。

接下来,就看他们能否在游戏、影视和互动娱乐等场景中,持续将技术潜力转化为真实体验,找到规模化落地的机会。令人期待的生成式世界未来,就在不远处。

murea.ai 链接:https://murea.ai/

WBench 链接:
https://meituan-longcat.github.io/WBench/#leaderboard

技术报告链接:
https://murea.ai/page/paper/InWorld-technical-report.pdf

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普再次施压,俄罗斯态度急转180度,要全力保泽连斯基

特朗普再次施压,俄罗斯态度急转180度,要全力保泽连斯基

青山夜谈
2026-10-18 18:42:05
国产性感新游销量暴增吓坏团队!给玩家磕头:别买了

国产性感新游销量暴增吓坏团队!给玩家磕头:别买了

游民星空
2026-10-17 15:13:24
在上海,月薪3万的人正在排队领失业金。

在上海,月薪3万的人正在排队领失业金。

老陆不老
2026-10-18 20:51:37
越扒越有!赴美生子、满嘴谎话的黄子韬夫妇,没大家想得那么简单

越扒越有!赴美生子、满嘴谎话的黄子韬夫妇,没大家想得那么简单

孙镴北漂拍客
2026-10-16 19:33:08
中国救不了泰国!使馆再发警告,大量同胞遭诱骗,谁在自寻死路?

中国救不了泰国!使馆再发警告,大量同胞遭诱骗,谁在自寻死路?

小兰聊历史
2026-10-18 11:17:49
日本警方都看懵了?18岁中国男子被捕,警方从他身上搜出170把钥匙!

日本警方都看懵了?18岁中国男子被捕,警方从他身上搜出170把钥匙!

日本通
2026-10-18 10:33:52
郭士强现场见证!2米21国手中锋回归CBA首秀8分3犯攻守两端遭压制

郭士强现场见证!2米21国手中锋回归CBA首秀8分3犯攻守两端遭压制

狼叔评论
2026-10-18 23:28:26
中国女学者命丧异国火灾,警方称系故意纵火;最新:其生前研究近期登上顶刊《自然》;导师曾流泪称“她走后,很多实验其他人做不了”

中国女学者命丧异国火灾,警方称系故意纵火;最新:其生前研究近期登上顶刊《自然》;导师曾流泪称“她走后,很多实验其他人做不了”

南方都市报
2026-10-18 20:26:07
无脑吹捧特斯拉的人,既没有常识更没有定力

无脑吹捧特斯拉的人,既没有常识更没有定力

明叔杂谈
2026-10-17 10:50:43
任贤齐18岁儿子罕见曝光,身高超180cm神似父亲,21岁女儿气质佳

任贤齐18岁儿子罕见曝光,身高超180cm神似父亲,21岁女儿气质佳

娱乐嗑学家.
2026-10-18 16:59:07
把皇马比作纳粹宣传,德国记者喊话:特巴斯必须辞职

把皇马比作纳粹宣传,德国记者喊话:特巴斯必须辞职

体坛观察猿
2026-10-18 00:10:52
4年2.12亿,他换了3号球衣:那本是状元想要的号码

4年2.12亿,他换了3号球衣:那本是状元想要的号码

晚风知我意21
2026-10-18 00:16:51
中超第28轮积分榜:成都再度错失夺冠机会,三镇保级希望渺茫

中超第28轮积分榜:成都再度错失夺冠机会,三镇保级希望渺茫

懂球帝
2026-10-18 22:06:10
A股:夜晚突发三大消息,不出所料,A股明天可能迎更大震荡调整行情

A股:夜晚突发三大消息,不出所料,A股明天可能迎更大震荡调整行情

趋势小诸葛
2026-10-18 19:43:03
1.1亿先生持续低迷,神奇替补制胜!1-0,阿森纳3连胜静候拜仁

1.1亿先生持续低迷,神奇替补制胜!1-0,阿森纳3连胜静候拜仁

我的护球最独特
2026-10-19 01:31:44
可口可乐股价创历史新高,巴菲特每年躺赚8亿美元分红

可口可乐股价创历史新高,巴菲特每年躺赚8亿美元分红

深蓝财经
2026-10-18 15:08:45
印度突发踩踏事故,已致19死25伤,莫迪发声

印度突发踩踏事故,已致19死25伤,莫迪发声

大风新闻
2026-10-18 13:38:11
从香港《英雄本色》到洛杉矶剪辑室受气,吴宇森靠《变脸》翻身拿到剪辑权

从香港《英雄本色》到洛杉矶剪辑室受气,吴宇森靠《变脸》翻身拿到剪辑权

草莓解说体育
2026-10-19 01:26:51
辽宁95-84力克山东 球员评价:5人优秀,4人及格,2人低迷

辽宁95-84力克山东 球员评价:5人优秀,4人及格,2人低迷

篮球资讯达人
2026-10-18 21:47:41
起拍价约2.44亿! 富力、希尔顿合作酒店将拍卖,此前富力已拍卖多家五星级酒店

起拍价约2.44亿! 富力、希尔顿合作酒店将拍卖,此前富力已拍卖多家五星级酒店

红星新闻
2026-10-18 19:27:13
2026-10-19 02:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14235文章数 142748关注度
往期回顾 全部

科技要闻

王江舟院士:6G到底是不是骗局 是不是收割

头条要闻

披旭日旗留学生被指是南京人 有明显"精日"与"台独"倾向

头条要闻

披旭日旗留学生被指是南京人 有明显"精日"与"台独"倾向

体育要闻

别在我的地盘夺冠!海港队史首次双杀蓉城

娱乐要闻

郭麒麟被传领证,女方戳破谣言

财经要闻

马斯克:美债问题只能靠AI和机器人解决

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

家居
房产
数码
本地
艺术

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

利好密集落地+现房好房断档,广州楼市买入窗口,正在倒计时!

数码要闻

古尔曼:苹果计划为HomeView智能家庭中枢配备电动机械臂,最早2027年推出

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

艺术要闻

不敢信这是画的!比利时大师的女性油画,逼真程度突破认知

无障碍浏览 进入关怀版