网易首页 > 网易号 > 正文 申请入驻

AI做了个“GTA5”?国产开源世界模型硬刚谷歌,实时交互、分钟级生成

0
分享至

智东西8月12日报道,今日,昆仑万维开源自研世界模型Matrix系列中Matrix-Game交互世界模型的升级版本——Matrix-Game 2.0。

上周,谷歌DeepMind推出交互式世界模型Genie 3,实现了交互式实时长序列生成,引起产业关注。然而Genie 3并没有开源。昆仑万维Matrix-Game 2.0是业内首个在通用场景上,实现实时长序列交互式生成的世界模型开源方案。这意味着具身智能、游戏、影视及元宇宙多个领域的开发者将获得一个高开放可用的数据合成、模型训练及场景搭建的生产力工具。

Matrix-Game 2.0有以下三大特点:

1、实时蒸馏。采用 “少步扩散” 技术,实现25FPS(帧/秒)的流式视频合成,能以超高速在复杂环境中生成分钟级、高保真的视频。

2、精准动作注入。一个 “鼠标 / 键盘到帧” 模块,可将用户输入作为直接交互嵌入其中,从而在生成的视频中实现帧级控制和动态响应。

3、大规模交互式数据管道。一个适用于虚幻引擎(Unreal Engine)和《侠盗猎车手 5》(GTA5)的可扩展生产系统,能生成约1200小时的高质量交互式视频数据,涵盖多样化场景,且具备帧级真实感。

▲基于Matrix-Game 2.0生成的交互式模型

这款模型的视频生成效果如何?有什么样的应用价值?又有什么技术亮点?本文带大家一探究竟。

项目主页:
https://matrix-game-v2.github.io/
HuggingFace地址:
https://huggingface.co/Skywork/Matrix-Game-2.0
GitHub地址:
https://github.com/SkyworkAI/Matrix-Game

一、低延迟、高帧率、长时序,国产交互式世界模型开源

相较于上一版本,Matrix-Game 2.0更加侧重低延迟、高帧率的长序列交互性能,能够以25 FPS的速度,在多种复杂场景中稳定生成连续视频内容,且生成时长可扩展至分钟级,大幅提升了连贯性与实用性。

在推理速度显著提升的同时,模型依然保持了对物理规律与场景语义的精准理解,支持用户通过简单指令,自由探索、操控并实时构建结构清晰、细节丰富、规则合理的虚拟环境。

在性能测试上,如下图所示,Matrix-Game 2.0在 Minecraft场景的GameWorld Score基准测试中取得了好成绩,在图像质量、美学品质、鼠标指针等多个方面的得分均超过了全球首个实时可玩可交互的世界模型Oasis。

例如在一些无约束、不可控的真实场景,Matrix-Game 2.0可根据用户输入的任意控制指令,如键盘的 W/A/S/D 方向键、鼠标用于视角移动,生成对应的交互世界视频,支持角色的前后左右移动以及视角变换等动态行为。



▲Matrix-Game 2.0支持无约束、不可控的真实场景交互

在GTA游戏场景和Minecraft场景中,Matrix-Game 2.0也支持键盘与鼠标操作,并且能够生成真实感更强、符合物理逻辑的可交互视频。


▲Matrix-Game 2.0支持GTA游戏场景交互

二、自回归扩散生成机制,实时生成长视频

交互式视频生成领域的最新进展展现了扩散模型作为世界模型的潜力。然而,现有的交互式世界模型依赖于双向注意力机制和冗长的推理步骤,严重限制了实时性能。因此,它们难以模拟现实世界的动态。

为了解决这个问题,昆仑万维提出了Matrix-Game 2.0,一个交互式世界模型,它通过几步自回归扩散算法实时生成长视频。其基础模型源自WanX,通过移除文本分支并添加动作模块,该模型仅根据视觉内容和对应的动作来预测下一帧。

Matrix-Game 2.0的框架由三个关键组件组成:

1、一个适用于虚幻引擎和GTA5环境的可扩展数据生产流水线,可有效生成海量(约 1200小时)交互式视频数据;

2、一个动作注入模块,支持帧级鼠标和键盘输入交互;

3、基于随意架构的几步提炼,用于实时流式视频生成。

Matrix-Game 2.0基于Self-Forcing训练策略,通过创新的自回归扩散生成机制克服了传统双向扩散模型的延迟和误差累积问题:

1、因果扩散模型训练:将双向扩散模型蒸馏为因果模型,使用基础模型初始化生成器,并构建小规模数据集,通过近似ODE轨迹进行训练,稳定自回归扩散过程。通过历史帧条件生成当前帧,减少因依赖未来帧而导致的时序延迟。

2、分布匹配蒸馏(DMD):通过最小化与基础模型之间的分布差异,引导学生模型学习生成高质量视频帧,对齐训练与推理阶段的分布,显著缓解误差积累问题。

3、KV缓存机制:引入键值缓存机制(KV-Cache),显著提升长视频生成的效率和一致性。该机制通过维护固定长度的注意力上下文,实现无缝滚动生成,支持无限时长的视频输出,解决了训练与推理场景下上下文不一致的问题。基于此实现长时视频的高效生成而无需重复计算,单GPU上可实现25 FPS实时生成。

Matrix-Game 2.0能够以25 FPS的超快速度跨不同场景生成高质量的分钟级视频。昆仑万维开源其模型权重和代码库,以推进交互式世界建模的研究。

结语:世界模型加速具身智能、游戏影视发展

以谷歌Genie等为代表的世界模型,正推动AI从内容生成工具升级为“世界构建者”,昆仑万维开源的Matrix系列是中国在空间智能领域取得里程碑进展。

随着其最新迭代的Matrix-Game 2.0落地,具身智能体训练与数据生成、虚拟游戏世界高效搭建、影视及元宇宙内容生产等领域有望加速发展,为中国AI产业开辟新范式。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
南京男子回家迫不及待抱住妻子,结果家中鹦鹉一开口,让他崩溃!

南京男子回家迫不及待抱住妻子,结果家中鹦鹉一开口,让他崩溃!

白云故事
2025-03-14 19:05:07
日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

磊子讲史
2026-11-11 17:22:17
古力娜扎自曝前两年还不能接受姐弟恋,如今突然悟了,魏大勋调侃“是年龄上来了”

古力娜扎自曝前两年还不能接受姐弟恋,如今突然悟了,魏大勋调侃“是年龄上来了”

韩小娱
2026-11-03 11:14:01
一个人如果舍不得扔旧衣服,说明他的命运,大概率会是这两种结果

一个人如果舍不得扔旧衣服,说明他的命运,大概率会是这两种结果

风起见你
2026-09-28 01:22:36
全程苦瓜脸,脸僵说话张不开嘴,老戏骨李乃文都带不动这个拖油瓶

全程苦瓜脸,脸僵说话张不开嘴,老戏骨李乃文都带不动这个拖油瓶

神秘莫测的世界
2026-10-19 23:07:37
美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

扶苏聊历史
2026-11-19 13:37:49
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
震惊!网友实拍宜宾居民区路边,工作日下午4点半大量燃油车停放,评论炸锅:我今年就加了一次油

震惊!网友实拍宜宾居民区路边,工作日下午4点半大量燃油车停放,评论炸锅:我今年就加了一次油

火山詩话
2026-11-20 05:27:48
刘国梁也没想到,如今身居高位的王励勤,因一个背包实现口碑暴增

刘国梁也没想到,如今身居高位的王励勤,因一个背包实现口碑暴增

赶鸭子上架
2026-10-15 20:01:24
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
孩子大三准备考研|考研机构挑选参考指南

孩子大三准备考研|考研机构挑选参考指南

研趣考研
2026-09-04 14:38:42
玩家不满GTA6不能出轨,Rockstar回应:不符合剧情

玩家不满GTA6不能出轨,Rockstar回应:不符合剧情

菜但瘾大第一名
2026-11-19 21:52:54
丰田季度利润暴涨34%,混合动力汽车大卖,成全球汽车市场的重要力量

丰田季度利润暴涨34%,混合动力汽车大卖,成全球汽车市场的重要力量

叮当当科技
2026-11-06 09:53:32
冠心病不能吃红薯?医生苦劝:不想心梗,少吃这4种食物!

冠心病不能吃红薯?医生苦劝:不想心梗,少吃这4种食物!

汪医生健康百科
2026-11-19 20:25:03
魏德尔炮轰德国总理默茨:放着自己的人民不管,跑到基辅去当战争总理

魏德尔炮轰德国总理默茨:放着自己的人民不管,跑到基辅去当战争总理

生思孰虑
2026-11-17 17:01:18
美国一老太正在洗澡,地板突然疯狂冒血,警方化验竟是人血!科学追查几十年无果,难道真是超自然灵异?

美国一老太正在洗澡,地板突然疯狂冒血,警方化验竟是人血!科学追查几十年无果,难道真是超自然灵异?

徐德文科学频道
2026-11-19 02:13:12
原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

封面新闻
2026-11-20 11:10:04
业内不建议买500元以下羽绒服,何不食肉糜?山姆成了众矢之的

业内不建议买500元以下羽绒服,何不食肉糜?山姆成了众矢之的

一拙见
2026-11-15 16:46:04
特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

吉刻新闻
2026-11-20 09:43:17
生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

另子维爱读史
2026-11-17 20:44:13
2026-11-21 03:48:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12987文章数 117196关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

时尚
家居
教育
数码
游戏

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

PC Gamer试玩GTA6百小时:双主角出色但任务重复

无障碍浏览 进入关怀版