昆仑万维正式开源Matrix-Game：从图像出发构建可控交互世界，重塑交互式世...

5月13日，昆仑万维正式开源（17B+）Matrix-Game大模型，即Matrix-Zero世界模型中的可交互视频生成大模型。Matrix-Game是Matrix系列在交互式世界生成方向的正式落地，也是工业界首个开源的10B+空间智能大模型，它是一个面向游戏世界建模的交互式世界基础模型，专为开放式环境中的高质量生成与精确控制而设计。

项目主页：

.io

技术报告：

>

Matrix-Game-MC数据集：自主构建的大规模交互世界数据集，包含两类数据：一是大规模无标签的Minecraft游戏视频，二是带有键盘与鼠标控制信号的 Minecraft 与 Unreal 可控视频数据，具备精细的动作注释。该数据集支持对复杂环境动态与交互模式的高效建模与学习。

Matrix-Game主模型：基于先进扩散模型技术开发的图像到世界生成框架，能够根据用户输入（键盘指令、鼠标移动等）生成连贯、可控的互动视频，兼顾视觉质量、时序一致性与物理合理性。

GameWorld Score评测体系：提出统一的游戏交互世界评估标准，从视频的视觉质量、时序质量、动作可控性与物理规则理解四个维度，全面量化模型性能，填补了该领域缺乏系统性评测基准的空白。

通过两阶段训练策略（无标签数据预训练 + 标注数据可控训练），参数规模达 17B 的 Matrix-Game 世界基座模型在空间理解、用户指令响应以及物理交互建模等方面取得了显著提升。具备以下模型优势：

细粒度用户交互控制：支持前进、跳跃、攻击、视角移动等细节操作，根据用户输入响应，操作体验准确自然。

高保真视觉与物理一致性：生成结果在保持视觉连贯的同时，遵循自然物理规律，如重力、碰撞等，显著提升沉浸感。

多场景泛化能力：具备对多种 Minecraft 游戏场景的泛化能力，涵盖不同地形、天气和生物群系，并具备向非 Minecraft 游戏环境泛化的潜力。

系统化评估体系：提出统一的 GameWorld Score 标准，为交互世界模型的客观评估与持续优化提供有力支撑。

与知名创业公司 Decart 开源方案 Oasis 和微软开源模型 MineWorld 对比，Matrix-Game 在 Minecraft 世界生成任务的各项指标上实现了全面超越，尤其在交互可控性和物理一致性理解方面表现尤为出色。此外，得益于 Unreal 数据的融入，Matrix-Game 在泛化到更广泛的通用游戏场景方面展现出明显优势。

来源：Matrix-Game技术报告

Matrix-Game能够在不同Minecraft场景下（如森林、沙滩、沙漠、冰川、河流、平原等）实现可控生成，包括基础运动、复合运动、视角运动等。例如，在一个沙漠场景中，Matrix-Game 能够根据用户输入的任意控制指令（如键盘的 W/A/S/D 方向键、Space 键用于跳跃、Attack 键用于攻击，以及鼠标用于视角移动），生成对应的游戏世界视频，支持角色的前后左右移动、跳跃、攻击以及视角变换等动态行为。

在此基础上，Matrix-Game 支持自回归式的长视频生成，不仅能实现动作与视角之间的丝滑衔接，还在时间一致性与环境适应性方面表现出色，为开发沉浸式长时体验、创意内容生成及游戏设计等应用奠定了坚实的模型基础。

不仅如此，在非Minecraft场景泛化上，Matrix-Game表现得也非常出色。

接下来，我们来看看Matrix-Game是如何达到这样的效果的。

01数据构建：大规模高质量Matrix-Game-MC数据集

为构建能够理解物理规则并具备交互生成能力的世界基础模型，Matrix-Game 自主构建了大规模 Matrix-Game-MC 数据集，涵盖从无标签预训练数据到精细标注的可控视频的完整流程，兼顾数据规模与质量。

• 无标签预训练数据集采用三阶段过滤机制从6000小时的MineDojo数据中过滤出近千小时高质量数据: (1) 画质与美学过滤；(2) 非游戏内容剔除；(3) 动态与视角稳定性过滤。

• 有标签数据采用两种策略混合生成数千小时的可控监督数据：

• 探索代理（Exploration Agent）：借助 VPT agent 在 MineRL 环境中进行自动探索，生成大规模、高质量的 Minecraft 视频数据，数据中包含精确的键盘与鼠标控制信号，支持可控性学习。

• 程序化模拟（Unreal Procedural Simulation）：基于 Unreal Engine 手动构建结构清晰、标签精确的模拟交互场景，提供位置信息、动作标签（离散与连续）、以及环境反馈信号（如方块是否成功破坏），生成高精度、无噪声的可控标注数据，助力高保真动作-响应建模。

02模型架构：Matrix-Game从图像出发构建可控交互世界

Matrix-Game是以图像为输入的交互式世界生成基础模型，整体架构围绕以下几个核心设计：

• 图像到世界建模（Image-to-World Modeling）

• • 强调空间智能能力：不依赖语言提示，仅基于视觉信号建模空间几何、物体运动及其物理交互；

  • 输入形式：以单张参考图像作为生成交互式视频的起点；

  • 交互可控生成：融合用户动作输入（如键盘、鼠标），通过类似 Flux 与 HunyuanVideo 的多模态扩散模型直接生成虚拟游戏世界的视频内容。

• 自回归式视频生成（Autoregressive Diffusion Generation）

• • 支持自回归方式扩展生成长度，可持续生成高一致性长视频内容；

  • 每次以前一视频片段的最后 k=5帧作为运动上下文，逐段递进生成，确保时间上的连贯性；

  • 为缓解时序漂移和误差累积，训练中以一定概率针对参考图像与运动上下文引入随机扰动、随机删除，以及Classifier-free guidance策略。

• 可控交互设计（Injecting Actions for Controllability）

• 键盘动作（如上下左右、跳跃、攻击）以离散token表达，视角移动动作（如鼠标pitch角度）则以连续token表达；

• 采用GameFactory的控制模块，并融入多模态Diffusion Transformer架构；

• 使用 Classifier-free guidance策略提升对控制信号的鲁棒响应能力。

03评测体系与模型性能：提出统一基准 GameWorld Score，重塑交互式世界生成标杆

为了系统性评估和比较交互式世界生成模型的性能，Matrix-Game提出了一套专为 Minecraft 世界建模设计的统一评测框架 —— GameWorld Score。该评测体系弥补了现有基准在交互性、物理一致性等维度的缺失，首次实现了对感知质量 + 控制能力 + 物理合理性的全方位衡量。

GameWorld Score 包含四大核心评估维度：

视觉质量（Visual Quality）：评估每一帧图像的清晰度、结构一致性与真实感。依据人类视觉系统（HVS）标准衡量每一帧图像生成效果。

时序质量（Temporal Quality）：衡量模型生成视频的动态连贯性，包括运动连续性、节奏平滑性与时间稳定性。

交互可控性（Action Controllability）：评估生成结果是否准确响应用户输入的控制信号，涵盖离散控制（如前进、跳跃）和连续控制（如视角转换）。

物理规则理解（Physical Rule Understanding）：测试生成视频是否遵循物理常识与空间一致性。

在GameWorld Score评测系统中，Matrix-Game在视觉质量、时间一致性、动作可控性与物理规则理解四大维度上均取得领先成绩，全面超越现有开源基线模型 Oasis 与 MineWorld。

在双盲人评实验中，用户更倾向于选择 Matrix-Game生成的视频：

• 96.3% 总体偏好率，生成效果更真实、连贯、可信；

• 93.76% 动作控制偏好，准确响应键盘与鼠标指令；

• 98.23% 视觉质量得分，单帧画面更清晰美观；

• 89.56% 时间一致性得分，动态流畅，无闪烁跳变。

在控制性能上，Matrix-Game可实现：“运动”“攻击”等动作高达 90%+ 准确率；细粒度视角控制下依然保持高精度响应。

在 8 大典型 Minecraft 场景中全面领先，展现出卓越的环境适应性与泛化能力，可广泛应用于复杂动态的虚拟世界交互任务。

Matrix-Game用事实证明，它不仅能“看得清”，更能“动得准、控得稳”，是当前工业界最强的交互式世界生成基座模型之一。

04昆仑万维引领交互式世界生成新纪元

Matrix-Game作为空间智能领域交互式世界生成的重要里程碑，将潜在为多个领域带来革命性影响：

虚拟游戏世界快速搭建：借助模型的可控生成能力，可低成本、高效率地创建多样化、结构合理的游戏地图与交互环境，显著提升关卡设计与任务构建的自由度。

影视与元宇宙内容生产：支持高保真、物理一致的动态场景合成，为沉浸式体验开发与创意内容生成提供通用世界建模基础。

具身智能体训练与数据生成：尽管当前模型未直接用于具身智能，Matrix-Game 具备生成大规模交互视频的能力，具备扩展至具身智能体训练与评估的潜力，可为智能体创建多样复杂的虚拟环境，辅助其任务执行与推理能力的提升。

Matrix-Game让世界不再只是被观看，而是被探索、被操控、被创造。昆仑万维正站在空间智能时代的新起点，邀请每一位探索者一起，用指尖绘制属于自己的无限虚拟世界。

未来，昆仑万维将持续投入前沿技术与基础模型研发，并且坚定开源SOTA级别模型回归社区。我们相信，Matrix系列世界模型将对公司AI短剧生产和编辑以及AI游戏生产等业务进一步赋能，为用户和开发者带来新的平台和工具。

(昆仑万维)