昆仑万维押注世界模型的两大产业路径：内容创作实时、可交互，机器人先“预演”再行动

作者 | 褚杏娟

近日，昆仑万维集中发布 Matrix-3.5 世界模型、Mureka V9.5 及 O3 音乐模型，以及面向机器人的 Riemann-1.0 具身世界模型。三款模型分别指向游戏和视频内容生成、音乐创作以及机器人决策，其背后的理念都是：AI 要开始理解环境状态、记住此前发生的事情，并预测不同动作将如何改变未来。

昆仑万维董事长兼 CEO 方汉将 2026 年称为“世界模型元年”。在他看来，世界模型正在沿着两条路径进入产业：一条发生在虚拟世界，游戏、视频、音乐等内容生产将率先被实时生成和可交互技术改造；另一条则通向物理世界，机器人需要在真正行动之前，先对环境变化和动作后果进行内部推演。

1 世界模型首先改造内容生产

传统视频生成模型解决的是“生成什么画面”，世界模型需要进一步回答“如果用户做出某个动作，接下来会发生什么”。

昆仑万维 Skywork 首席科学家成宇将世界模型概括为一种状态预测范式：模型接收当前环境、当前状态以及用户或智能体的动作，再生成下一时刻的环境变化。它与一次性生成图像或视频的区别，在于模型不仅需要保证单个画面的质量，还要维持长期状态、空间结构和前后因果关系。

这种能力在游戏中尤其重要。传统开放世界游戏通常依靠大量美术、关卡、动画和程序人员，提前制作地图、人物、交互规则及任务内容。世界模型则提供了另一种可能：虚拟环境不必全部预制，而是可以根据玩家的移动、视角和操作实时生成，并在玩家返回此前区域时，继续保持建筑、物体和空间关系的一致性。

方汉判断，游戏行业可能是最早被世界模型系统性改造的产业。过去，一个开放世界游戏往往需要数百人团队投入数年时间手工搭建；如果模型能够让场景随玩家行动持续生成和演化，未来世界模型有可能成为游戏行业新的基础设施。

Matrix-3.5 正是沿着这一方向升级。三个月前，昆仑万维发布 Matrix-3.0，实现了在约 50 亿参数规模下生成 720P、可实时交互的场景。此次推出的 Matrix-3.5 进一步加强了长期记忆、空间一致性、动作控制和推理效率，重点面向游戏、互动内容及部分机器人仿真场景。

从技术路径看，昆仑万维将 Matrix-3.5 的升级拆分为数据、模型和推理三个部分。

在数据侧，团队不再完全依赖人工采集，而是引入游戏引擎、自动化智能体和数据处理工具，构建自动探索、自动录制、镜头切分、质量评分及标注流程。其数据来源包括虚幻引擎生成的虚拟环境、真实游戏运行画面以及互联网公开视频，最终形成约 1 万小时训练数据，覆盖约 1200 类游戏及虚拟场景。

在模型侧，Matrix-3.5 将此前以完整视频帧为单位的记忆机制，进一步升级为基于空间信息的 Patch Memory。传统方案会直接检索历史画面，并把整帧内容重新输入模型，但当相机视角变化时，画面中的同一物体可能出现位置偏移，进而造成结构漂移。Matrix-3.5 尝试将场景拆解为带有深度、相机位置和空间坐标的三维局部信息，只提取与当前生成区域相关的部分，再注入模型。相比直接回看完整画面，这种方式更接近对空间结构的持续记忆，使模型在长时间生成中能够更稳定地保留建筑、道路、物体和环境布局。

团队还对动态对象和静态场景进行了分离处理。人物、车辆等动态元素可以持续变化，但建筑、地形和房间结构需要保持稳定。将两者拆开建模，有助于减少长时间交互中的场景重构和物体漂移。

在推理侧，昆仑万维通过蒸馏、量化、采样优化及模型结构加速，将大型教师模型的生成能力迁移到更轻量的学生模型，目标是在较小参数规模和有限硬件条件下维持实时生成。

成宇认为，世界模型从研究走向产业，最大的分界线并不只是画面质量，而是能否实时运行。传统视频模型可以等待几十秒甚至几分钟生成一段内容，但交互式游戏和机器人无法接受这样的延迟。用户按下一个按键、改变一个方向或者让机器人完成某个动作，模型必须迅速给出反馈。

Reactor Technologies 联合创始人 Alberto Taiuti 也强调，世界模型不能继续完全建立在为大模型和离线媒体生成设计的基础设施上。大模型通常以请求和响应的形式工作，图像、视频模型也以批处理方式生成一次性资产；世界模型则需要持续接收双向数据，保存状态，并以低延迟不断输出下一帧环境。

在他看来，实时、持续、有状态、可交互和具备因果连续性，是世界模型区别于传统生成模型的核心特征。这意味着行业不仅需要新的模型架构，也需要专门为世界模型设计的推理和服务平台。

Alberto 认为，世界模型的意义也不只在游戏和视频。随着模型能够同时生成画面、声音、交互规则和状态变化，它最终可能推动“生成式软件”出现。未来的应用程序不一定由开发者预先写好每个界面和逻辑，而可能由世界模型根据用户需求动态生成完整体验。

AI 并没有减少创作者做判断的责任

除了 Matrix-3.5，昆仑万维还发布了 Mureka V9.5 和 Mureka O3 音乐模型，并展示了从灵感、歌词、歌曲到音乐视频的完整创作流程。

昆仑万维认为，AI 音乐正在从技术演示走向大众创作工具。过去很多音乐生成模型能够输出旋律完整、节奏规整的歌曲，但作品常被认为过于平均化，缺少停顿、留白、呼吸和情绪起伏。Mureka V9.5 的升级重点，是降低这种“模型感”，增加音乐的真实感和情绪变化。

成宇介绍称，Mureka V9.5 并没有只围绕传统自动评测指标优化，而是更加重视人对音乐真实感的主观判断，包括旋律、人声、音质、结构、停顿和情感表达。Mureka O3 则在此基础上引入更强的推理和反思机制，让模型在生成过程中反复检查歌曲结构、用户要求和局部表现，并根据结果进行调整。

与早期“一句话生成一首歌”的产品不同，昆仑万维正在把 Mureka 改造成一个可编辑、可迭代的创作系统。用户可以从一个模糊主题开始，让模型辅助生成歌词、确定风格、构建歌曲，再针对人声、节奏、段落和情绪进行调整，最终还可以把音乐与图像、视频结合，生成相应的 MV 内容。

方汉认为，AI 音乐的意义并不是替代音乐人，而是把音乐创作从少数人的专业能力，变成更多人的表达工具。他表示，传统歌曲的完整制作成本可能达到 20 万元甚至 100 万元，而通过 AI 模型生成歌曲，边际成本可以降至非常低的水平。

这一变化已经开始影响影视和内容产业的生产流程。在发布现场，演员王珞丹分享了自己使用 AI 制作短片的经历。她从剧本、分镜到人物资产均参与设计，但为了获得符合预期的镜头，仍需要不断调整提示词和反复生成。

在她看来，AI 并没有减少创作者做判断的责任，反而要求创作者具备更综合的审美。过去，演员、摄影、美术、剪辑和导演分别承担不同工作；当一个人使用 AI 独立制作短片时，需要同时理解镜头、空间、人物、节奏和视觉风格。模型可以提供意料之外的运镜和画面，但创作者仍然需要决定哪些结果能够进入作品。

青年导演崔睿认为，AI 目前对影视行业最直接的价值，首先体现在工作流程和前期视觉化环节。过去，导演需要手绘故事板，或由专业团队制作预演内容，这会消耗大量时间和资金。现在，导演可以通过 AI 快速生成镜头草图，用于和摄影、美术及制作团队沟通。

在后期环节，AI 也可以补充实际拍摄中缺失的镜头。例如，当剧组因为天气或时间限制无法完成某个特写或视角时，可以利用已有素材生成补充画面。崔睿称，部分 AI 生成镜头已经很难与实拍素材区分。不过，他并不认为 AI 会直接替代导演。即使一部作品由模型生成，模型仍然需要有人决定题材、人物、镜头、节奏和情绪。导演的核心工作不是执行某项技术，而是在每个环节做出创作决策。

演员黄晓明也提到，AI 可以帮助影视项目实现过去由于预算和技术限制难以完成的大场面。他透露，其团队正在推动一个科幻题材 IP 的影视化，希望将真人拍摄与 AI 特效结合，把小说中难以实拍的环境和动作呈现出来。

他认为，AI 创作已是不可逆趋势，影视从业者应主动学习、拥抱并使用 AI，以降低制作成本、实现过去难以拍摄的场景。但他也强调，AI 作品仍需要人的审美、情感和判断来主导，真人演员基于人生经验产生的即兴反应与独特表演难以被模型复制。

在黄晓明看来，AI 对影视行业的影响并非单纯取代，而是与行业降本需求同时发生。当长视频和电影行业面临成本压力时，AI 提供了重新组织制作流程的机会。但他同时强调，AI 生成内容应当明确标识，演员形象、声音和表演也需要建立授权及版权机制。

从平台侧看，AI 内容供给已经开始快速增长。爱奇艺高级副总裁杨海涛透露，平台近期每天可以收到约 3000 部创作者上传的 AI 作品和上千部 AI 漫画。这些内容正在分流一部分真人影视作品的观看时间，但目前尚未形成稳定的用户偏好规律。

据悉，爱奇艺已经在创意、剧本、拍摄、剪辑和后期等环节建设 AI 工作流，其专业影视制作平台已有超过 2 万名创作者使用，服务超过 200 个影视项目。杨海涛以网络电影《勿念》为例称，AI 在镜头剪辑等环节带来的效率提升超过 50%。

这表明，AI 对内容产业的首轮影响，很可能不是立刻生成一部完整电影，而是先进入每个细小环节：生成分镜、制作概念图、补充镜头、完成特效、辅助配乐、优化剪辑，再逐渐形成端到端工作流。

方汉也承认，现阶段模型在可控性和易用性方面仍有明显不足。大规模爆炸、战争、追逐等高复杂度场景，反而可能是 AI 更容易产生价值的部分，因为传统制作成本高，而观众对局部细节错误的敏感度较低。真正困难的是日常环境、人物微表情和小众场景，因为训练数据不足，模型容易把人脸和表演平均化，产生缺少真实缺陷的“塑料感”。

因此，世界模型进入创作产业，并不意味着内容可以完全自动生成，它更可能是先改变生产成本和角色边界。

2 世界模型走出屏幕：让机器人同时预测动作与未来画面

相比游戏、音乐和影视，机器人是世界模型更具挑战、也更接近其核心定义的应用方向。

昆仑万维与黎曼动力机器人联合发布的 Riemann-1.0，被定位为面向机器人的世界模型。该模型建立在 Matrix 相关技术基础上，使用超过 20 万小时的人类第一视角、手部操作及机器人数据进行训练，目标是让机器人同时生成动作，并预测动作执行后环境将发生什么变化。

传统机器人通常根据当前视觉输入直接输出动作。视觉—语言—动作模型，也就是 VLA 模型，则借助视觉语言模型理解任务，再将语义结果转换为动作。昆仑万维旗下 Skywork 首席科学家刘扬认为，这类方法虽然提高了机器人对指令和环境的理解能力，但对时间连续性、空间变化和长期后果的建模仍然不足。

Riemann-1.0 采用的路线，是让动作生成和未来视觉预测进入同一个模型。机器人不仅要回答“下一步应该怎么动”，还要同时预测“完成这个动作后，桌面、物体和自身位置会变成什么样”。动作和视频在统一架构中联合生成，相互交换信息，形成预测、执行和修正的闭环。

这一路线的基本假设是，机器人只有学会预测未来，才可能真正理解物理规律。当机器人伸手抓取杯子时，模型需要提前推演手臂如何移动、杯子是否会滑动、其他物体是否会被碰倒，以及任务失败后应如何恢复。

从训练架构看，Riemann-1.0 将视觉信息、机器人状态、动作轨迹和本体参数统一编码为连续序列，再输入同一个扩散式 Transformer 模型。模型最终设置两个输出端，一个生成机器人动作，另一个生成未来视觉状态。

数据则被分为三个层级：第一层是大规模人类第一视角数据，用于学习基本物理规律、长程任务和日常操作模式；第二层是带有手部动作、空间位置等信息的人类操作数据，用于建立视觉与动作之间的联系；第三层是高质量机器人数据，用于提高动作精度和实际部署成功率。

团队并没有针对每个任务分别训练一个模型，而是将厨房整理、物体堆叠、家居收纳和叠衣服等多种任务放在一起训练，以测试模型能否在不同任务之间共享基础动作和环境知识。据刘扬介绍，在部分真实环境任务中，Riemann-1.0 的成功率达到 80% 至 90%，在较复杂的厨房整理任务中超过 90%。

Riemann-1.0 的视觉预测端还可以被单独用作机器人仿真器。研究人员输入初始画面和动作轨迹，模型即可生成动作执行后的未来环境。理论上，这种能力可以用于合成训练数据，并让机器人在真实部署前先在模型内部试错。

但世界模型能否成为可靠的机器人仿真器，行业仍持谨慎态度。清华大学交叉信息研究院助理教授、破壳机器人创始人许华哲认为，世界模型可以用于粗略衡量任务是否完成及环境如何变化，但不能被当作完全可信的物理模拟器。

原因在于，模型生成的世界始终带有自身偏差。即使画面在像素层面非常逼真，模型也可能在某些动作或区域产生固定扰动。机器人如果长期在这样的环境中训练，可能学会利用模型漏洞，而不是掌握真实世界规律。

因此，世界模型更适合承担“神经仿真器”的一部分功能，用于扩展任务分布、测试大致策略和建立基础能力，但高风险动作和精细操作仍需要真实数据验证。他还提出，行业未来可能需要类似“AI 宪法”的机器人行为约束，也就是一套清晰的 Robot Constitution 或 Robot Law，规定机器人在面对危险、伤害、欺骗和高风险指令时必须拒绝执行，并明确事故责任。

长期决策和数据难，是当前挑战

世界模型在具身智能中的价值，也得到了学术界的进一步讨论。

中国科学院院士、南京大学副校长周志华指出，目前，具身智能在封闭环境中已经拥有较成熟的解决方案。所谓封闭环境，是指训练数据和实际部署场景基本一致，例如机器人只在固定工厂、固定产线或固定区域工作。真正的挑战来自开放环境：机器人在实际部署时，可能面对训练过程中从未出现的物体、道路、天气、房间和任务。这时，仅靠记忆训练数据无法完成稳定决策，系统必须对环境进行建模。

周志华将世界模型分为感知层、理解层和决策层。感知层强调更准确地识别环境，理解层强调解释视频、图像和事件，而决策层世界模型的目标不是完整还原世界，而是帮助智能体做出正确行动。他认为，人类做决策时，也不会精确建模世界中的每个细节。真正重要的是在关键位置进行精细判断，在无关区域保持粗略理解。机器人开门时，并不需要保证每一步运动完全符合预先规划，只要最终能够安全打开门，就可能被视为一次成功决策。

但决策层世界模型面临一个比视频生成更困难的问题：每一次动作都会改变未来环境，而模型需要连续推演多步。周志华介绍，其团队近期研究表明，如果不再要求每一步状态都完全准确，而是从整体决策结果出发，通过分布匹配方法进行建模，多步误差可以从平方级降低为线性增长。这意味着，长期决策世界模型至少在理论上具有可行性。

另一个难点是数据。在战斗机、工业设备和机器人等现实场景中，系统不能像围棋或电子游戏一样进行无限次试错。每一次错误都可能带来设备损坏或安全风险。周志华团队尝试通过逆向处理强化学习中的基础方程，降低模型对真实交互数据的需求。

在世界模型的复用方面，周志华还提出“学件”思路。所谓学件，是由模型及其机器生成的规约组成。规约类似模型说明书，但不是由开发者人工撰写，而是由机器学习系统自动刻画模型能力、适用范围和组合方式。

未来，不同机器人和产线或许不必为每种产品重新训练一个完整世界模型，而可以把多个具备不同能力的模型组合起来，适配新设备和新任务。模型开发者不必公开原始数据，用户也不必上传私有数据，只需要通过规约完成模型匹配和组装。

而在产业界，许华哲指出，具身智能的“ChatGPT 时刻”，真正的标志应当是一个模型可以被部署到不同国家、不同家庭和不同机器人本体上，并通过自然语言指令完成此前没有专门训练过的任务。

许华哲选择面向家庭服务机器人创业，这不是最容易商业化的环境，却可能是最能检验通用能力的场景，但机器人进入家庭，技术能力只是第一道门槛。他认为，家庭机器人必须同时解决物理安全、隐私安全和交互安全。机器人本身具有重量、关节、电池和摄像头，可能发生碰撞、夹伤、倾倒或隐私泄露。不同用户对机器人的接受程度也不同，有人希望机器人主动陪伴，有人只希望其在家中无人时工作。

此外，他也指出，数据是具身智能规模化最困难的部分。互联网为语言模型积累了海量文本，却没有为机器人留下同等规模、带有动作和空间标注的数据。机器人数据采集成本高，不同设备的关节、动作空间和控制频率也不统一。

许华哲认为，具身数据扩展的第一步并不是单纯增加时长，而是先建立对数据分布的度量方式。让机器人抓取矿泉水瓶一万次，并不一定比抓取十种不同物体各十次更有价值。行业需要判断哪些任务相似、哪些数据重复、哪些样本真正扩展了模型边界，再决定如何扩大规模。

人类第一视角视频被视为重要数据来源。互联网上每天都会产生大量做饭、整理、维修和日常生活视频，这些数据虽然没有机器人动作标签，却包含丰富的任务顺序、物体关系和长程规划信息。通过少量机器人数据对齐，人类视频可能成为具身模型的“互联网语料”。

仿真数据也可以快速扩量，但仍存在从仿真到真实世界的差距。模型可以利用仿真学习基础任务框架，却很难完全还原摩擦、柔性物体、光照、碰撞和硬件误差。因此，人类视频、机器人真机数据和世界模型生成数据很可能需要共同使用。

高质量具身数据的采集成本高，已成为机器人公司的核心资产。行业可能出现小范围合作和部分数据共享，但很难有企业将完整训练数据公开。他认为，未来更现实的路径，可能是通过联盟、激励机制或可信协作方式，建立有限开放的数据生态。