可实时交互世界模型成新赛点！谷歌、阿里、京东醉翁之意在机器人？

一年前，谷歌发布了“可实时交互的世界模型”Genie 3。一年后，号称“迄今为止最逼真、最具互动性的世界模型”的Genie 4来了。

Genie从来不满足于“生成一段以假乱真的视频”，它的目标是在你眼前实时运行一个能听、能说、能改的虚拟世界。

需要注意的是，这次发布依旧是“研究预览版”，目前只对受邀测试者开放，后续会先向Ultra版订阅用户开放，普通用户还得排队等待。雷科技（ID：Leitech）已经第一时间提交了申请，拿到实测资格后会及时上手体验。

近两年，自动驾驶、机器人、视频生成领域企业，似乎都盯上了“世界模型”概念。不同的是，自动驾驶和机器人领域，世界模型的作用一是生成一个虚拟世界，用于训练模型；二是实时预测真实世界会发生什么。谷歌发布的Genie 4则可生成一个虚拟世界，并根据用户的指令改变虚拟世界的状态。

实时交互，世界模型的下一个高地

据谷歌介绍，Genie 4原生支持多模态，能够将音乐、环境音效、交互式对话与虚拟世界同步生成。

为保障长程场景下的表现，Genie 4与Gemini模型融合并扩展，其中Gemini Omni负责将模拟画面的行为逻辑与真实世界锚定，其他模型负责维持模拟连贯性所需的复杂推理。海滩上浪花拍岸的水声、风吹动树叶的沙沙声，都能被更拟真地展现出来。

（视频来源：谷歌；图为雷科技制作）

当Genie 4实时生成世界时，Gemini会持续观察场景，将目标分解为一系列步骤，并审查接收到的帧以跟踪进度并验证每个步骤是否成功。依托Genie 4对物理世界的理解，空气流动、碰撞造成的物体形态和运动轨迹变化，在模型生成的视频中也能表现出真实感。

最关键的是，用户可以在视频生成的过程中，通过指令改变环境、引入新的物体或角色，原有的角色则会对新引入的物体、角色，以及环境的变化做出反应。这种交互能力，是部分世界模型所不具备的。

由此来看，Genie 4的最明显的用途，似乎是视频生成。

Sora引爆视频生成赛道后，快手、字节跳动等国内企业纷纷入场，可灵和即梦两款国产视频生成AI能力与日俱增，生成的画面愈发逼真。与它们不同，Genie 4追求的不只是画面效果，更重要的是实时交互能力。

（图源：即梦截图）

我们在使用普通视频生成AI制作内容时，一般是先输入指令、上传图片或视频素材，然后模型才会根据我们输入的内容生成视频。在视频生成过程中，我们无法加以约束，若是视频没有按照我们规划的路线走，还需要重新生成或后期调整。

可灵、即梦席卷行业之时，雷科技曾表示，对于普通人而言，视频生成AI最大的意义在于让每个人都可以成为导演、编剧，将幻想中的场景转化成每个人都能看到的画面。Genie 4真正赋予了我们导演的权利，我们不再需要等待视频生成后再调整，可以实时指挥画面中的角色、道具，乃至整个环境。

“实时交互能力”有望成为世界模型行业的下一个高地，除了Genie，初创公司Runway开发的GWM Worlds 2、京东 JoyAI-EchoWM、阿里Happy Oyster等模型，也具备相似的能力。

需要注意的是，Genie虽然表现出了生成视频的能力，但若只用它来做视频，那可就有点暴殄天物了。

“可实时交互世界模型”将用于机器人训练

在Genie 4发布后，雷科技注意到许多报道除了强调它的视频生成能力，还将其与游戏联系起来，甚至有媒体喊出了“游戏引擎已死”。

的确，生成虚拟世界、可实时交互的特性，与网游小说中未来的虚拟世界游戏相似。不少网友认为将该模型与VR结合，就能让我们沉浸在虚拟世界中。

不过在雷科技看来，Genie 4或其他可实时交互世界模型，短期内都不可能支撑起虚拟世界游戏。构建一个虚拟世界，所需的成本可比生成一段视频高得多，本地PC的性能根本不够。而且一个能存档、能联机、碰撞判定毫厘不差、规则可复现的游戏，要求“每一帧都可计算”，这恰恰是生成式模型最不擅长的事。

（图源：豆包AI生成）

Genie 4相较上一代模型虽有升级，但也只能维持最长约2分钟的连贯性。面对更长时间的工作时，Genie 4将很难保证物体一致性。

雷科技认为，最先从Genie 4或其他同类模型受益的是影视行业，它的“生成过程可约束性”相较传统视频模型优势很大；其次是谷歌提到的新闻、教育、游戏、工程等产业，Genie 4可提供创意展示能力，让用户快速将自己的想法转化成可探索的原型；最后则是重点场景——具身智能训练。

以自动驾驶汽车为例，华为、小鹏等许多企业，都在通过世界模型生成场景对智驾系统进行针对性训练，提升智驾系统在长尾、复杂场景下的通行能力。

（图源：雷科技摄制）

可实时交互的世界模型能让用户在智驾系统训练的同时，给系统制造一些“突发事件”，例如前方突然升起团雾、下起暴雨等，进一步训练智驾系统面对突发情况时的应变能力。

机器人领域同样如此，可实时交互世界模型能够根据自然语言指令随时改变场景、物体、光照、布局，动态生成大量不一样的开放场景，以及会移动、会被碰倒、有声音反馈的物体，加上原生音频同步，还能训练多模态具身智能（视觉+听觉），比如听到掉落声音、根据环境声音判断状态，这是传统仿真很难低成本做到的维度。

当然，Genie 4模拟的世界，只是看起来很像真实世界，与现实仍存在差异，短时间内企业不能将其当作“物理仿真”使用。在使用可实时交互世界模型训练具身智能的同时，真机数据依然重要。

Genie 4只是第一步，世界模型的潜力仍需挖掘

谷歌时隔一年多推出Genie 4世界模型，打破传统AI视频一次性生成、难以中途修改的局限，让实时交互能力成为视频生成赛道新竞争方向。在游戏、具身智能训练等场景，它更是勾起了无数人的想象。

然而，Genie 4面前还摆着三个问题，一是向普通用户的开放时间和定价，该因素决定了Genie 4是实验室的玩具，还是每个人都能用到的生产工具；二是长程一致性能否持续提升，2分钟对于许多工作而言还是太短了；三是“生成—训练—迁移”的闭环能否在具身智能领域跑通，这一点是验证Physical AI能力的关键。

两年前，AI连静态图片里的手都画不好；两年后，AI已经能在你眼前实时生成一个能听、能说的世界。尽管Genie 4现阶段只能维2分钟的连贯性和物体一致性，但它的未来不会被时间局限。

Genie 4并不孤单，正如可灵、即梦陪伴Sora一样，GWM Worlds 2、京东 JoyAI-EchoWM、阿里Happy Oyster等诸多模型，也将与Genie一起成长、进化，这个行业本身就拥有无限可能。毕竟，世界模型的下半场，才刚刚开始。