谷歌发布基础世界模型Genie 人工智能卷向“世界模型”

OpenAI和Meta之后，谷歌公布了世界模型领域相关进展。据谷歌官网，Genie是根据互联网视频训练的基础世界模型，可以从合成图像、照片、草图生成多种动作可控的环境。

随着谷歌入局，世界模型领域变得更加热闹，但谁能引领世界模型的风向，目前还难下定论。Sora是否世界模型此前已引起争议，反对者认为其视频生成方式与世界模型的因果预测有很大不同。从Sora发布的视频看，高保真的同时，模拟物理规律似乎是弱点，目前也还难以看出交互能力。谷歌Genie则在交互性上下功夫，可推断出生成环境中的潜在动作，但在视频真实性和清晰度的层面，Genie还未呈现出Sora般的水平。

专注2D平台游戏等

据谷歌介绍，过去几年，生成式人工智能模型能通过语言、图像甚至视频生成内容，谷歌引入生成式人工智能新范式，即生成式交互式环境（Genie），通过单个图像提示生成交互式、动作可控的环境。

Genie是一个110亿参数的基础世界模型，能从互联网视频中学习细粒度的控制，不仅能了解哪些部分是可控的，还能推断出生成的环境中的潜在动作。据谷歌放出的论文，Genie由三部分组成，由一个简单且可扩展的潜在动作模型推断每对帧之间的潜在动作，由一个视频分词器将原始视频帧转换为离散标志（token），以及一个动态模型，在给定潜在动作和过去帧token的情况下预测下一帧。

从谷歌放出的视频看，输入一张动漫人物闯关图片，能生成背景变换、人物连续跳跃且踩点准确的视频，动作具备相当的流畅度和合理性。输入一张真实世界的图片，图片中的人物、动物也能作出合理的跳跃或移动动作，但像素变得粗糙。

与Sora呈现出来的高清晰度、高真实度相比，Genie似乎不那么强调画面真实性，而是将重点放在潜在动作预测上。生成高真实度的视频并非目前Genie的着力点。谷歌介绍，Genie专注2D平台游戏和机器人技术的视频，但方法通用，应适用于任何类型领域并可扩展至更大的互联网数据集。只需一张图像就能创建全新的交互环境，这为生成和进入虚拟世界的各种新路径开启了大门。

据了解，动作可控是目前AI视频的一个难点，有创作者告诉记者，PIKA等视频生成工具多是做视差动画，看上去动了，但运动合理性还有很大改进空间，大幅度运动、人物对话较难实现。一段长视频要具备剧情，还保持在同一个风格里，AI很难做到，Sora通过多镜头巧妙地规避了这个问题，但还不能确认解决了问题。从这个角度看，AI理解物理世界并控制物体动作是一个重要方向。

世界模型之争

世界模型被认为是通往AGI（通用人工智能）重要路径。近期与世界模型或世界模拟器相关的进展频频，但各家的路径不同，谁能引领世界模型？

最早引起关注的Sora，OpenAI将其形容为作为世界模拟器的视频生成模型，并称通过扩大视频生成模型的规模，有望构建出能模拟物理世界的通用模拟器，但OpenA在Sora技术文档中并未详细介绍技术原理。目前看，Sora很可能重塑AI视频业态，但能否理解真实物理世界规律、是否具备世界模型的属性仍具争议。

一种代表性看法来自英伟达科学家Jim Fan，他指出，Sora是一个数据驱动的物理引擎，输入文本/图像并直接输出视频像素，是一个可学习的模拟器或世界模型。但Meta首席人工智能科学家Yann LeCun并不认可，他认为，Sora只是经过训练可以生成像素，但如果是以这种方式来了解世界运作，那注定是个失败命题。

“根据提示产生看起来最真实的影片并不代表系统理解物理世界，生成与世界模型的因果预测有很大不同。” Yann LeCun表示，合理影片的空间非常大，系统只需产生一个样本就算成功，而真实影片的合理连续空间小得多。

Sora视频确实显露出一些不符合物理规律的特征，例如，人物在道路上行走，仔细观察，会发现双腿出现了两次诡异互换；巨浪消失后，一个冲浪者还高高跃起；杯子摔碎的过程，液体先出现在桌面上，杯子才摔碎。有学者认为，世界模型需要对数据中没有的决策，通过推理得出，而Sora生成视频通过模糊的提示词引导，难以进行准确操控，没有准确地学到物理规律。Yann LeCun表示，更理想的方式是产生延续的“抽象表示”，消除场景中与可能采取操作无关的细节，这是JEPA（联合嵌入预测架构）的要义，是预测而非生成式。

Meta近日发布了V-JEPA。与谷歌Genie推测生成环境中的潜在动作不同，V-JEPA则是能生成视频中被遮挡部分，两者的共同点则在于对“推测”的强调。

Meta称，这个物理世界模型的早期示例擅长检测和理解对象之间的详细交互。V-JEPA使用从公共数据中集中收集的200万个视频训练，作为一种非生成模型，通过预测抽象表示空间中视频的缺失或屏蔽部分来进行学习，采用自监督学习方法，使用未标记数据进行预训练。与人类相比，人对周围世界的了解大多通过观察，人的内部世界模型可预测相关事件的后果，V-JEPA通过自监督训练也能了解世界运作的知识。在Meta展示的视频中，一个本子被遮挡了部分，V-JEPA能对被遮挡部分作出多种预测并生成视频。

巨头频有布局世界模型领域的动作，应用层面也跃跃欲试。有游戏从业者告诉记者，AI绘图的出现此前已极大加快其公司美术人员的工作效率，讨论角色进度的会议从一周一次加快到一周两次，游戏实时刷新的特点使AI工具还无法替代游戏引擎，但一些简单的短剧编辑器可能被替换。一名影视企业技术美术人员告诉记者，虽然还不能替代实拍或3D制作内容，但客户很多时候已希望在片子中引入AI风格，形成奇观。