视频通用模型来了！DeepMind 再证「生成即理解」，何恺明参与

来源：市场资讯

（来源：机器之心Pro）

编辑｜山辉

视频链接：https://mp.weixin.qq.com/s/dX552R_CIZwNNiywiosqSw

如果想开发一个视频理解应用，你会怎么做？

一种常见的思路，是把视频中的信息逐层剥离。例如动作理解，原始像素转化为人体关键点，连续动作经过时序分割变成片段，整个过程要尽可能抛弃与任务无关的干扰信息。

问题也随之出现：不同阶段依赖不同的数据标注和表示，数据之间难以对齐，误差的传递与累积，抛弃的干扰信息可能在下游重新变重要……

理解世界，是否一定要从「做减法」开始？

在几个月前，谷歌 DeepMind 放出了一篇重量级论文《Image Generators are Generalist Vision Learners》，系统性地证明了之前许多人已经有过的直觉：图像生成器就是强大的通用视觉学习器。

我们此前对此进行了报道：视觉GPT时刻来了！DeepMind用Vision Banana证明「生成即理解」，何恺明、谢赛宁都参与。

如今，谷歌 DeepMind 又将「生成即理解」的路线推进到了视频。

在最新论文《Video Generation Models are General-Purpose Vision Learners》中，研究团队提出GenCeption，将视频生成模型改造成一个由文本指令控制的通用视频理解系统，可完成深度估计、表面法线预测、分割、相机位姿估计和 3D 关键点预测等多种任务。

视频生成，可能就是通用预训练目标

自然语言处理之所以能够从专用模型走向通用基础模型，关键在于找到了一个统一且可规模化的训练目标：预测序列中的下一个单位。

计算机视觉并不缺少强大的基础模型，这些模型依然带有明显的任务专用色彩。

论文作者认为，构建通用视觉模型的关键，就是找到一种类似于语言模型「下一词元预测」的通用预训练目标。

这种视觉预训练范式至少需要满足三个条件。

大规模文本到视频生成恰好同时满足了这三个条件。

为了生成一段连续、可信的视频，模型必须学习多样的时空先验。与此同时，文本到视频模型天然以语言提示为条件，并且已经获得了大量产业资源的投入。

因此，视频生成或许并不只是视觉系统的一项下游能力，它本身就可以成为视觉领域的通用预训练任务。

把视频生成器改造成理解模型

GenCeption 的核心思路，是直接复用经过预训练的文生视频扩散模型，将其中学习到的时空先验转化为视觉理解能力。

GenCeption 方法与范式转变

传统扩散模型从随机噪声出发，经过多轮迭代去噪生成视频。但深度、分割和姿态估计需要的是稳定、确定的结果，而不是带有随机性的生成样本。

因此，GenCeption 将多步扩散过程改造成单步前馈模型。

模型不再输入随机噪声，而是直接接收待分析视频的无噪声潜在表示，扩散时间步被固定在 t=0，整个模型只进行一次前向传播。

输入同一段视频时，只需改变文本指令，模型就能切换任务：指令是「输出深度」，模型就生成逐帧深度图；指令是「输出 3D 关键点」，模型则直接预测三维人体姿态。

同一个模型因此可以用统一架构处理多种任务，而不必为每个任务重新专用系统。

视频链接：https://mp.weixin.qq.com/s/dX552R_CIZwNNiywiosqSw

GenCeption 能无缝切换不同的视觉任务。

如何统一多种视觉任务

许多所谓的多任务视觉模型，虽然共享同一个主干网络，但在面对不同任务时，依然需要使用不同的任务头和损失函数。

GenCeption 更进一步，试图统一视觉任务的主干网络、预测头和训练目标

研究团队首先将任务分成两类：

GenCeption 架构

这样一来，GenCeption 既可以输出逐像素的视觉结果，也可以输出适合进一步计算和控制的坐标数据。

更进一步，所有任务都使用统一的 L2 损失训练。任务之间的差异不再主要通过不同模型头和损失函数来体现，而被转移到数据表示方式上：先通过归一化和重新编码消除不同任务的尺度与格式差异，再使用统一损失进行优化。

这也是论文所强调的范式变化：任务定义不再主要体现在架构修改中，而是体现在数据格式设计中。

合成数据解决多任务标注与对齐问题

统一视觉任务还面临另一个现实问题：数据

真实视频数据通常只包含有限的标注模态。例如某个特定的体育项目数据集，可能有人体关键点，却没有动作类别；另一个数据集可能有相机轨迹，却没有时序关键帧。

为了获得能够同时支持多种任务的高质量标注，研究团队主要采用合成数据

他们使用 800 个 RenderPeople 人物资产和 200 种动作，生成 7500 段人体视频，并同步获得深度、法线、分割、DensePose、2D/3D 关键点和相机位姿等标注。

这些信息来自同一个三维场景，因此在空间和时间上天然对齐，也减少了不同数据集之间的格式冲突。

生成式预训练真的更好吗？

GenCeption 覆盖深度、表面法线、前景分割、指代表达分割、相机位姿和 3D 关键点等任务。

实验显示，它在多个基准上能够接近或超过 Depth Anything V3、SAM 3、D4RT、VGGT-Ω、Sapiens 和 Genmo 等专用模型

值得注意的是，论文同时测试了两个版本。

专用版「Specialist」分别在单个任务上训练，而通用版「Generalist」则由同一个模型联合学习多个任务。

通常来说，多任务模型容易因为任务之间相互干扰而出现性能下降。

结果显示，两者之间的性能差距较小，说明统一模型并未因为处理多种输出模态而出现明显的能力损失。

单纯证明 GenCeption 表现优秀，还不足以证明视频生成是一种更好的预训练范式。这些结果究竟来自生成式预训练，还是仅仅来自更大的模型？

为此，作者在相同后训练数据下，比较了 V-JEPA、VideoMAE V2 和视频生成模型 WAN 2.1 作为主干网络的效果。

结果显示，在深度估计任务中，生成式预训练的 WAN 明显优于另外两种视频表征学习方法。随着模型从 13 亿参数扩大到 140 亿参数，性能还会继续提升

GenCeption 同时表现出较高的数据效率。

它使用约 123 万帧后训练数据，就能取得接近部分领先专用模型的效果；而 Depth Anything V3、D4RT 和 VGGT-Ω 使用的数据规模分别约为 2 亿、8600 万和 6 亿帧。

论文因此认为，GenCeption 能够以少 7 倍至 500 倍的下游训练数据，达到与部分领先模型相近的性能。

这并不意味着视频模型训练成本很低，因为 GenCeption 依赖一个已经完成大规模预训练的 140 亿参数生成模型。

但这表明，一旦拥有一个强大的视频生成基础模型，针对下游视觉任务进行适配时，所需要的专用标注数据可能大幅减少。

这对于标注昂贵、任务定义不断变化的专业领域尤其重要。

从合成人类，到动物和机器人

GenCeption 最有意思的部分，不只是基准结果，而是训练范围之外的泛化能力

模型的大部分后训练数据来自合成人体视频，但它能够直接处理真实视频，并输出深度、法线、分割和姿态结果。

主要使用单人视频训练的模型，也能在多人场景中输出多个姿态实例。

多人场景泛化结果

更进一步，模型还能把人体相关任务迁移到训练中未出现的类别

例如，一个主要在合成人类数据上后训练的模型，可以为猩猩预测近似的人体姿态，或者对动物和拟人角色进行分割或姿态估计，以及为机器人输出具有语义对应关系的关键点。

动物泛化结果

这些能力很难仅仅用 7500 段合成人体视频来解释，作者认为，它们主要来自视频生成模型在大规模预训练阶段已经获得的广泛世界知识。

后训练不需要教会模型「什么是动物」「什么是机器人」，只是让模型学会了一种新的格式来输出已有知识，下游训练因此更像是在提供一套读取已有知识的接口。

「生成即理解」成立了吗？

GenCeption 确实为「生成即理解」提供了相当有力的证据。

这说明，视频生成模型内部保存的除了画面纹理和风格，还有大量关于空间、时间、物体和运动的结构信息

但「生成即理解」仍然不是一个已经完全成立的等式。

本文验证的主要关注「结构信息」，而动作语义、事件因果和意图推理需要进一步回答「发生了什么」以及「为什么发生」，两者之间仍然存在距离。

更准确地说，这篇文章证明了，视频生成式预训练可以学习到支持多种视觉理解任务的通用表征。不同的任务需要的能力，也许藏在同一个基础模型中可以被调用和迁移的通用能力中。

这定义了一种新的开发方式。

未来，面对一个新任务，也许不必再从头完成海量标注和专用模型级联，你只需要更有限的任务样本，和一个好用的通用模型。