当AI画画时，它到底在"想"什么

先问你一个问题：你觉得AI生成一段视频，跟AI下一盘棋，本质上有什么区别？

大部分人的第一反应是，视频生成是"创作"，下棋是"推理"。一个感性一个理性，一个靠审美一个靠逻辑。这个判断没什么问题，直到最近一批研究者开始琢磨一件怪事：如果让AI生成视频去解一道谜题呢?比如走迷宫，比如玩华容道,比如判断哪个物体该往哪个方向转。

这时候你会发现,生成视频这件事,好像也在推理。

这就是这篇论文要讲的核心概念，原生视觉推理。它的意思是,视觉生成本身就是推理过程,而不只是推理完了之后画个图给你看。图像和视频不再是"最终交上来的作业",而是AI思考问题时正在打的草稿。

这个说法听起来有点绕，但你可以换个角度理解。人类做几何题的时候，很多人会先在纸上画个草图，画着画着突然想通了。这张草图不是给别人看的展示品，是自己想问题的工具。原生视觉推理想说的是，AI生成图像和视频的过程，可能也在扮演这样一张草图的角色。

问题是，这个猜想要怎么验证？总不能凭感觉说"我觉得AI在推理"。这就是VBVR-Pro这篇论文要解决的事：造一套能让人把这件事真正测清楚、训清楚、也能优化清楚的基础设施。

这事儿难在哪

先说个扎心的事实。在VBVR-Pro出现之前，研究原生视觉推理的团队，日子过得挺憋屈的。

问题出在三个地方，一环扣一环。

第一个问题是没有足够多、足够丰富的训练题目。市面上已有的视觉推理测试集，大多是拿来考试用的，压根没打算给你当教材。就像市面上有很多期末考卷，但没人专门给你编一整套配套习题册。少数几个提供大规模合成数据的项目，出的题又太简单，像是幼儿园数学题，训出来的模型能不能真正学会解决现实问题，谁也说不准。

第二个问题更麻烦，评分靠不住。

现在主流的做法是让另一个大模型来当裁判，业内管这叫VLM-as-a-judge

*VLM-as-a-judge：用一个视觉语言大模型来给别的模型生成的结果打分，代替人工评审*

听起来挺聪明，机器判机器嘛。但论文里做了个实验，让GPT-5.5、Qwen这些顶尖模型去评判一段展示两个球融合变色的视频。正确答案是红色和绿色融合后应该变成黄色。结果生成的球颜色明显不对，三个裁判模型全都给出了0.8分以上的高分，而论文自己设计的严格评分器只给了0.4分。

这不是个例。论文总结出VLM裁判的三种典型翻车模式：看不清细节、忽略关键错误、理解错题目本身的意思。更要命的是可复现性问题，同一段视频让VLM裁判打两次分，55%到93%的情况下分数会变。这意味着你用它做强化学习训练时，奖励信号本身就是随机噪声，模型根本学不到稳定的东西。

第三个问题是没人做过公平对比。图像生成、视频生成、图文交替生成这三条路子，到底哪个更适合做视觉推理？以前没人在同一套题目、同一套评分标准下认真比过。

这就好比三个厨师各自在不同的厨房、用不同的食材、按不同的评委标准比赛，最后争论谁做的菜更好吃。争论了半天，其实根本没法比。

VBVR-Pro要干的，就是把这三个坑都填上。

三百道题，五种能力

VBVR-Pro的第一件事，是造了300个任务生成器，覆盖五种认知能力：感知、空间、变换、抽象、知识。

感知包括数数、认字、比较大小这类基本功；空间涉及方位、三维结构、导航；变换是平移旋转这类操作；抽象是从观察中总结规律，比如数独、五子棋；知识则涉及常识、物理现象、经典游戏规则。

这里面有150个任务是从前作VBVR改进而来，另外150个是全新设计的。论文专门做了对比，新任务的视觉复杂度是老任务的近7倍（按图像中的色块区域数量算），而且更需要多步推理，新任务中47%需要多步推理，老任务只有7%。

这个差别是怎么量出来的？论文让GPT-5.5盲测比较150对新旧任务，结果113对认为新任务需要更深的推理，占了75%。这说明团队不是简单地把题目数量堆上去，而是真的在扩充能力覆盖面。

这里有个设计特别值得说一说：每道题不只生成一种呈现方式，而是同时渲染成视频、关键帧图像、图文交替标注三种形式，本质上是同一道题的三种"说法"。

这个设计的巧妙之处在于，它让后面的公平对比成为可能。你不能用不同的题目去比较视频模型和图像模型谁更强，那样的对比毫无意义。就像评测两个翻译软件，你不能给一个软件翻译诗歌、给另一个软件翻译说明书，然后说谁翻得好。VBVR-Pro保证了每个模型面对的是完完全全相同的一道题，只是呈现介质不同。

图像模态具体怎么表示一个多步过程的答案？论文设计了三种输出方案。

末帧模式*：只输出最终结果，适合"选出正确答案"这类一步到位的题*

关键帧模式*：输出几个关键的中间状态，比如迷宫走到每个岔路口的画面*

多帧模式*：均匀采样若干中间状态，适合考察整个过程连贯性的题目，比如时钟走时*

这套体系听起来有点像拍电影时的分镜脚本设计。你不可能把每一帧画面都当成正片，但也不能只给观众看片头和片尾。到底该在哪几个关键节点定格，取决于这个故事的核心信息藏在哪里。VBVR-Pro就是在给每一道题设计它专属的"分镜脚本"。

裁判问题怎么解决

既然VLM裁判不靠谱，那怎么办？

论文给出的答案是，为100个测试任务（50个训练时见过的领域内任务，50个训练时没见过的领域外任务）分别造一套确定性的评分器，业内叫verifiable reward scorer

*verifiable reward scorer：基于规则和结构化信息提取的可验证评分器，不依赖大模型主观判断*

这套评分器的原理很朴素：不比较像素，而是提取语义信息再打分。具体来说，用色彩分割、轮廓检测、文字识别这些经典计算机视觉方法，先把画面里的物体、颜色、位置、数量提取出来，变成结构化的数据，再按照每道题预先设计好的规则打分。

举个例子，论文展示了一个"球群合并"任务的评分逻辑。红色球群需要按规则依次吞并其他球群，最终变成25个红球。评分器会追踪每一帧里各个球群的存在比例，检测合并事件发生的时间点，同时用OCR读取最终画面上的数字标签是否正确。整个打分过程被拆解成合并准确率、到达顺序、球群形状、最终标签这些具体的子项，每一项都有明确的计算方法，最后加权求和。

这套设计带来一个立竿见影的好处：确定性。论文测过，同一段视频反复用规则评分器打分，结果完全一致，而GLM-4.6V-Flash这种相对较弱的VLM裁判有54.6%的样本会改变分数，最强的Gemini-3.1-Pro也有92.8%的样本分数会变。

这就好比考试改卷子，一个是用标准答案对照评分，答案对就是对，错就是错；另一个是找一群阅卷老师凭印象打分，同一份卷子换个时间改，分数可能天差地别。如果你要用这个分数去训练学生怎么答题，第一种方式给出的反馈是稳定可信的，第二种方式给出的反馈本身就充满噪声，学生越学越糊涂。

那评分器准不准呢？论文找了大量人类标注者，对8个视频生成模型产出的4000段视频做两两对比打分，然后拿这套规则评分器跟人类判断做比对。结果规则评分器的单次投票一致度超过0.60，超过了GPT-5.5的0.54和Gemini-3.1-Pro的0.52，达到人类评委之间一致度上限（0.77）的78%左右。

更关键的是，规则评分器成本极低，因为它基本不用调用任何API，只在需要文字识别时才用一点GPU算力。论文用一张对比图展示了成本和一致度的关系，规则评分器处在图的左上角，既便宜又准，而各路VLM裁判散布在成本更高、一致度更低的区域。

三种生成方式，谁更懂推理

有了统一的题目和统一的评分标准，接下来就能真刀真枪地比较图像、视频、图文交替这三种生成方式，到底谁更适合做视觉推理了。

论文选了9个开源模型，分别代表这三条路线，在512×512分辨率下用VBVR-Pro的数据微调一轮。结果所有模型的表现都有提升，平均整体提升0.290分。这说明这套训练数据是真的有用，不是随便凑数的。

比较有意思的发现是三种模态各有各的强项。

视频生成在需要持续追踪时空状态的任务上表现最强。论文举了个例子，让模型把一个积木雕塑旋转180度，视频生成模型能生成连贯的中间过渡状态，正确完成任务，而图文交替模型和纯图像模型都失败了。

这个道理其实很直白。视频天然记录了连续的运动轨迹，就像你想教一个人怎么打领带，比起给他看打好的照片，直接录一段打领带的视频显然更有效，因为动作的连贯性本身就是信息。如果只给最后一张成品图，中间怎么绕的、哪一步先哪一步后，这些关键信息全都丢了。

但视频不是万能的。论文有个反直觉的发现：训练之后，最强的图文交替模型（VBVR-Pro-SenseNova-U1）在很多领域内任务上，表现居然能追平最强的视频模型（VBVR-Pro-Wan2.2-I2V-A14B）。

这说明什么？一旦模型学会了任务的内在结构，稀疏的几张关键图片配上文字描述，也足够解决很多熟悉的推理问题。而且图文交替模型的生成和推理成本比视频低得多，性价比更高。

论文进一步做了个拆解实验，来分清楚图文交替模型里，到底是文字推理重要，还是中间的图片重要。他们做了三组对照：保留完整文字但把多张中间图压缩成一张、保留多张中间图但把文字换成没有意义的占位符。

结果很有意思。去掉中间的视觉状态（只留一张图），模型性能明显下降，两个模型分别掉了0.024和0.111分。但把文字换成占位符，性能几乎没受影响。

这个结果传达的信息挺颠覆常识的：至少在这类空间任务里，视觉状态的连续变化，比语言描述更重要。这就好比你教人走迷宫，语言描述"先左转再右转"其实远不如直接在地图上画出走过的路径来得直观。语言在这里更像是辅助字幕，真正承载推理信息的是那一格一格变化的画面。

论文没有止步于训练时的分析，还在推理阶段做了一系列反事实实验，去戳破一个尖锐的疑问：模型是不是只是背下了训练时见过的套路？

实验设计得很讲究。研究者把输入的文字换个说法但意思不变，性能几乎没变化，这说明模型不是在死记硬背特定的问法。但如果把输入图片整个去掉，性能直接暴跌到0.064，几乎失效。这证明答案不可能从纯文字里推出来，画面本身承载着必不可少的信息。

更狠的一招是几何反事实：把输入图片水平翻转或者旋转180度，同时把方向相关的文字描述也做相应调整。结果性能基本保持不变，模型能根据变化后的空间关系重新生成正确的推理轨迹。这就排除了模型只是记住了"这道题该往哪画"这种表面套路的可能，它是真的在根据当前这张图的具体布局做推理。

论文还在推理过程中做了一组更细的干预。对图文交替模型，把中间生成的文字去掉或者故意改成相反意思，性能只是中等程度下降；但如果把中间生成的图片去掉或者加噪声破坏掉，性能下降幅度大得多。这跟前面训练阶段的发现互相印证：视觉状态不仅在训练时更重要，在实际推理时也在被模型持续使用。

强化学习怎么训练视觉推理

光有靠谱的评分器还不够，论文还想验证这套评分器能不能真正用来训练模型，也就是做强化学习。

*强化学习：让模型通过反复尝试并根据奖励信号调整策略的训练方式，这里的奖励就来自前面说的规则评分器*

这里遇到一个技术难题。常见的视频生成强化学习方法，需要模型在采样时产生足够不同的结果，这样才能比较优劣、学到东西。但视觉推理任务里，关键的决策往往是离散的，比如迷宫里往左走还是往右走，选哪个选项。普通的随机扰动只会改变画面细节，比如颜色深浅、线条粗细，并不会改变实质性的决策方向，这样的多样性对训练毫无帮助。

论文这里的解决方案叫CPS采样

*CPS（Coefficients-Preserving Sampling）：一种在扩散模型采样时引入随机性、同时不破坏画面清晰度的技术*

CPS的巧妙之处在于，它在增加随机性的同时，让预测噪声和新采样噪声的系数满足一个数学约束（平方和恒等于1），从而保证总的噪声强度不会失控膨胀。论文用一张对比图展示了效果：传统的Flow-SDE采样方式，稍微加大随机性，画面背景就开始出现明显的杂色和扭曲；而CPS即使调到很高的随机强度，画面依然干净，但任务层面的决策，比如连哪两个物体、往哪条路走，会呈现出丰富的多样性。

这个设计解决的核心矛盾是探索和质量的两难。如果完全不加随机性，模型每次生成的结果都差不多，强化学习没法比较优劣，学不到东西；如果随机性加得太粗暴，画面质量崩坏，连基本的评分都无法进行，更别提学到有用的东西。这就像教一个学生做多选题，你希望他每次能尝试不同的选项组合，但不希望他连题目本身都读不懂了乱写一气。CPS相当于给了模型"换个角度想问题"的自由，同时保证他还认得清题目。

实验对比了三种训练方式：直接监督微调、用VLM裁判做强化学习奖励、用规则评分器做强化学习奖励。三者用完全相同的初始模型、相同的训练数据、相同的算法，只是奖励来源不同。

结果规则评分器驱动的强化学习表现最好，整体得分0.548，比VLM裁判驱动的0.508和纯监督微调的0.503都要高。更值得注意的是，在训练时完全没见过的领域外任务上，规则评分器驱动的模型也拿到了0.377分，比监督微调的0.328分要高，这说明这套奖励信号真的教会了模型某种可迁移的推理能力，而不只是死记硬背。

训练过程中还观察到一个有意思的现象：VLM裁判驱动的训练在某个阶段（大约400到500步）性能突然暴跌，随后又慢慢恢复。论文顺藤摸瓜查出了原因，那个阶段模型生成的视频前景任务做对了，但背景颜色开始变灰变脏，而VLM裁判压根没有意识到这个问题，照样打高分，导致这个错误被持续放大。规则评分器因为明确检查了背景清洁度这一项，就不会给这种"及格线以下"的输出高分。

这个细节其实挺发人深省的。它说明用一个笼统的、主观的评价标准去指导优化，容易在你意想不到的地方留下漏洞，模型会本能地钻这个空子，因为它只对被测量的东西负责，你没测的地方它就敢糊弄。这就跟考试只考选择题，学生会把精力全放在蒙对选项上，而不去真正理解知识点，是同一个道理。

论文还做了案例分析，直观展示强化学习训练前后模型的"思考过程"发生了什么变化。有一个颜色序列补全任务，训练前的模型在扩散过程的头几步就早早锁定了一个错误答案，之后一直没有改变；而经过强化学习训练后的模型，虽然一开始也判断错了，但在中途（第6步左右）改变了想法，最终收敛到正确答案。这说明强化学习延长了模型的有效"思考时间"，让它能在后续步骤里继续纠错，而不是一条道走到黑。

另一个迷宫导航的例子里，训练前的模型生成的智能体轨迹忽左忽右，前后位置完全不连贯，根本构不成一条合理路线；训练后的模型则能沿着连通的走廊一步步走到目标。这说明强化学习不只是让最终答案更准，也让整个过程的连贯性更好了。

这套研究还带出一个更有意思的现象，叫Chain-of-Steps

*Chain-of-Steps：指扩散模型在逐步去噪生成图像或视频的过程中，会像人类思考一样经历多个候选方案、逐渐收敛到最终答案的现象*

论文把扩散过程的中间状态解码出来观察，发现视频模型和图文交替模型都会在早期去噪步骤里同时探索多条可能的路径，比如迷宫里同时"设想"好几条候选路线的雏形，然后逐渐收敛到最短的那条。这个现象论文称为"多路径探索"，还有一种叫"叠加式探索"，就是模型在中间步骤会让多个可能的视觉状态叠加显现，然后慢慢过滤掉不对的，锁定最终答案。

这个发现挺让人意外的。扩散模型的去噪过程，原本被认为纯粹是从噪声到清晰图像的数学过程，没想到里面藏着这种类似"权衡多个选项、逐步排除"的行为模式。这跟人在做选择题时先划掉几个明显错误的选项，再在剩下的里面反复斟酌，其实颇为相似。

这套体系的迁移能力

所有这些设计的最终目的，是要看这套训练数据教出来的模型，能不能在完全陌生的场景里派上用场。

论文把表现最好的模型拿到七个外部测试集上检验，包括涉及真实世界物体和机器人操作的场景，这些场景跟VBVR-Pro里那些程序生成的抽象图形完全是两码事。结果显示，这个模型在这些陌生测试集上普遍提升了十几到几十个百分点，其中在V-ReasonBench上的形状匹配和类比推理任务提升尤其明显。

论文还担心一件事：这些提升会不会只是因为测试题目恰好跟训练题目长得像，模型只是在"照抄"？他们用CLIP和DINOv2这两种图像特征去检索训练集里跟测试题目最相似的样本，结果发现检索出来的最相似样本，视觉外观依然跟测试题目差别很大。这就说明模型学到的不是具体图案的记忆，而是更抽象的操作概念，比如怎么找规律、怎么排序、怎么操纵物体。

写在后面

读这篇论文的过程中，最让我停下来想了很久的，是那个背景变灰的强化学习失败案例。

这个案例之所以扎心，是因为它揭示了一个容易被忽视的问题：当你用一个不够严格的标准去评判和训练模型时，模型会在你没注意的地方悄悄"偷懒"，而这种偷懒是完全理性的，模型只是在优化你给它设定的目标，它没有做错任何事，错的是评价标准本身留了缝隙。这让我想到教育里一个老话题，如果考试只考记忆力，学生就不会花时间培养理解力，因为那不划算。

另一个让我意外的地方是，图文交替模型在很多任务上追上了视频模型，而且文字部分的贡献远不如图片部分重要。这多少打破了我原来的一个隐含假设：既然语言模型这么强，那么把语言推理和视觉生成结合起来，语言那部分应该是主心骨，视觉只是配角。但实验数据说的是相反的故事，至少在这类空间推理任务里，视觉状态才是那个真正在干活的东西，语言更像是辅助注释。

这可能提示一件更大的事：当我们说"多模态推理"的时候，未必所有模态都在平等地贡献推理，某些任务天生更适合用某种媒介去思考，就像有些数学题用代数解更快，有些用几何图形一眼就能看出来。找到哪种任务该用哪种"思考媒介"，或许才是接下来更值得追问的问题。

Q&A

Q1：VBVR-Pro是什么？

A：VBVR-Pro是一套面向原生视觉推理的研究基础设施，包含300个可程序化生成的视觉推理任务、一套确定性的可验证评分系统，以及支持图像、视频、图文交替三种生成模式的统一训练和测试框架。

Q2：为什么不用大模型当裁判来评判视觉推理任务？

A：因为大模型裁判在处理精细计数、空间关系、时序一致性这类需要精确判断的任务时经常出错，而且同一段视频反复评分会得到不同结果，最高有92.8%的样本分数会变，这样的不稳定反馈没法用来指导训练。

Q3：视频生成和图文交替生成哪个更适合做视觉推理？

A：两者各有优势。视频生成在需要持续追踪状态变化的任务上更强，比如物体旋转和路径规划；图文交替生成在很多熟悉任务上能追平视频模型的表现，而且生成和推理成本更低，性价比更高。