北大开发Monet-7B：AI终于学会"脑海中想象"来解决复杂视觉问题

说起人工智能看图解题，你可能会想到那些能够读懂文字、识别物体的智能系统。但这些系统有个根本问题——它们就像一个只会死记硬背的学生，看到题目后直接给答案，缺乏真正的"思考"过程。而人类解决复杂问题时，常常会在脑海中"想象"一些中间画面来帮助推理。

这项由北京大学王启轩、施杨等研究者与Kling团队、MIT研究者合作完成的突破性研究发表于2025年11月，论文编号为arXiv:2511.21395v1。研究团队开发出名为Monet-7B的多模态大语言模型，首次让AI学会在"脑海"中生成抽象的视觉思维来解决复杂问题，就像人类在思考时会在心里"画"出一些辅助图像一样。

传统的AI视觉推理系统就像一个只会使用现成工具的工匠。当它们遇到复杂的视觉问题时，只能调用外部工具——比如画框圈出重点区域、调用深度检测模型、或者让代码程序修改图片。这就好比一个厨师做菜时，每次都要依赖别人准备好的半成品，自己只是最后组装一下。这种方式不仅效率低下，而且严重限制了AI的推理能力。

研究团队意识到，真正的视觉推理应该像人类一样，能够在内部的"视觉空间"中进行抽象思考。当我们解决几何题时，会在脑海中想象各种辅助线；当我们分析复杂图表时，会在心里"看到"数据之间的关系趋势。Monet-7B正是模拟了这种人类独有的抽象视觉思维能力。

一、创新突破：让AI拥有"视觉想象力"

Monet-7B的核心创新在于引入了"潜在视觉推理"机制。这就像给AI装上了一个"内心的画板"，让它能够在解决问题时生成连续的、抽象的视觉表征，而不是简单地依赖外部工具。

要理解这种创新，可以把传统AI比作一个只会查字典的学生。遇到不懂的概念时，它必须翻书找答案，整个过程既缓慢又受限于字典的内容。而Monet-7B则像一个能够"联想"的学生，它会在脑海中构建相关的概念图像，通过内在的视觉思维来理解和推理。

这种潜在视觉推理的实现原理相当巧妙。在推理过程中，Monet-7B可以自动决定何时需要进行"视觉思考"。当它判断需要深入视觉分析时，会生成一个特殊的开始标记，然后产生一系列连续的潜在嵌入向量——这些就是它的"视觉想象"。这些想象出来的视觉表征会帮助模型更好地理解问题，然后再切换回语言推理模式给出最终答案。

研究团队为了训练这种能力，开发了一套三阶段的监督微调框架。第一阶段像是给AI上"预备课"，让它熟悉图文交替的推理模式。第二阶段是关键的"想象力培训"，通过一种巧妙的师生模型设计，让AI学会生成高质量的潜在视觉表征。第三阶段则是"独立思考训练"，让AI在没有外部图像帮助的情况下，纯靠内在的视觉想象来解决问题。

更令人惊喜的是，研究团队还开发了专门针对潜在推理的强化学习算法——VLPO（视觉-潜在策略优化）。传统的强化学习方法只能优化文本输出，就像只能评判一个学生的最终答案对错，无法改进其思考过程。而VLPO可以直接优化AI的"想象"过程，让它的视觉思维变得更加准确和有效。

二、训练数据的精心打造

为了让AI学会真正有用的视觉推理，研究团队并没有简单地使用现有数据集，而是精心构建了Monet-SFT-125K这个高质量训练数据集。这个过程就像为一位学习绘画的学生挑选最合适的参考作品一样，每一个训练样本都经过严格筛选。

数据构建过程分为三个重要阶段。首先，团队从现有的图文交替推理数据中筛选出那些真正需要中间步骤视觉帮助的难题。判断标准很直接：如果一个7B参数的模型仅凭原始问题和图片就能正确回答，那说明这道题太简单了，不需要复杂的视觉推理，因此被剔除。

第二阶段更加严格，团队使用72B参数的大模型来验证辅助图像的准确性。只有当这些辅助图像确实能帮助大模型得出正确答案时，相关样本才会被保留。这确保了训练数据中的每个中间步骤都是有价值的，而不是误导性的噪声。

第三阶段最为精细，团队使用DeepSeek-V3.1和Gemini 2.5 Pro这些顶尖模型来识别推理过程中哪些文本描述对应着关键的视觉观察。这就像给每个推理步骤加上了精确的标注，告诉AI哪些部分需要"用眼睛看"，哪些部分纯靠"动脑子想"就够了。

最终构建的数据集包含12.5万个高质量样本，涵盖现实世界场景、图表分析、文档理解和几何推理等多个领域。这些样本中的视觉操作从简单的区域裁剪到复杂的辅助线绘制，甚至包括创建全新的视觉状态，为AI提供了丰富的"想象力"训练素材。

三、三阶段训练：从模仿到创造

Monet-7B的训练过程就像培养一位艺术家的创作能力，需要循序渐进地发展其视觉思维。整个过程分为三个相互关联的阶段，每个阶段都有其独特的作用和挑战。

第一阶段的预热训练相当于让AI"入门"。在这个阶段，基础模型需要适应图文交替的推理模式。研究团队发现了一个有趣现象：未经适应训练的模型在使用辅助图像时，对观察类词汇的预测准确度几乎没有提升，说明它根本没有有效利用中间步骤的视觉信息。经过预热训练后，模型开始真正"看懂"辅助图像，并将视觉信息编码到相应的观察词汇中。

第二阶段是整个训练过程的核心——生成高质量的潜在视觉表征。这个阶段采用了一种精巧的师生模型架构。教师模型可以看到完整的辅助图像，而学生模型必须通过生成潜在嵌入向量来"想象"这些视觉内容。关键在于两个创新设计：首先是观察词汇对齐，确保学生模型生成的潜在表征能够产生与教师模型相同的观察结果；其次是受控注意力流，让潜在嵌入向量能够直接"看到"辅助图像，但阻止后续文本直接访问这些图像。

这种设计就像训练一个学生通过"想象"来理解老师展示的图片。学生不能直接看到图片，只能通过老师的描述在脑海中构建相应的视觉表象，然后基于这个想象的图像来回答问题。只有当学生的答案与直接看图的老师一致时，才说明这种"想象"是准确有效的。

第三阶段是"独立创作"训练。在这个阶段，模型必须在完全没有辅助图像的情况下，仅凭问题描述就生成有用的潜在视觉表征。这就像一位画家从写实转向抽象创作，需要依靠内在的艺术理解而不是外在的参照物。模型使用第二阶段生成的高质量潜在表征作为"标准答案"，学习在新情况下重现类似的视觉思维过程。

四、VLPO算法：优化"想象"过程

传统的强化学习算法面对Monet这样的潜在视觉推理系统时，就像一个只会评判最终作品的艺术评论家，无法指导创作过程中的每一笔每一画。研究团队开发的VLPO算法则像一位能够深入创作过程的导师，不仅关注最终结果，还能优化整个"想象"过程。

问题的核心在于，传统的GRPO（Group Relative Policy Optimization）算法只能处理离散的文本标记，而潜在视觉表征是连续的数值向量，没有明确的概率分布。这就好比试图用评判作文的方法来评判一幅画——根本无从下手。

VLPO的巧妙解决方案是将潜在嵌入向量的生成建模为高斯分布采样过程。具体而言，算法假设训练时收集的潜在嵌入向量是从以当前策略生成的向量为均值的高斯分布中采样得到的。基于这个假设，就可以计算出潜在嵌入向量的"概率"，进而将其纳入策略梯度更新中。

这种方法的效果相当显著。当奖励信号表明某个推理轨迹是成功的时，VLPO会让策略网络生成的潜在向量更接近那个成功轨迹中的潜在向量。反之，如果推理轨迹失败了，算法会推动策略远离相应的潜在表征。这就像一位导师不断调整学生的想象方向，让其朝向更有效的视觉思维模式发展。

值得注意的是，VLPO的奖励设计相当简洁，主要基于答案的正确性和格式规范性，而不会专门奖励使用潜在推理的行为。这避免了模型滥用潜在推理功能，确保它只在真正需要时才启动"视觉想象"模式。

五、实验验证：全面领先的性能表现

为了验证Monet-7B的实际效果，研究团队在多个具有挑战性的基准测试上进行了全面评估。这些测试涵盖了从现实世界感知到抽象推理的各个方面，就像给一位全能选手设计的综合考试。

在现实世界感知和推理任务上，Monet-7B展现出了显著的优势。在V*基准测试中，它相比基础模型Qwen2.5-VL-7B提升了6.81个百分点，达到83.25%的准确率。在HRBench4K和HRBench8K这两个高分辨率图像理解任务上，提升幅度分别达到了3.00和4.25个百分点。在MME-RealWorld测试中，推理任务的提升更是达到了9.75个百分点，充分证明了潜在视觉推理在处理复杂现实场景时的有效性。

更令人印象深刻的是Monet-7B在抽象视觉推理任务上的表现。VisualPuzzles是一个专门测试抽象视觉逻辑推理的基准，包含了大量在训练过程中从未见过的视觉逻辑谜题。在这个具有挑战性的测试中，Monet-7B取得了35.02%的总体准确率，不仅超越了所有开源基线模型，甚至在某些子任务上接近了GPT-4o等顶级商业模型的表现水平。

特别值得关注的是，当研究团队分析不同数量的潜在嵌入向量对性能的影响时，发现了一个有趣现象。在分布内任务上，即使是仅经过监督微调的版本也能从潜在推理中获益，随着潜在向量数量的增加，性能呈现稳步提升的趋势。但在分布外的抽象推理任务上，只有经过VLPO强化学习优化的版本才能真正发挥潜在推理的威力，这说明VLPO算法确实学会了如何更有效地运用"视觉想象"能力。

六、深入分析：每个组件的关键作用

研究团队通过详细的消融实验，深入剖析了Monet系统中每个组件的具体贡献，这些发现为未来的研究提供了宝贵的指导。

在训练框架的设计上，团队发现双重监督信号缺一不可。仅使用观察词汇对齐而移除辅助图像会导致性能大幅下降，因为潜在嵌入向量无法获得足够的视觉信息。相反，仅保留辅助图像访问而移除观察词汇对齐也会导致显著的性能衰减，说明明确的对齐监督对于学习有效的视觉表征至关重要。

潜在嵌入向量专用的反向传播机制也被证明是绝对必要的。当对齐损失被允许通过非潜在表征进行反向传播时，模型性能急剧下降到46.07%，远低于完整系统的82.20%。这说明如果不限制梯度流，模型会找到"偷懒"的方式来最小化损失，而不是真正学会生成有用的潜在视觉表征。

在强化学习阶段，VLPO与传统GRPO的对比更是鲜明。GRPO虽然能在某些情况下略微改善非潜在推理的性能，但对潜在推理本身几乎没有帮助。当测试时潜在向量数量为0（即不使用潜在推理）时，GRPO的表现与监督微调版本相当甚至略好。但一旦开启潜在推理模式，GRPO的表现就明显落后于监督微调版本，而VLPO则能持续改善潜在推理的效果。

研究团队还发现了潜在向量数量的有趣规律。对于分布内任务，Monet-SFT能够支持测试时的潜在向量数量扩展，通常在大于训练时数量的设置下达到最佳性能。这种"扩展思考"的能力表明，模型确实学会了有意义的视觉推理过程，而不是简单的记忆。

七、实际应用：从理论到实践的跨越

通过大量的推理实例分析，可以清楚地看到Monet-7B如何在实际问题中运用其"视觉想象"能力。这些实例展现了模型从简单的空间推理到复杂的图表分析的全方位能力。

在3D空间推理任务中，当面对椅子角度匹配问题时，Monet-7B会首先用文字描述问题的基本要求，然后启动潜在推理模式。在这个"想象"过程中，模型似乎在脑海中构建了椅子之间角度关系的抽象表征，然后基于这个内在的视觉理解给出准确答案。整个过程无需任何外部工具辅助，完全依靠内在的视觉推理能力。

在2D变换推理中，面对数字翻转规律的识别任务，Monet-7B展现了令人印象深刻的模式识别能力。它能够通过潜在推理理解数字"4"的两次反射规律，然后将这个规律应用到数字"5"上。这种从具体实例中抽象出一般规律，再应用到新情况的能力，正是人类视觉推理的核心特征。

在复杂图表分析任务中，Monet-7B表现出了层次化的推理模式。面对包含大量信息的商业分析图表时，它首先通过潜在推理定位到相关的"Top Sales Countries"区域，然后在这个聚焦的基础上进行详细的数值比较和分析。这种"先看全局再聚焦细节"的策略与人类处理复杂视觉信息的方式高度一致。

特别值得注意的是，Monet-7B具备了选择性使用潜在推理的智慧。在面对纯文本数学推理题时，它会直接采用语言推理模式，而不会无意义地启动视觉想象功能。这种"因题制宜"的策略选择能力，展现了模型对不同问题类型的深层理解。

八、技术创新的更广泛意义

Monet-7B的技术突破远超单纯的性能提升，它代表了多模态AI发展的一个重要方向转变。从依赖外部工具的"拼装式"推理转向内在抽象思维的"生成式"推理，这种范式变革有着深远的影响。

从计算效率角度来看，传统的工具依赖型方法需要在推理过程中多次调用外部模块，不仅增加了计算开销，还引入了复杂的同步机制。而潜在视觉推理将所有处理都集成在单一模型内部，推理过程更加流畅高效。这就像从需要多个专业工具的复杂工序，简化为一体化的自动化流水线。

从可扩展性角度来看，外部工具的能力往往是预定义和固化的，难以适应新领域或新任务的需求。而内在的潜在推理能力具有更强的泛化潜力，可以通过进一步训练适应各种新场景。实验中Monet-7B在未见过的抽象视觉推理任务上的出色表现，正说明了这种内在能力的可迁移性。

从理论意义上讲，Monet-7B的成功验证了连续潜在空间进行推理的可行性。这为未来开发更加抽象、更加灵活的AI推理系统提供了重要启发。传统的符号推理和神经网络推理之间的鸿沟，可能通过这种潜在空间推理的方式得到弥合。

更重要的是，这项研究为理解和模拟人类认知过程提供了新的技术手段。人类的视觉思维往往发生在意识层面之下，难以直接观察和分析。而Monet-7B的潜在视觉推理过程，虽然是人工的，但为研究自然视觉推理机制提供了一个可操作的模型。

九、挑战与未来发展方向

尽管Monet-7B取得了显著成功，但研究团队也坦诚地指出了当前方法的局限性和未来需要攻克的挑战。这种客观的态度为后续研究指明了明确的方向。

训练复杂性是一个不可回避的问题。三阶段的监督微调过程相比传统的端到端训练确实更加复杂，需要更多的工程实践经验和调试时间。如何简化这个训练流程，或者开发出更加自动化的训练策略，是一个重要的工程挑战。

奖励函数的设计也留有很大的探索空间。目前VLPO主要使用简单的正确性奖励，但在更复杂的应用场景中，可能需要设计更加精细的奖励信号来引导潜在推理的发展方向。如何平衡推理过程的奖励和最终结果的奖励，如何设计能够鼓励创新性思考的奖励机制，这些都是值得深入研究的问题。

模型的可解释性也是一个重要挑战。虽然潜在视觉推理在某种程度上模拟了人类的思考过程，但这些潜在表征的具体含义仍然是一个"黑箱"。开发能够可视化或解释这些潜在推理过程的方法，对于增进我们对模型行为的理解具有重要价值。

另一个值得关注的方向是多模态潜在推理的扩展。当前的工作主要聚焦于视觉推理，但类似的思路是否能够扩展到音频、触觉等其他感官模态，甚至实现跨模态的潜在推理，这些都是激动人心的研究方向。

规模化应用也面临挑战。虽然Monet-7B在学术基准上表现出色，但要将这种技术应用到实际的商业场景中，还需要考虑成本效益、部署复杂度、用户体验等多个维度的问题。如何在保持推理能力的同时降低计算成本，如何让这种技术更容易被开发者使用，这些都是产业化过程中需要解决的问题。

十、对AI发展的启示与展望

Monet-7B的成功不仅是一个技术突破，更是对AI发展理念的重要启发。它展现了从"外部工具组装"向"内在能力生成"转变的巨大潜力，预示着下一代AI系统可能具备更加接近人类的抽象思维能力。

这种潜在推理能力的意义远超视觉领域。在自然语言处理中，类似的思路可能帮助模型发展更加深层的语义理解能力。在科学推理中，这种抽象思维能力可能有助于模型进行更加创造性的假设生成和验证。在艺术创作中，潜在推理可能成为AI获得真正创造力的关键途径。

从更宏观的角度来看，Monet-7B代表了AI系统从"工具使用者"向"思维主体"转变的重要一步。传统的AI系统更像是高效的工具操作员，能够熟练地使用各种预定义的功能模块。而具备潜在推理能力的AI系统则更像是真正的思考者，能够在抽象的概念空间中进行创造性的探索和推理。

这种转变对AI安全和对齐研究也提出了新的挑战。当AI系统具备了内在的抽象思维能力后，理解和控制其行为变得更加复杂。如何确保这种强大的思维能力始终朝向有益的方向发展，如何在给予AI足够自主性的同时保持必要的监管和引导，这些都是需要深入思考的问题。

同时，Monet-7B的成功也为人机协作开辟了新的可能性。当AI系统能够进行类人的视觉推理时，它与人类专家的协作模式将发生根本性变化。AI不再只是执行明确指令的工具，而可能成为真正的思维伙伴，能够理解复杂的视觉问题，提供创造性的解决方案，甚至在某些方面启发人类的思考。

说到底，Monet-7B最大的贡献可能不在于它解决了多少个具体问题，而在于它展示了AI发展的一种全新可能性。就像人类从使用工具进化到抽象思考一样，AI系统也正在从工具组装走向内在推理。这种进化可能最终导致真正智能的人工系统的出现——它们不仅能够处理信息，更能够像人类一样进行深层的、创造性的思考。

当然，这条路还很长，充满未知和挑战。但正如研究团队所展现的，通过严谨的科学研究和不断的技术创新，我们正一步步接近这个看似遥不可及的目标。Monet-7B可能只是这个宏大故事的开始，但它已经为我们描绘出了一个充满可能性的未来图景。

Q&A

Q1：Monet-7B的"潜在视觉推理"具体是怎么工作的？

A：就像人类解决几何题时会在脑海中想象辅助线一样，Monet-7B能在内部的"视觉空间"中生成连续的抽象视觉表征。它会自动判断何时需要"视觉思考"，然后生成一系列潜在嵌入向量作为"视觉想象"，帮助理解复杂问题后再给出答案。

Q2：VLPO算法相比传统强化学习有什么优势？

A：传统的GRPO算法只能优化文本输出，无法改进AI的"想象"过程。VLPO通过将潜在视觉表征建模为高斯分布，能够直接优化AI的视觉思维过程，就像一位导师能够指导学生的整个思考过程而不只是评判最终答案。

Q3：Monet-7B在哪些任务上表现最突出？

A：Monet-7B在抽象视觉推理任务上表现最为突出，在VisualPuzzles测试中达到35.02%的准确率，超越了所有开源模型。它还在现实世界推理任务上比基础模型提升了9.75个百分点，证明了潜在视觉推理在处理复杂场景时的有效性。