别卷推理了！当前大模型 STEM 短板在视觉感知，代码才是破局关键

本篇论文已被CVPR2026接收，第一作者官同坤来自上海交通大学人工智能研究院博士生，导师是沈为教授和杨小康教授。

当多模态大语言模型（MLLMs）在面对科学、技术、工程和数学（STEM）领域的视觉推理题时频频「翻车」，一个根本性的问题摆在了所有研究者面前：大模型做不出理科题，究竟是因为「脑子笨」（推理能力受限），还是因为「眼神差」（视觉感知缺陷）？

为了回答这个问题，来自上海交通大学和 Qwen 等研究团队通过将任务分解为两个阶段进行系统性的扩展分析：视觉感知（图像到描述）和推理（仅基于文本描述解决问题）。他们分别扩展感知和推理能力，同时保持其中一个能力不变。结果表明，扩展感知能力始终比扩展推理能力带来更大的性能提升。这一经验证据揭示了一个关键见解：在当前阶段，感知才是限制大模型 STEM 视觉推理的真正瓶颈所在。

基于这一深刻洞见，该团队提出了一种全新的范式——CodePercept（代码驱动的视觉感知），并成功被计算机视觉顶级会议CVPR 2026接收。

• 开源地址
• https://github.com/TongkunGuan/Qwen-CodePercept
• 论文标题：CodePercept: Code-Grounded Visual STEM Perception for MLLMs
• 论文链接
• https://arxiv.org/abs/2603.10757

核心洞见：打破自然语言的

「描述性失语」，用代码重塑感知

近年来，随着 RL（强化学习）的爆发，研究者们试图通过复杂奖励机制提升大模型在 STEM 领域的跨模态推理能力。但研究团队将 STEM 视觉推理任务解耦为「感知（图像到描述）」和「推理（仅基于描述进行解答）」两个阶段后发现：扩展感知能力带来的性能提升，始终优于扩展推理能力。

既然「感知」是最大短板，那该如何评估并提升它？

痛点一：自然语言描述存在幻觉以及「描述性失语」

直觉上，用强大的闭源大模型生成图像描述（Caption）进行知识蒸馏是个好办法。但团队指出了自然语言在 STEM 领域的致命缺陷——「描述性失语」。复杂的空间几何关系、精准的数值坐标、多面体中错综复杂的辅助线，根本无法仅凭自然语言来准确、完整地刻画，且极易产生幻觉。

解决方案：面对这一痛点，研究团队提出将可执行的 Python 代码作为强大的视觉感知媒介，并从两个维度进行了范式重构。他们提出代码作为一种强大的媒介，通过两项基于代码的任务显著增强 MLLM 的视觉感知能力：

1）代码驱动的描述生成（Code-Grounded Caption Generation）：基于代码的图像描述生成，利用可执行代码作为生成图像描述的真实标签，有效消除 AI 生成的描述错误（图像 + Code -> Caption）；

2）STEM 图像到代码转录（STEM Image-to-Code Translation）：直接训练模型生成可执行的重建代码，消除自然语言描述固有的歧义（图像 -> Code）。

痛点二：现有评估体系无法剥离「感知」与「推理」

现有的基准测试（如 MathVista、MathVerse 和 MathVision）通过最终任务问题解决准确率来评估 MLLM 的能力，这结合了 STEM 领域的感知理解和推理能力。当模型失败时，我们无法确定失败是源于感知缺陷还是推理能力不足。虽然最近的研究采用了两阶段评估范式（先进行图像描述，再进行 LLM 求解）来分离 MLLM 的感知能力，但该指标仅反映了模型理解问题相关信息的能力，而非全面的视觉感知能力。为了弥补这一不足，我们提出了一种确定性且可验证的范式，该范式要求模型生成能够忠实再现原始图像的可执行 Python 代码。只有通过完整且准确的视觉理解，模型才能成功地、高保真地再现原始图像。

解决方案：面对这一痛点，研究团队认为，要求 MLLM 生成用于图像重建的可执行 Python 代码，能够最严格地验证其感知能力。这一原理简单而强大：只有当模型完全理解视觉信息时，才能实现精确的图像再现。

基于此原理，他们推出了 STEM2Code-Eval：一个包含 1000 张图像的手动标注基准测试，旨在检验模型生成用于图像重建的可执行 Python 代码的能力，从而对视觉感知能力进行确定性和可验证的评估。

数据基石：百万级三元组数据集 ICC-1M

为了让代码成为感知的有效媒介，研究团队构建了ICC-1M 数据集，包含 100 万个高质量的图像-描述-代码（Image-Caption-Code）三元组。该数据集通过三大创新流水线合成：

• 图像复现（Image Reproduction）：将现有 STEM 图像精准转化为可执行的 Python 代码。

• 图像多样化（Image Diversity）：提取种子图像的核心 STEM 原理，并在不同的视觉语境中重新实例化，确保生成极其丰富的新颖图像。

• 立体几何合成（Solid Geometry Synthesis）：专门针对当前多模态大模型在立体几何空间关系上的短板，开发了基于模板的立体几何代码生成流水线。

所有数据均需通过严苛的三阶段统一质量控制（图像质量、代码质量、图码一致性验证），确保训练信号的绝对精准。

训练双引擎：两项「代码驱动」学习任务

基于 ICC-1M 数据集，CodePercept 提出了两项开创性的训练任务，系统性提升感知能力：

1、代码驱动的描述生成（Code-Grounded Caption Generation）：将可执行代码视为图像描述的「绝对真理」，利用代码分析中的确凿事实（如坐标、数量）进行重写，彻底消除了传统视觉语言模型固有的数字和几何幻觉。

2、STEM 图像到代码转录（STEM Image-to-Code Translation）：直接引导大模型生成包含详细注释的「解释性重建代码」，这不仅消除了自然语言描述的模糊性，还迫使模型深刻理解「观测特征」与「代码片段」之间的内在映射法则。

在训练策略上，团队采用了两阶段学习法：

1、第一阶段：SFT（监督微调，CodePercept-S1）。Code 本质上是一种格式化的 Caption，所以联合优化 Image2Caption 与 Image2Code 任务，使模型建立强大的感知能力；

2、第二阶段：强化学习（CodePercept-R1）。鉴于代码生成的容错率极低，团队引入了 GRPO 强化学习专属优化代码生成。模型不仅需要拿到「格式奖励（语法正确）」，还要通过更严苛的「内容执行奖励」与「图码相似度奖励」，在不断的自我试错中实现能力的指数级跃迁。

硬核评测与惊艳结果

传统评测往往用「解题正确率」来衡量感知，这不仅存在误差，还容易遗漏未考查的视觉细节。为此，研究团队推出了STEM2Code-Eval Benchmark。这是一个包含 1000 张经过人工精校图像的评测基准，它要求模型直接生成 Python 代码来 100% 还原原始图像，提供最确定、最可验证的视觉感知评估底线。

基于 Qwen3-VL 架构的实验结果令人震撼：

• 解题端（Captioner-Solver）表现：在同样的推理求解器下，CodePercept-8B-S1 竟然超越了比其大得多的开源巨头 Qwen2.5-VL-72B（优势达 6.2%），甚至逼近了 Claude-Opus 4.1-Thinking 和 GPT5-Thinking 等闭源前沿模型的水平。

• 视觉重构（STEM2Code-Eval）表现：在纯粹考查感知的图像还原任务中，经过强化学习优化的 CodePercept-8B-R1 斩获了 63.56 分的佳绩（较基座提升 3.92 分），全面碾压了 Seed 1.6-Vision 和 Qwen3-VL-Plus 等超大参数规模的旗舰模型。

结语

CodePercept 的出现不仅仅是一个新模型的诞生，它更宣告了多模态大模型在解决复杂科学问题时的一条新航线：只有给大模型装上基于代码逻辑的「火眼金睛」，真正的复杂推理之门才会被彻底叩开。