网易首页 > 网易号 > 正文 申请入驻

别卷推理了!当前大模型 STEM 短板在视觉感知,代码才是破局关键

0
分享至

本篇论文已被CVPR2026接收,第一作者官同坤来自上海交通大学人工智能研究院博士生,导师是沈为教授和杨小康教授。

当多模态大语言模型(MLLMs)在面对科学、技术、工程和数学(STEM)领域的视觉推理题时频频「翻车」,一个根本性的问题摆在了所有研究者面前:大模型做不出理科题,究竟是因为「脑子笨」(推理能力受限),还是因为「眼神差」(视觉感知缺陷)?

为了回答这个问题,来自上海交通大学和 Qwen 等研究团队通过将任务分解为两个阶段进行系统性的扩展分析:视觉感知(图像到描述)和推理(仅基于文本描述解决问题)。他们分别扩展感知和推理能力,同时保持其中一个能力不变。结果表明,扩展感知能力始终比扩展推理能力带来更大的性能提升。这一经验证据揭示了一个关键见解:在当前阶段,感知才是限制大模型 STEM 视觉推理的真正瓶颈所在。

基于这一深刻洞见,该团队提出了一种全新的范式——CodePercept(代码驱动的视觉感知),并成功被计算机视觉顶级会议CVPR 2026接收。

  • 开源地址
  • https://github.com/TongkunGuan/Qwen-CodePercept
  • 论文标题:CodePercept: Code-Grounded Visual STEM Perception for MLLMs
  • 论文链接
  • https://arxiv.org/abs/2603.10757

核心洞见:打破自然语言的

「描述性失语」,用代码重塑感知

近年来,随着 RL(强化学习)的爆发,研究者们试图通过复杂奖励机制提升大模型在 STEM 领域的跨模态推理能力。但研究团队将 STEM 视觉推理任务解耦为「感知(图像到描述)」和「推理(仅基于描述进行解答)」两个阶段后发现:扩展感知能力带来的性能提升,始终优于扩展推理能力。

既然「感知」是最大短板,那该如何评估并提升它?

痛点一:自然语言描述存在幻觉以及「描述性失语」

直觉上,用强大的闭源大模型生成图像描述(Caption)进行知识蒸馏是个好办法。但团队指出了自然语言在 STEM 领域的致命缺陷——「描述性失语」。复杂的空间几何关系、精准的数值坐标、多面体中错综复杂的辅助线,根本无法仅凭自然语言来准确、完整地刻画,且极易产生幻觉。

解决方案:面对这一痛点,研究团队提出将可执行的 Python 代码作为强大的视觉感知媒介,并从两个维度进行了范式重构。他们提出代码作为一种强大的媒介,通过两项基于代码的任务显著增强 MLLM 的视觉感知能力:

1)代码驱动的描述生成(Code-Grounded Caption Generation):基于代码的图像描述生成,利用可执行代码作为生成图像描述的真实标签,有效消除 AI 生成的描述错误(图像 + Code -> Caption);

2)STEM 图像到代码转录(STEM Image-to-Code Translation):直接训练模型生成可执行的重建代码,消除自然语言描述固有的歧义(图像 -> Code)。

痛点二:现有评估体系无法剥离「感知」与「推理」

现有的基准测试(如 MathVista、MathVerse 和 MathVision)通过最终任务问题解决准确率来评估 MLLM 的能力,这结合了 STEM 领域的感知理解和推理能力。当模型失败时,我们无法确定失败是源于感知缺陷还是推理能力不足。虽然最近的研究采用了两阶段评估范式(先进行图像描述,再进行 LLM 求解)来分离 MLLM 的感知能力,但该指标仅反映了模型理解问题相关信息的能力,而非全面的视觉感知能力。为了弥补这一不足,我们提出了一种确定性且可验证的范式,该范式要求模型生成能够忠实再现原始图像的可执行 Python 代码。只有通过完整且准确的视觉理解,模型才能成功地、高保真地再现原始图像。

解决方案:面对这一痛点,研究团队认为,要求 MLLM 生成用于图像重建的可执行 Python 代码,能够最严格地验证其感知能力。这一原理简单而强大:只有当模型完全理解视觉信息时,才能实现精确的图像再现。

基于此原理,他们推出了 STEM2Code-Eval:一个包含 1000 张图像的手动标注基准测试,旨在检验模型生成用于图像重建的可执行 Python 代码的能力,从而对视觉感知能力进行确定性和可验证的评估。

数据基石:百万级三元组数据集 ICC-1M

为了让代码成为感知的有效媒介,研究团队构建了ICC-1M 数据集,包含 100 万个高质量的图像-描述-代码(Image-Caption-Code)三元组。该数据集通过三大创新流水线合成:

  • 图像复现(Image Reproduction):将现有 STEM 图像精准转化为可执行的 Python 代码。

  • 图像多样化(Image Diversity):提取种子图像的核心 STEM 原理,并在不同的视觉语境中重新实例化,确保生成极其丰富的新颖图像。

  • 立体几何合成(Solid Geometry Synthesis):专门针对当前多模态大模型在立体几何空间关系上的短板,开发了基于模板的立体几何代码生成流水线。

所有数据均需通过严苛的三阶段统一质量控制(图像质量、代码质量、图码一致性验证),确保训练信号的绝对精准。

训练双引擎:两项「代码驱动」学习任务

基于 ICC-1M 数据集,CodePercept 提出了两项开创性的训练任务,系统性提升感知能力:

1、代码驱动的描述生成(Code-Grounded Caption Generation):将可执行代码视为图像描述的「绝对真理」,利用代码分析中的确凿事实(如坐标、数量)进行重写,彻底消除了传统视觉语言模型固有的数字和几何幻觉。

2、STEM 图像到代码转录(STEM Image-to-Code Translation):直接引导大模型生成包含详细注释的「解释性重建代码」,这不仅消除了自然语言描述的模糊性,还迫使模型深刻理解「观测特征」与「代码片段」之间的内在映射法则。

在训练策略上,团队采用了两阶段学习法:

1、第一阶段:SFT(监督微调,CodePercept-S1)。Code 本质上是一种格式化的 Caption,所以联合优化 Image2Caption 与 Image2Code 任务,使模型建立强大的感知能力;

2、第二阶段:强化学习(CodePercept-R1)。鉴于代码生成的容错率极低,团队引入了 GRPO 强化学习专属优化代码生成。模型不仅需要拿到「格式奖励(语法正确)」,还要通过更严苛的「内容执行奖励」与「图码相似度奖励」,在不断的自我试错中实现能力的指数级跃迁。

硬核评测与惊艳结果

传统评测往往用「解题正确率」来衡量感知,这不仅存在误差,还容易遗漏未考查的视觉细节。为此,研究团队推出了STEM2Code-Eval Benchmark。这是一个包含 1000 张经过人工精校图像的评测基准,它要求模型直接生成 Python 代码来 100% 还原原始图像,提供最确定、最可验证的视觉感知评估底线。

基于 Qwen3-VL 架构的实验结果令人震撼:

  • 解题端(Captioner-Solver)表现:在同样的推理求解器下,CodePercept-8B-S1 竟然超越了比其大得多的开源巨头 Qwen2.5-VL-72B(优势达 6.2%),甚至逼近了 Claude-Opus 4.1-Thinking 和 GPT5-Thinking 等闭源前沿模型的水平。

  • 视觉重构(STEM2Code-Eval)表现:在纯粹考查感知的图像还原任务中,经过强化学习优化的 CodePercept-8B-R1 斩获了 63.56 分的佳绩(较基座提升 3.92 分),全面碾压了 Seed 1.6-Vision 和 Qwen3-VL-Plus 等超大参数规模的旗舰模型。

结语

CodePercept 的出现不仅仅是一个新模型的诞生,它更宣告了多模态大模型在解决复杂科学问题时的一条新航线:只有给大模型装上基于代码逻辑的「火眼金睛」,真正的复杂推理之门才会被彻底叩开。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
女子长相漂亮,还能赊账被杀,2011年排查几百个嫖客,凶手让人意外

女子长相漂亮,还能赊账被杀,2011年排查几百个嫖客,凶手让人意外

汉史趣闻
2026-11-17 09:30:11
杭州市文学学会:已免去赵某一切职务,配合核查

杭州市文学学会:已免去赵某一切职务,配合核查

极目新闻
2026-11-17 21:16:50
张爱萍晚年对秘书坦言:彭德怀坐镇军委时,全军高级将领全部都无条件服从统一指挥,功劳再大资历再老也没例外

张爱萍晚年对秘书坦言:彭德怀坐镇军委时,全军高级将领全部都无条件服从统一指挥,功劳再大资历再老也没例外

磊子讲史
2026-11-12 14:13:18
放弃五大联赛邀约!斯帅空降泰山,第一件事竟是深挖 B 队

放弃五大联赛邀约!斯帅空降泰山,第一件事竟是深挖 B 队

体坛小鹏
2026-11-17 09:40:50
骑士126-115击败公牛!米切尔末节20分,二轮秀立大功,哈登的正负值亮了

骑士126-115击败公牛!米切尔末节20分,二轮秀立大功,哈登的正负值亮了

篮球大视野
2026-11-17 10:51:24
李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

橙色书卷
2026-07-16 21:35:45
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

郭爱华追问教育
2026-11-15 06:10:02
寿命与起夜次数有关?研究发现:寿命长的人,每晚起夜在这个次数

寿命与起夜次数有关?研究发现:寿命长的人,每晚起夜在这个次数

39健康网
2026-11-17 19:00:30
黄仁勋的小三四五全曝光!原来喜欢这种高智力美女背后还有其他故事…

黄仁勋的小三四五全曝光!原来喜欢这种高智力美女背后还有其他故事…

不二表姐
2026-11-16 23:39:41
油价每升6块时每周加一次200元,一月4次。如今,4周加一次200元

油价每升6块时每周加一次200元,一月4次。如今,4周加一次200元

沙雕小琳琳
2026-11-17 06:25:25
曾因一条评论,被认定为缅北电诈网红的李赛高,如今怎么样了?

曾因一条评论,被认定为缅北电诈网红的李赛高,如今怎么样了?

烈史
2026-11-17 06:38:27
上海当年增发养老金280元很多人已经到账,社保仅交16年个账10万,工龄单价为啥这么高?

上海当年增发养老金280元很多人已经到账,社保仅交16年个账10万,工龄单价为啥这么高?

平静话社保
2026-11-17 06:39:13
突发!美国 AI 芯片出口限制新增:新加坡、马来西亚、泰国、印度尼西亚、巴西

突发!美国 AI 芯片出口限制新增:新加坡、马来西亚、泰国、印度尼西亚、巴西

云头条
2026-11-17 00:44:09
为何红军过草地饥饿濒死时,捕获的救命野黄羊宁死也要放生两只?

为何红军过草地饥饿濒死时,捕获的救命野黄羊宁死也要放生两只?

小莜读史
2026-11-17 10:40:32
性生活时长不达标?先看看这条标准

性生活时长不达标?先看看这条标准

精彩分享快乐
2026-11-17 21:00:06
大家期盼已久的2026年退休人员养老金,究竟涨还是不涨?

大家期盼已久的2026年退休人员养老金,究竟涨还是不涨?

江启
2026-11-17 01:20:29
两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

荔子言
2026-11-03 10:32:30
折腾!带队冲超后却遭下课,升班马现离谱操作,明年或是降级大热

折腾!带队冲超后却遭下课,升班马现离谱操作,明年或是降级大热

蜡笔小新爱体育
2026-11-17 17:53:24
2026-11-17 22:24:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142759关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

"钢琴魔女"王羽佳演出迟到17分钟:躲在琴房找感觉

头条要闻

"钢琴魔女"王羽佳演出迟到17分钟:躲在琴房找感觉

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

艺术
手机
本地
家居
公开课

艺术要闻

21层!库迪咖啡全球总部启用,楼下设超级体验店

手机要闻

雷军手持疑小米18亮相!方形Deco抢眼

本地新闻

乌兰察布:以前种土豆,现在种Token

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版