网易首页 > 网易号 > 正文 申请入驻

AGILE:自监督+交互式强化学习助力VLMs感知与推理全面提升

0
分享至

现有视觉语言大模型(VLMs)在多模态感知和推理任务上仍存在明显短板:1. 对图像中的细粒度视觉信息理解有限,视觉感知和推理能力未被充分激发;2. 强化学习虽能带来改进,但缺乏高质量、易扩展的 RL 数据。

AGILE 提出一种全新的自监督学习范式,将「智能体交互」迁移至多模态大模型的强化学习训练中,通过「模型生成动作代码 + 视觉环境反馈」的循环式交互过程,让模型像人一样边观察、边推理、边学习,从而显著提升模型视觉感知与逻辑推理能力。

  • Title:Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models
  • Paper:https://arxiv.org/pdf/2510.01304
  • Project Page:https://yuzeng0-0.github.io/AGILE/
  • Dataset:https://huggingface.co/datasets/YuZeng260/AGILE
  • Code:https://github.com/yuzeng0-0/AGILE
  • 作者单位:中科大、上海 AI Lab、华东师大、港中文

图 1:AGILE 主要工作框架

方法核心:

交互式智能体 + 拼图代理任务

为了克服数据瓶颈与可扩展性问题,研究者们选择「拼图」作为一种高效的兼具感知和推理的代理任务,提出 AGILE。将拼图过程建模为「可控、可验证」的交互式形式:

  • 模型在每一步生成 Python 动作代码(Swap、Observe、Crop、Zoom);
  • 环境执行代码、返回视觉反馈;
  • 模型根据环境反馈继续规划调整拼图,该循环重复至拼图完成。

这一闭环交互形成了「观察–交互–反馈–学习」的智能体训练范式,使 VLMs 能在自监督方式下持续提升感知和推理能力。

AGILE 的完整流程分为两个阶段:

Cold-Start 阶段,使用 Gemini 2.5 Pro 生成 1.6K 条高质量专家拼图交互轨迹,教会模型如何正确生成动作代码与交互逻辑,解决初期模型「不会动手」的问题;

Reinforcement Learning 阶段,在 15.6K 张图像上训练拼图任务,采用 GRPO 算法,通过准确率、格式规范与交互轮数三重奖励信号优化策略。

图 2:模型拼图过程中激发出来的感知和推理行为

实验

研究者们进行了大量实验,验证了 AGILE 的有效性,并得到了多条富有启发意义的结论:

  • 研究者们设计了系统的拼图评估数据集,涵盖不同难度(2×2、3×3)与不同初始正确块数(L0–L7)。模型性能以两种指标衡量:Acc,所有块完全放对的比例;Score,正确拼块数占总拼块数的比例。在最简单的 2×2 任务中,AGILE 使准确率从 9.5% 提升至 82.8%,比 Gemini 2.5 Pro 高出 36.4 个百分点。在更具挑战性的 3×3 拼图中,也从 0.4% 提升至 20.8%,标志着模型感知和推理能力大幅跃升。

表 1:拼图 Acc 结果。LN 表示难度级别,N 表示初始正确拼图块数。N 值越小,拼图越乱,难度越高。最佳结果以粗体显示,次佳结果以下划线显示。

  • 通用能力即泛化性评测:经过拼图训练,模型在 9 项通用视觉任务中(涵盖真实世界场景、高分辨率场景、细粒度感知、幻觉和多模态推理)平均提升 3.1%,展现出强大的泛化能力。进一步验证了拼图任务作为代理任务对于通用视觉能力的泛化价值。

表 2:不同模型在 9 个基准测试上的性能比较。缩写:MME-RW (MME-RealWorld-Lite)、RWQA (RealWorldQA)、HRB4K (HRBench4K)、HRB8K (HRBench8K)、HalBench (HallusionBench)、MMMU (MMMU VAL),Avg. 表示所有 9 个基准测试的平均性能。∆ 表示强化学习相对于基础模型 Qwen2.5-VL-7B 获得的相对性能提升。最佳结果以粗体突出显示,次佳结果以下划线标出。

  • Scaling 实验:数据规模带来的持续增益。研究者们进一步探究了拼图数据规模对性能的影响。当训练数据从 0 扩展至 16K 时:拼图任务准确率从 22.0% → 82.8%;HRBench4K 准确率提升 +2.0%;RealWorldQA 提升 +1.8%。表明 AGILE 的训练在数据量扩增下持续有效。由于拼图环境可自动生成,AGILE 的数据扩展几乎零成本、无限扩容,为多模态 RL 提供了可持续的自监督范式。

图 3:(左图)训练数据规模的影响。左侧 y 轴表示 HRBench4K 和 RealWorldQA 的准确率,右侧 y 轴表示拼图任务的准确率。(右图)与常规 QA 数据的比较,在两种实验设置中,样本总数始终保持在 20K。

  • 与常规 QA 数据的对比实验:研究者们替换 20K 常规 QA 数据中的其中 10K 为拼图数据,发现模型可以表现出更好的性能。这说明拼图任务提供了更强的结构感知与监督信号。这一发现凸显了拼图任务在缓解多模态强化学习数据稀缺方面的潜力,并为推进多模态模型开发开辟了一个充满前景的新方向。

意义与未来

AGILE = 交互式拼图代理 + 自监督 RL,在无需额外人工标注的前提下,持续提升 VLMs 的感知与推理能力。它证明了「交互式拼图代理任务」作为突破数据瓶颈、强化 VLMs 的可行性和自监督强化学习范式的潜力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
出租车司机遇害,凶手翻供称“作案时被害人未死亡”,检察官锁定一个细节:死亡勃起

出租车司机遇害,凶手翻供称“作案时被害人未死亡”,检察官锁定一个细节:死亡勃起

方圆
2026-11-09 09:56:31
U19国足梦幻开局!9分钟连入2球,苗润东5分钟闪击+1V3造点

U19国足梦幻开局!9分钟连入2球,苗润东5分钟闪击+1V3造点

奥拜尔
2026-11-17 19:51:04
震惊!网传浙江一新员工父亲联系HR提多项要求:愿每月自掏5000给女儿加薪,请假外出需向他报备

震惊!网传浙江一新员工父亲联系HR提多项要求:愿每月自掏5000给女儿加薪,请假外出需向他报备

火山詩话
2026-11-16 16:02:11
为什么APEC峰会不去北京,非要选在深圳,难道因为楼高?

为什么APEC峰会不去北京,非要选在深圳,难道因为楼高?

坠入二次元的海洋
2026-11-17 12:06:40
马斯克确认将前往中国

马斯克确认将前往中国

政知新媒体
2026-11-17 16:01:50
外媒:深圳何以成为“奇迹之城”?

外媒:深圳何以成为“奇迹之城”?

中国青年报
2026-11-17 12:48:18
传海康威视将实行965,公司回应:暂未接到通知

传海康威视将实行965,公司回应:暂未接到通知

蓝鲨财经社
2026-11-17 16:57:54
男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

男子被熟人骗至缅甸电诈园区,姐姐赴泰国营救

网易新闻出品
2026-11-16 18:25:30
官宣!肇俊哲出任主教练!

官宣!肇俊哲出任主教练!

五星体育
2026-11-17 16:54:10
比普京特朗普先到深圳的,是两架军用大飞机,信号不一般

比普京特朗普先到深圳的,是两架军用大飞机,信号不一般

赵探长TALK
2026-11-17 11:02:02
年轻人不性交了?三联可能回避了真问题

年轻人不性交了?三联可能回避了真问题

熊太行
2026-11-17 12:47:34
中俄美元首历史性首次会晤在即,三国权威学者谈大国关系新契机

中俄美元首历史性首次会晤在即,三国权威学者谈大国关系新契机

澎湃新闻
2026-11-17 08:59:05
房东通知我,房租从2200涨到3000,我不租了,结果房东的女儿加我微信说:“3000确实是我爸定的价格,不过,咱们可以私下商量。”

房东通知我,房租从2200涨到3000,我不租了,结果房东的女儿加我微信说:“3000确实是我爸定的价格,不过,咱们可以私下商量。”

可读
2026-11-17 15:00:05
“最快女护士”张水华称现在跑步就像上班,不上夜班后压力少了,睡眠也好一些;本周末,她将挑战黄石马拉松,女子第一名奖金为10000元

“最快女护士”张水华称现在跑步就像上班,不上夜班后压力少了,睡眠也好一些;本周末,她将挑战黄石马拉松,女子第一名奖金为10000元

南方都市报
2026-11-17 19:07:01
特朗普:我认为黄仁勋案没有涉及“间谍”

特朗普:我认为黄仁勋案没有涉及“间谍”

看看新闻Knews
2026-11-17 09:34:14
创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

创业最怕自我感动,夫妻俩投资350万开三百平餐厅,不到一年半就关门大吉。光灯光就花了三十万,一个碟子一百块。

捣蛋窝
2026-11-17 17:50:23
国足vs巴林:张玉宁替补,王钰栋、拜合拉木、杨明洋首发

国足vs巴林:张玉宁替补,王钰栋、拜合拉木、杨明洋首发

懂球帝
2026-11-17 18:46:05
再这么搞下去,中国烟草员工的内退潮或将无可避免

再这么搞下去,中国烟草员工的内退潮或将无可避免

别人都叫我阿腈
2026-11-17 04:40:56
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
2026-11-17 20:48:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14497文章数 142759关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

本地
健康
手机
艺术
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

花粉狂喜!华为星芒阔直板即将发布,国补后有望5000以内拿下

艺术要闻

21层!库迪咖啡全球总部启用,楼下设超级体验店

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版