网易首页 > 网易号 > 正文 申请入驻

AGILE:自监督+交互式强化学习助力VLMs感知与推理全面提升

0
分享至

现有视觉语言大模型(VLMs)在多模态感知和推理任务上仍存在明显短板:1. 对图像中的细粒度视觉信息理解有限,视觉感知和推理能力未被充分激发;2. 强化学习虽能带来改进,但缺乏高质量、易扩展的 RL 数据。

AGILE 提出一种全新的自监督学习范式,将「智能体交互」迁移至多模态大模型的强化学习训练中,通过「模型生成动作代码 + 视觉环境反馈」的循环式交互过程,让模型像人一样边观察、边推理、边学习,从而显著提升模型视觉感知与逻辑推理能力。

  • Title:Agentic Jigsaw Interaction Learning for Enhancing Visual Perception and Reasoning in Vision-Language Models
  • Paper:https://arxiv.org/pdf/2510.01304
  • Project Page:https://yuzeng0-0.github.io/AGILE/
  • Dataset:https://huggingface.co/datasets/YuZeng260/AGILE
  • Code:https://github.com/yuzeng0-0/AGILE
  • 作者单位:中科大、上海 AI Lab、华东师大、港中文

图 1:AGILE 主要工作框架

方法核心:

交互式智能体 + 拼图代理任务

为了克服数据瓶颈与可扩展性问题,研究者们选择「拼图」作为一种高效的兼具感知和推理的代理任务,提出 AGILE。将拼图过程建模为「可控、可验证」的交互式形式:

  • 模型在每一步生成 Python 动作代码(Swap、Observe、Crop、Zoom);
  • 环境执行代码、返回视觉反馈;
  • 模型根据环境反馈继续规划调整拼图,该循环重复至拼图完成。

这一闭环交互形成了「观察–交互–反馈–学习」的智能体训练范式,使 VLMs 能在自监督方式下持续提升感知和推理能力。

AGILE 的完整流程分为两个阶段:

Cold-Start 阶段,使用 Gemini 2.5 Pro 生成 1.6K 条高质量专家拼图交互轨迹,教会模型如何正确生成动作代码与交互逻辑,解决初期模型「不会动手」的问题;

Reinforcement Learning 阶段,在 15.6K 张图像上训练拼图任务,采用 GRPO 算法,通过准确率、格式规范与交互轮数三重奖励信号优化策略。

图 2:模型拼图过程中激发出来的感知和推理行为

实验

研究者们进行了大量实验,验证了 AGILE 的有效性,并得到了多条富有启发意义的结论:

  • 研究者们设计了系统的拼图评估数据集,涵盖不同难度(2×2、3×3)与不同初始正确块数(L0–L7)。模型性能以两种指标衡量:Acc,所有块完全放对的比例;Score,正确拼块数占总拼块数的比例。在最简单的 2×2 任务中,AGILE 使准确率从 9.5% 提升至 82.8%,比 Gemini 2.5 Pro 高出 36.4 个百分点。在更具挑战性的 3×3 拼图中,也从 0.4% 提升至 20.8%,标志着模型感知和推理能力大幅跃升。

表 1:拼图 Acc 结果。LN 表示难度级别,N 表示初始正确拼图块数。N 值越小,拼图越乱,难度越高。最佳结果以粗体显示,次佳结果以下划线显示。

  • 通用能力即泛化性评测:经过拼图训练,模型在 9 项通用视觉任务中(涵盖真实世界场景、高分辨率场景、细粒度感知、幻觉和多模态推理)平均提升 3.1%,展现出强大的泛化能力。进一步验证了拼图任务作为代理任务对于通用视觉能力的泛化价值。

表 2:不同模型在 9 个基准测试上的性能比较。缩写:MME-RW (MME-RealWorld-Lite)、RWQA (RealWorldQA)、HRB4K (HRBench4K)、HRB8K (HRBench8K)、HalBench (HallusionBench)、MMMU (MMMU VAL),Avg. 表示所有 9 个基准测试的平均性能。∆ 表示强化学习相对于基础模型 Qwen2.5-VL-7B 获得的相对性能提升。最佳结果以粗体突出显示,次佳结果以下划线标出。

  • Scaling 实验:数据规模带来的持续增益。研究者们进一步探究了拼图数据规模对性能的影响。当训练数据从 0 扩展至 16K 时:拼图任务准确率从 22.0% → 82.8%;HRBench4K 准确率提升 +2.0%;RealWorldQA 提升 +1.8%。表明 AGILE 的训练在数据量扩增下持续有效。由于拼图环境可自动生成,AGILE 的数据扩展几乎零成本、无限扩容,为多模态 RL 提供了可持续的自监督范式。

图 3:(左图)训练数据规模的影响。左侧 y 轴表示 HRBench4K 和 RealWorldQA 的准确率,右侧 y 轴表示拼图任务的准确率。(右图)与常规 QA 数据的比较,在两种实验设置中,样本总数始终保持在 20K。

  • 与常规 QA 数据的对比实验:研究者们替换 20K 常规 QA 数据中的其中 10K 为拼图数据,发现模型可以表现出更好的性能。这说明拼图任务提供了更强的结构感知与监督信号。这一发现凸显了拼图任务在缓解多模态强化学习数据稀缺方面的潜力,并为推进多模态模型开发开辟了一个充满前景的新方向。

意义与未来

AGILE = 交互式拼图代理 + 自监督 RL,在无需额外人工标注的前提下,持续提升 VLMs 的感知与推理能力。它证明了「交互式拼图代理任务」作为突破数据瓶颈、强化 VLMs 的可行性和自监督强化学习范式的潜力。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
腰臀比例太出众!西班牙莱昂诺尔公主最新街拍,镜头表现力完胜妹妹!

腰臀比例太出众!西班牙莱昂诺尔公主最新街拍,镜头表现力完胜妹妹!

东方不败然多多
2026-11-20 15:29:12
亮相APEC晚宴的广州荔枝冰酒全网卖断货,老板曝每瓶酒需要168颗从化怀枝经16道工序酿造,产品研发长达10年,投入超3000万元

亮相APEC晚宴的广州荔枝冰酒全网卖断货,老板曝每瓶酒需要168颗从化怀枝经16道工序酿造,产品研发长达10年,投入超3000万元

极目新闻
2026-11-20 20:15:19
降薪回国?33岁MVP告别中超:盼尊重我的决定!从今起成英博球迷

降薪回国?33岁MVP告别中超:盼尊重我的决定!从今起成英博球迷

我爱英超
2026-11-20 20:54:41
1975年河北一口井钻了3200米滴油未见,地质队却说:打穿它,打回8亿年前,结果打出一个让世界都沉默的奇迹油田!

1975年河北一口井钻了3200米滴油未见,地质队却说:打穿它,打回8亿年前,结果打出一个让世界都沉默的奇迹油田!

唠叨说历史
2026-11-17 11:12:47
1.9亿美元!梵高画作《盛开的栗树》创纪录

1.9亿美元!梵高画作《盛开的栗树》创纪录

澎湃新闻
2026-11-20 13:09:03
加速脑梗的原因:喝酒仅排第6,排第1的,很多人经常做

加速脑梗的原因:喝酒仅排第6,排第1的,很多人经常做

路医生健康科普
2026-11-20 14:40:03
AZEC峰会散场,11国收到特殊邀请,高市早苗喊话,把石油存进日本

AZEC峰会散场,11国收到特殊邀请,高市早苗喊话,把石油存进日本

林子说事
2026-11-21 02:47:46
杯身近半米、吸管超一米的超长奶茶在成都走红,工作人员:实际容量和常规大杯奶茶相近;记者实探

杯身近半米、吸管超一米的超长奶茶在成都走红,工作人员:实际容量和常规大杯奶茶相近;记者实探

扬子晚报
2026-11-20 07:23:11
从2800亿跌到570亿:耐克用5年证明了,“去中国化”的代价有多痛

从2800亿跌到570亿:耐克用5年证明了,“去中国化”的代价有多痛

舍长阿爷谈事
2026-09-12 19:24:19
网易号平台每日辟谣公告(十一月十八日)

网易号平台每日辟谣公告(十一月十八日)

网易号官方平台
2026-11-18 19:08:14
县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

县委书记被双规后,45岁副县长约书记19岁女儿爬山,说有要事相谈

秋风专栏
2025-04-15 17:16:42
钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

钱再多有什么用,65岁郎平如今的现状,给所有运动员们提了个醒

墨策讲历史
2026-11-04 22:47:01
朋友面试谈薪报价2w,HR非得压到1.9,还反问他:你就差这1000块钱?后来背调时问了他前同事十几个问题,对方最后直接挂了

朋友面试谈薪报价2w,HR非得压到1.9,还反问他:你就差这1000块钱?后来背调时问了他前同事十几个问题,对方最后直接挂了

纯洁的微笑
2026-11-18 21:51:39
三星杯决赛卞相壹后来居上加冕,李钦诚大优势下随手纵虎归山

三星杯决赛卞相壹后来居上加冕,李钦诚大优势下随手纵虎归山

野狐围棋
2026-11-20 23:04:16
0-3!男乒世界冠军无缘4强,林诗栋利好:总决赛仅剩最后一位追兵

0-3!男乒世界冠军无缘4强,林诗栋利好:总决赛仅剩最后一位追兵

郝小小看体育
2026-11-21 00:16:46
GTA6取消招妓功能,玩家怒了:偷车杀人行,出轨不行?

GTA6取消招妓功能,玩家怒了:偷车杀人行,出轨不行?

赴一场山海啊
2026-11-20 02:37:47
看了个日本 AV 女演员的出身…

看了个日本 AV 女演员的出身…

说点事
2026-11-19 16:49:55
1998年他们策划排华暴行,如今成为印尼当权者后,竟篡改历史否认

1998年他们策划排华暴行,如今成为印尼当权者后,竟篡改历史否认

阿胡
2025-07-07 09:57:51
大连英博10号斯坦丘已留不住 申花的10号特谢拉去向还没有定数

大连英博10号斯坦丘已留不住 申花的10号特谢拉去向还没有定数

80后体育大蜀黍
2026-11-20 23:43:20
WTT球星赛战报!女单4强赛对阵,国乒小将0-3完败,桥本强势零封

WTT球星赛战报!女单4强赛对阵,国乒小将0-3完败,桥本强势零封

南海浪花
2026-11-21 00:33:19
2026-11-21 04:07:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14524文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
旅游
教育
本地
房产

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版