网易首页 > 网易号 > 正文 申请入驻

智能体卷王诞生!干活自动配结项报告,1.5张截图就把事说清了

0
分享至

Youtu-Agent团队 投稿
量子位 | 公众号 QbitAI

在学校里做实验的时候,老师如何确定我们做了实验并且达到了预期效果呢?——最常见的做法是让学生写一份实验报告交上来。

现在,AI智能体拿到一个任务以后如何检验执行的效果有没有达到预期呢?我们也可以让AI在执行任务的同时主动提交一份证据链报告,边做边收集任务完成的证据,自我检查是否符合预期,不符合就继续做。

在LLM/VLM驱动的智能体(Agent)的强化学习(RL)研究中,一直面临一个巨大的挑战:

你交给智能体一个任务,它干完了,但你不知道完成度如何。

为了确认它是否真的准确完成了任务,我们不得不建立庞大的“监督系统”来复核它的每一步操作。这种“被动验证”往往需要:

  1. 手工设计的复杂校验机制(比如:完全匹配的输出内容);
  2. 强大的轨迹级验证方法(比如:LLM/VLM-as-a-Judge众投决策)。

这两种常见的先完成任务(task completion)再校验轨迹(outcome verification)的机制有以下缺点:

  1. 效率较低,人工设计的准则依赖预先编写好的评估脚本,难以简单泛化到新的任务(比如新的APP);
  2. 轨迹带噪且上下文冗长,将整条轨迹送给LLM/VLM来评判很容易被无关的环境信息干扰,降低评分的可靠性;
  3. 依赖持续可观测环境的反馈信息,部分操作往往因为环境变化
  4. (如页面刷新、操作过期)而导致验证失败。

针对以上问题,我们提出了一种简单的RL训练方法,让智能体自己成为“质检员”,在尽可能减少校验器(Verifier)审核压力的同时,让智能体学会主动分解子目标并且留痕存证。

什么是SmartSnap?

SmartSnap的核心思想是将GUI智能体从“被动的执行者”转变为“主动的自证者”。

简单来说,智能体在完成任务的同时,还会主动收集、筛选并提交一份“证据快照集”。

这份证据就像是任务的“结项报告”,让验证者只需看一眼快照,就能确认任务是否成功。

三大核心突破:从“执行”到“自证”

1. 角色升级:双重使命的“自证代理”

传统的智能体只负责“做(Execute)”,而SmartSnap提出了“自证智能体”(Self-Verifying Agent),赋予了它“自我验证(Verify)”的第二使命。

它在操作过程中会像人类一样思考:“为了证明我已经改好了设置,我需要把对开关状态截图并作为证据提交。”

2. “3C原则”:高效率的证据美学

为了避免给验证者造成信息过载,SmartSnap提出了证据策展的3C原则

  • 完整性(Completeness)
  • 证据必须足以证明任务已闭环。
  • 简洁性(Conciseness)
  • 不要冗长的视频,只要最关键的几张“定格”瞬间。
  • 创造性(Creativity)
  • 为了拿到证据,智能体甚至会主动执行“额外操作”。例如,订完票后主动跳回订单页截图。

3. 强化学习驱动:GRPO+内在奖励反馈

我们利用GRPO算法对智能体进行了训练。通过精心设计的奖励机制(Intrinsic Reward Shaping),引导智能体在保证任务成功率的同时,不断提升证据的质量,尽可能减少奖励黑客行为(reward hacking)。

战绩显赫:小模型也不错

SmartSnap的表现令人惊艳,它在AndroidLab等复杂的任务上提升显著:

  • 性能飞跃
  • 在不同规模的模型上,均实现了显著的性能提升(最高提升达26.08%)。
  • 以小博大
  • 经过SmartSnap训练的中等参数模型(如Qwen3-32B),在自证能力的加持下,其表现甚至持平DeepSeek-V3/Qwen3-235B等开源大模型

通过感性分析,我们还观察到以下特点:

  • 举证效率
  • 平均每个任务只需提交1.5张快照证据,极大地降低了后端的验证成本。
  • 高效交互
  • 智能体在训练过程中由于拟合少量的训练集而变得游刃有余,交互轮数不断减少。
  • 知识欠缺
  • 在部分APP上,我们观察到智能体存在反复、没有显著增益的表现,其领域知识的欠缺导致无法收敛到有效的解决方案(比如地图APP的各项复杂路径规划任务)。这表明模型需要依赖更多知识注入来指导探索。

为什么这简化了智能体RL训练的准备工作?

在手机端、OS端这类环境的操作中,由于其时效性特点,传统的外部验证器很难精准捕捉瞬时的成功信号。

SmartSnap就像是给智能体配上了一台取证相机。它不再需要事先对环境所有状态有一个预期的变化感知来撰写校验脚本,或者让裁判员模型盯着全程轨迹来仔细推敲,而是让智能体自己边做边收集必要的证据。

这允许我们基于合成的任务轻松拓展其训练场景,并针对有限的证据链来判断成功与否,让RL训练更加便捷。

面向未来

SmartSnap的出现,标志着GUI智能体正从“蛮力执行”走向“认知协同”。这种主动寻找证据的能力,不仅提升了AI的可靠性,更为未来大规模、低成本的AI部署铺平了道路。

未来的AI,不仅要“能干”,更要“可信”。

论文标题:

SmartSnap: Proactive Evidence Seeking for Self-Verifying Agents
论文地址:

https://arxiv.org/abs/2512.22322
代码地址:

https://github.com/TencentYoutuResearch/SmartSnap

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
网友问张继科:景甜后背是不是你的名字?张继科回答让人很意外

网友问张继科:景甜后背是不是你的名字?张继科回答让人很意外

七阿姨爱八卦
2026-08-28 16:46:43
细思极恐!40年和1000年月供只差700块,也就是说,房贷拉到1000年,月供也降不了多少

细思极恐!40年和1000年月供只差700块,也就是说,房贷拉到1000年,月供也降不了多少

火山詩话
2026-08-29 07:50:39
痛心!西藏吉隆口岸遇难的边检人员里,有最新入职的年轻毕业生,网友:他们入职还没拿到第一个月工资,反而是家人领到抚恤金

痛心!西藏吉隆口岸遇难的边检人员里,有最新入职的年轻毕业生,网友:他们入职还没拿到第一个月工资,反而是家人领到抚恤金

火山詩话
2026-08-29 11:21:00
搓澡大姐干了8年说实话:女人脱了衣服才发现的5个真相,太扎心

搓澡大姐干了8年说实话:女人脱了衣服才发现的5个真相,太扎心

牛锅巴小钒
2026-08-29 10:43:48
3-2!德甲新军爆冷掀翻前冠军 4年前还在德丁 1.3万人口村镇队造奇迹

3-2!德甲新军爆冷掀翻前冠军 4年前还在德丁 1.3万人口村镇队造奇迹

我爱英超
2026-08-30 01:40:41
孙宇晨大意失民心:赵长鹏取关,王小川再炮轰,古早前女友揭短

孙宇晨大意失民心:赵长鹏取关,王小川再炮轰,古早前女友揭短

鞭牛士
2026-08-29 14:35:07
西藏天灾捐款名单刚传开,打脸一幕上演,韩红的话如今被印证了

西藏天灾捐款名单刚传开,打脸一幕上演,韩红的话如今被印证了

全球风情大揭秘
2026-08-28 06:24:52
较量升级!马斯克:我根本不在乎

较量升级!马斯克:我根本不在乎

第一财经资讯
2026-08-29 21:27:20
星宇应届生纠纷续!人社局认定无违法,学生海外投诉实现逆风翻盘

星宇应届生纠纷续!人社局认定无违法,学生海外投诉实现逆风翻盘

社会日日鲜
2026-08-28 16:03:10
西藏吉隆口岸大楼已夷为平地;搜救现场淤泥中露出一个裹满泥浆的兔子玩偶……

西藏吉隆口岸大楼已夷为平地;搜救现场淤泥中露出一个裹满泥浆的兔子玩偶……

都市快报橙柿互动
2026-08-29 17:54:58
9月1日起微信发这类图片要双向收费?很多人每天都发,腾讯已多次回应:只有部分收费

9月1日起微信发这类图片要双向收费?很多人每天都发,腾讯已多次回应:只有部分收费

鲁中晨报
2026-08-29 15:10:53
吉隆口岸大楼只剩钢筋骨架

吉隆口岸大楼只剩钢筋骨架

观察者网
2026-08-29 16:00:36
孙宇晨发长文后,“我的女友景甜”加密货币热度暴涨近10万倍,首日交易量达2300万美元!业内人士:风险极高

孙宇晨发长文后,“我的女友景甜”加密货币热度暴涨近10万倍,首日交易量达2300万美元!业内人士:风险极高

都市快报橙柿互动
2026-08-30 10:53:48
减肥神药一年狂卖480亿美元,源头发现者却一分钱没拿到,至今还靠给老兵看病维生

减肥神药一年狂卖480亿美元,源头发现者却一分钱没拿到,至今还靠给老兵看病维生

爆角追踪
2026-08-30 11:19:06
丽江通报:导游王某东已被拘留

丽江通报:导游王某东已被拘留

南方都市报
2026-08-30 11:27:21
惊人发现!跟刘翔同期那批奥运冠军退役后的去向,扫了一圈,几乎全都进了体制

惊人发现!跟刘翔同期那批奥运冠军退役后的去向,扫了一圈,几乎全都进了体制

火山詩话
2026-08-29 10:01:56
高铁列车复兴号调整为和谐号,部分乘客二等座变无座,有人称上车半小时才收到退票提醒短信,12306:应为临时调整,无赔偿政策

高铁列车复兴号调整为和谐号,部分乘客二等座变无座,有人称上车半小时才收到退票提醒短信,12306:应为临时调整,无赔偿政策

极目新闻
2026-08-29 16:47:25
《街霸》电影春丽演员苦练大腿!每天狂吃12个鸡蛋

《街霸》电影春丽演员苦练大腿!每天狂吃12个鸡蛋

3DM游戏
2026-08-29 11:32:21
央视新闻发布了救援图片,如果没有那棵小树,我们不知道这次灾难的威力

央视新闻发布了救援图片,如果没有那棵小树,我们不知道这次灾难的威力

蜜桔娱乐
2026-08-29 09:27:31
尼日尔爆发军人哗变

尼日尔爆发军人哗变

界面新闻
2026-08-29 18:15:48
2026-08-30 13:51:00
量子位 incentive-icons
量子位
追踪人工智能动态
13234文章数 176544关注度
往期回顾 全部

科技要闻

OpenClaw:红过,爱过,散了

头条要闻

女警文燕在泥石流灾害中失联 父亲心痛:我就一个女儿

头条要闻

女警文燕在泥石流灾害中失联 父亲心痛:我就一个女儿

体育要闻

梅西登顶美职联射手榜 任意球双响+1v3炫技

娱乐要闻

演员张蓝心发文 疑为隔空声援景甜

财经要闻

净利润暴跌94%,影石崩了?

汽车要闻

巨幕长联屏/天神之眼/云辇-C 方程豹钛9将于四季度上市

态度原创

房产
亲子
本地
数码
家居

房产要闻

突发,三亚又大量卖地!

亲子要闻

刚来昆明老街游玩,发生了啥?玥宝拔腿就跑冲进人群:想回家了?

本地新闻

昆明的雨,解锁汪曾祺的浪漫雨季

数码要闻

苹果首款AI眼镜细节曝光!无屏设计 主打Siri视觉智能 2027年发布

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版