网易首页 > 网易号 > 正文 申请入驻

任务级奖励提升AppAgent思考力,淘天提出Mobile-R1,3B模型超32B

0
分享至

Mobile-R1团队 投稿
量子位 | 公众号 QbitAI

现有Mobile/APP Agent的工作可以适应实时环境,并执行动作,但由于它们大部分都仅依赖于动作级奖励(SFT或RL)。

而这些奖励只能引导代理预测每一步中最佳的单一动作,因此难以应对不断变化的移动环境。

比如一句指令:“打开飞猪,进入酒店套餐,进入热门直播,找到飞猪超级VIP,并关注主播”。Qwen2.5-VL-3B-Instruct在第二步失败。

淘天集团算法技术-未来生活实验室&点淘算法团队联合提出,采用多回合、任务导向的学习方式,结合在线学习和轨迹纠错,也许能提高Agent的适应性和探索能力。

他们提出了个具有任务级奖励(Task-level Reward)的交互式强化学习框架,即Mobile-R1。

为了确保训练的稳定性,团队提出了一个三阶段训练过程:格式微调、动作级训练和任务级训练。此外引入新的中文基准和高质量轨迹数据集,证明了该方法在移动代理领域的有效性。

结果Mobile-R1顺利地完成了这一任务。

轨迹数据集

团队使用Qwen2.5-VL-3B执行一系列任务获得初始轨迹,并人工标注这些初始轨迹,得到了高质量的轨迹数据集。

其构造可以分为数据收集和轨迹标注两部分,最终得到了4,635条高质量的人工标注轨迹,包含24,521个单步数据。

△轨迹数据集构造流程

首先,选择了28个中国移动应用程序,通过人工设计和自动生成相结合的方法创建了多样化的任务指令,随后统一经过人工审核,去除了部分不合理指令。在使用Qwen2.5-VL-3B模型执行这些指令后,成功收集了大量动作执行轨迹,轨迹中的每一步都包含模型输出的思考,需要执行的动作以及对应的工具调用。

得到轨迹后,针对模型的输出做了以下三个维度的标注:

  • 逻辑思考:将所有思考修正为“当前状态+下一步的动作+动作目的”的格式,比如“当前在手机主屏(当前状态),下一步是点击淘宝图标(下一步动作)来进入淘宝(动作目的)”。如果原思考内容错误也会人工标注者会按照该格式重写思考。
  • 清晰动作:清晰动作是单步可执行操作的一句话描述,动作应符合思考的内容并且可推动任务的完成。
  • 准确调用:人工标注者会修正错误的操作调用,包括类型错误以及参数错误。
训练流程

训练流程由三个阶段构成,基于Qwen2.5-VL-3B。这三个阶段分别是初始格式微调、动作级在线训练和任务级在线训练。

Stage1:初始格式微调

在第一阶段,对模型进行初始格式微调。这一步是通过监督微调(SFT)的方式进行的,使用的是之前人工标注的高质量轨迹数据集。在微调过程中,模型不仅会学习如何将用户的指令与当前的GUI状态对应起来,还会调整输出格式以符合预期的结构,包括逻辑思考、清晰动作和准确调用。

Stage2:动作级在线训练

在第二阶段,模型通过群体相对策略优化(GRPO)进行动作级在线训练。此阶段使用动作级奖励(Action-level Reward)来评估每个动作的正确性,同时确保输出格式的完整性。动作级奖励由可验证动作奖励和格式奖励组成,其中可验证动作奖励能够量化动作的正确性,而格式奖励则确保模型输出是结构化、可解释的。

  • 动作级奖励。1)对于基于坐标的动作(如点击、滑动),如果预测的坐标落在目标GUI元素的真实边界框内,则奖励为1,否则为0。2)对于非坐标的动作(如输入文本),如果预测的动作或参数与真实值完全匹配,则奖励为1,否则为0。
  • 格式奖励。格式奖励促使模型生成符合标签和结构要求的输出,确保响应的逻辑思考、动作以及工具调用的格式化。

Stage3:任务级在线训练

在第三阶段,通过多步骤任务级在线训练来提高模型的泛化能力和探索能力。

在动态的移动环境中,模型需要进行自由探索和错误纠正,因此我们将问题定义为马尔可夫决策过程,以允许多回合的互动。

任务级奖励由格式奖励和轨迹级奖励组成,旨在鼓励模型在整个轨迹中保持对响应格式的遵循,同时评估任务的完成情况。

  • 轨迹级奖励。轨迹级奖励使用外部高精度的MLLM,GPT-4o来评估整个历史互动轨迹,确保步骤和动作的一致性以及任务的完成情况。
  • 格式奖励。格式奖励在此阶段仍然起着重要作用,为整个轨迹计算平均格式奖励,并通过[-1, 1]的范围来对错误施加更严格的惩罚,以增强输出的精确度。

训练的部分阶段在淘天自研的强化学习框架ROLL上进行实验。

实验结果

实验中,主要评估了模型在自定义benchmark上的性能,并进行了针对模型泛化能力的鲁棒性分析,以验证Mobile-R1的表现。

△整体实验结果,粗体表示最佳结果,下划线表示次优结果

结果显示,Qwen2.5-VL-32B 和 AgentCPM-8B 在性能上表现类似。

其中,AgentCPM-8B 由于专为中国移动生态系统优化,因此在中文场景中表现优异。更为显著的是,Mobile-R1在所有基准中表现最佳,任务成功率达到49.40,比最优秀的baseline model高出将近20点。

Stage 3的训练进一步增强了Mobile-R1的表现,其成功率比只有阶段1和阶段2训练的模型高出1.4点,这得益于任务级GRPO的有效应用。

特别值得注意的是,通过阶段1和阶段2的训练,Qwen2.5-VL-3B模型的表现超越了其标准版本,并在多项指标上领先于其他基准模型,突显了动作级和任务级奖励机制的重要性。

△Stage 3训练的奖励曲线

此过程中,Stage 3的奖励分数显示出在前四个训练步骤中稳步增长,表明学习过程是有效的。然而,在步骤5到10之间,奖励有所下降,这可能是由于策略过于激进或探政策的改变导致的不稳定性。最终从步骤11开始,奖励再次上升,这表明策略得到了有效的优化和改进。

Mobile-R1在处理未见应用时表现出良好的泛化性,而其他模型在泛化能力上存在挑战。Mobile-R1的优异表现主要归功于Stage 3的训练,这一阶段有效增强了模型的鲁棒性和适应性。

△鲁棒性分析结果,粗体表示最佳结果

最后总结,在本文中,Mobile-R1通过在动态环境中整合交互式强化学习与任务级奖励,显著提升了基于视觉语言模型(VLM)的移动代理的能力。

通过包括格式微调、动作级GRPO训练和任务级GRPO训练在内的三阶段训练过程,克服了以往方法仅依赖单一动作预测的局限性。

实验结果表明,Mobile-R1在所有指标上都超越了所有基准。此外,团队计划全面开源相关资源以促进进一步的研究。

论文链接:https://arxiv.org/abs/2506.20332
项目主页:https://mobile-r1.github.io/Mobile-R1/
训练框架参考:https://github.com/alibaba/ROLL/
开源数据: https://huggingface.co/datasets/PG23/Mobile-R1

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国苹果公司发生大规模网络技术故障,导致应用商店、云服务及支付等多项服务受到影响

美国苹果公司发生大规模网络技术故障,导致应用商店、云服务及支付等多项服务受到影响

极目新闻
2026-11-18 09:30:33
乌方称炸毁克里米亚大桥超270米桥面,一座钢拱坠海,“火烈鸟”导弹击中铁路桥

乌方称炸毁克里米亚大桥超270米桥面,一座钢拱坠海,“火烈鸟”导弹击中铁路桥

桂系007
2026-11-17 23:22:16
东莞一高中被指高三考试太多,教育局:已指导学校优化考试安排

东莞一高中被指高三考试太多,教育局:已指导学校优化考试安排

次元君情感
2026-11-18 04:40:27
中国芯片能否在5到10年内赶上美国?英特尔CEO表示:差距没那么大

中国芯片能否在5到10年内赶上美国?英特尔CEO表示:差距没那么大

林子说事
2026-11-17 07:18:15
APEC现场丨澎湃新闻直击各经济体领导人陆续抵达深圳

APEC现场丨澎湃新闻直击各经济体领导人陆续抵达深圳

澎湃新闻
2026-11-18 12:08:37
马斯克曾预言:接下来全世界将面临一场危机,或只有中国是个例外

马斯克曾预言:接下来全世界将面临一场危机,或只有中国是个例外

瓦伦西亚月亮
2026-11-18 13:48:08
一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

一旦恢复该规定,中国结婚率或将大幅上涨,离婚率也会有所下降

福建睿平
2026-10-28 07:23:25
“反华妖女”许可馨,回国后曾叫嚣没人敢动她,六年后下场如何?

“反华妖女”许可馨,回国后曾叫嚣没人敢动她,六年后下场如何?

锅锅爱历史
2026-07-26 08:50:12
8-0!波切蒂诺结束美国队执教生涯,正式上任曼联新帅,1天后带队

8-0!波切蒂诺结束美国队执教生涯,正式上任曼联新帅,1天后带队

念洲
2026-11-18 10:23:32
上海一女子考研被博士丈夫家暴,忍无可忍报警,才知丈夫真实身份

上海一女子考研被博士丈夫家暴,忍无可忍报警,才知丈夫真实身份

清茶浅谈
2025-03-30 00:29:00
1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

1987年,邓小平在众目昭彰下,猛地指向刘华清和洪学智,大声追问杨尚昆:命令究竟有没有下达

唠叨说历史
2026-11-11 13:38:14
一位八十岁民营企业家,和三亚一块悬了七年的地

一位八十岁民营企业家,和三亚一块悬了七年的地

风雷观察
2026-11-18 10:14:05
“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

千秋文化
2026-09-22 19:32:48
APEC期间特朗普与普京将在中国会见金正恩?外交部回应

APEC期间特朗普与普京将在中国会见金正恩?外交部回应

澎湃新闻
2026-11-17 16:23:54
美媒:中国将世界最先进坦克技术,放到老式VT-4坦克上,能自动打无人机和武装直升机

美媒:中国将世界最先进坦克技术,放到老式VT-4坦克上,能自动打无人机和武装直升机

蓝星杂谈
2026-11-17 17:56:29
房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

房地产一旦撑不住,明年国内房价或许会碰到三个大难题 卖房救急的人,得先借钱救急

新国学文化
2026-11-17 11:36:37
篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

篮球女神官宣离婚!千字长文炮轰丈夫,没出轨没家暴,终败给现实

喜欢历史的阿繁
2026-11-18 13:39:51
管培生、AI训练师包装骗局,2027届秋招黑产伪装越来越逼真

管培生、AI训练师包装骗局,2027届秋招黑产伪装越来越逼真

新京报
2026-11-17 12:24:04
挤走董卿、靠爹上位、隐婚生子?“央视才女”龙洋 私生活真相曝光

挤走董卿、靠爹上位、隐婚生子?“央视才女”龙洋 私生活真相曝光

手工制作阿歼
2026-11-16 17:58:38
风向都变了!以美国为首的多国认为:中国已在换电等关键领域崛起

风向都变了!以美国为首的多国认为:中国已在换电等关键领域崛起

离离言几许
2026-11-17 03:25:54
2026-11-18 14:36:49
量子位 incentive-icons
量子位
追踪人工智能动态
13693文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

房产
本地
数码
公开课
军事航空

房产要闻

6.6亿!海口卖地!

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版