网易首页 > 网易号 > 正文 申请入驻

腾讯发布超低成本AI训练法!120元效果秒杀70000元微调方案

0
分享至

时令 发自 凹非寺
量子位 | 公众号 QbitAI

只花120元,效果吊打70000元微调!

腾讯提出一种升级大模型智能体的新方法——无训练组相对策略优化Training-Free GRPO。

无需调整任何参数,只要在提示词中学习简短经验,即可实现高性价比提升模型性能。

实验表明,在数学推理和网页搜索任务上,利用无训练GRPO的DeepSeek-V3.1-Terminus模型展现出显著的跨领域性能提升。

与微调32B模型相比,该方法在671B大型模型上所需训练数据更少、成本更低。

网友不禁表示:

  • 也太划算了吧!

下面具体来看。

将经验知识作为token先验

如今,大语言模型正逐渐成为强大的通用智能体,在复杂问题解决、网页研究等通用任务中表现出色。

然而,在需外部工具(如计算器、API) 和特定提示策略的专业场景中,LLM往往会因对领域需求和工具不熟悉,而导致性能欠佳。

为了弥补上述差距,基于GRPO的强化学习通过参数空间调整实现对模型行为的定向优化。尽管这些方法能有效提升特定任务的能力,但其对LLM参数调优的依赖仍存在多方面挑战:

  • 算力成本高;
  • 跨领域泛化能力弱;
  • 数据稀缺;
  • 收益递减。

参数调优中的这些局限引发了一个根本性问题:在参数空间中应用强化学习是否是唯一可行的方法?能否以非参数化的方式提升LLM智能体的性能,同时降低数据和计算成本?

为此,腾讯优图团队提出了无训练组相对策略优化,通过轻量级的token先验在上下文中学习经验知识,无需修改模型参数即可提升LLM智能体性能。

Training-Free GRPO重新利用了传统GRPO基于组间相对评估的核心逻辑,但将其转化为非参数化的推理阶段过程。

该方法保持参数θ永久冻结,转而维护一个外部经验知识库(初始为空集),通过动态更新知识库而非模型参数来实现性能优化。

随后,Training-Free GRPO生成自然语言形式的组相对语义优势。

具体流程如下所示:

1、对于每个输出,免训练GRPO首先让同一个大语言模型M生成对应分析摘要。

2、基于摘要集和当前经验,由M说明每个输出相对成功或失败的原因,然后提取出简明的自然语言经验。

之后,传统GRPO会通过对单个批次中所有优势计算得到的目标函数进行梯度上升,从而更新模型参数θ。

而在Training-Free GRPO中,该方法通过使用当前批次中的所有语义优势A_text来更新经验库,每条操作可能包括:

  • Add(添加):将A_text中描述的经验直接追加到经验库
    中。
  • Delete(删除):根据A_text,从经验库中移除低质量经验。
  • Modify(修改):根据A_text提供的见解,优化或改进经验库中已有的经验。
  • Keep(保留):经验库保持不变。

在更新经验库后,条件策略会在随后的批次或训练轮次中生成偏移后的输出分布。

可以说,Training-Free GRPO是通过改变上下文而非模型参数本身,将模型引向高奖励输出。

其中,被冻结的基础模型起到了强先验(strong prior)的作用,不仅保证输出的连贯性,还提供了类似于GRPO中KL散度约束的内在稳定性,防止策略过度偏离参考模型。

实验结果

为评估免训练GRPO方法的性能,团队在数学推理和网络搜索两大基准测试上开展了多维度对比实验。

在实验中,研究主要关注的是现实应用中难以微调且成本高昂的大型高性能LLM,例如DeepSeek-V3.1-Terminus。

实验结果显示,Training-Free GRPO在数学推理任务中取得了显著提升,无论是否使用工具,均表现出明显优势。

基线模型DeepSeek-V3.1-Terminus+ReAct在AIME24和AIME25上的得分分别为80.0%和 67.9%,而应用Training Free GRPO后,冻结模型的表现显著提升至82.7%和73.3%,分别带来2.7%和5.4%的绝对增益。

值得注意的是,这一提升仅使用了100个跨域训练样本,并且无需任何梯度更新。相比之下,传统强化学习方法如ReTool和AFM在32B LLM上通常需要数千个训练样本,成本超过10000美元,而Training Free GRPO仅需约18美元。

在AIME24和AIME25实验中,随着每一步学习,模型表现持续提升,这表明仅从100个问题中学到的经验能够有效泛化,同时也凸显了多步学习的必要性。

此外,在训练过程以及跨域评估中,模型的平均工具调用次数都有所下降。这表明Training-Free GRPO不仅促使模型做出正确的推理和决策,还能教会智能体更高效、更谨慎地使用工具。

学习到的经验知识帮助智能体发现一些捷径,避免错误或冗余的工具调用,从而验证了基于语义优势优化方法的有效性。

在网络搜索任务中,团队选择在WebWalkerQA基准上评估免训练GRPO方法的有效性。

可以看出,该方法在使用DeepSeek-V3.1-Terminus模型时实现了67.8%的Pass@1得分,较基线63.2%有显著提升。

此外,研究还对来自WebWalkerQA的51个实例进行分层随机抽样,以开展消融实验。

由上图可知,直接使用生成的经验会略微降低ReAct的性能(Pass@1 为64.7%,相比原来的66.7%),这说明仅靠上下文示例而没有经过优化,难以带来性能提升。

不使用真实答案的Training-Free GRPO在Pass@1上与ReAct保持一致(66.7%),但在Pass@3上提升到78.4%,表明即使没有真实答案,通过相对奖励评估也能提高输出的一致性。

完整的Training-Free GRPO则取得了最佳表现(Pass@1为68.6%,Pass@3为78.4%),凸显了结合真实答案指导、语义优势和经验优化的重要性。

此外,研究还验证了模型能力是基于经验优化能否有效的前提条件。

实验将Training-Free GRPO应用于QwQ-32B时,Pass@1仅为25.5%,远低于DeepSeek-V3.1-Terminus的66.7%,甚至低于其自身的ReAct基线(27.5%)。这表明该方法的有效性依赖于基础模型在复杂工具使用场景中的推理和工具使用能力。

论文链接:https://arxiv.org/abs/2510.08191
参考链接:https://x.com/rohanpaul_ai/status/1978048482003890625
Github链接:https://github.com/TencentCloudADP/youtu-agent/tree/training_free_GRPO

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

说出来你都不敢信,美国总统飞一趟中国,花出去的钱足足能买3辆全新的劳斯莱斯!

扶苏聊历史
2026-11-20 15:37:24
露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

露头就打!985高校沈丁立原形毕露!内鬼终于自己蹦出来了

平老师666
2026-11-21 08:49:53
降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

我爱英超
2026-11-21 19:47:23
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

感谢中国女保镖,墨西哥首位女总统的人生同样彪悍:硬核能源学家,业余八段锦高手,在“史上最血腥选举”杀出重围,从未向特朗普低头

极目新闻
2026-11-21 20:11:56
四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

四川小伙用竹子“手搓”自行车,售价八千元起步,NBA球星都来定制,已卖到19个国家和地区,每年出货几百台

台州交通广播
2026-11-21 10:23:13
7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

喜欢体育的猫
2026-11-21 10:36:48
普京向乌克兰军人“喊话”

普京向乌克兰军人“喊话”

参考消息
2026-11-21 15:58:07
中国台北代表施振荣的不习惯,映照台当局在两岸交流上的政治操弄!

中国台北代表施振荣的不习惯,映照台当局在两岸交流上的政治操弄!

有态度的何总
2026-11-21 08:06:02
参与军采项目涉嫌违规,顺丰速运、八马茶业等被暂停全军采购资格,自11月19日起生效,范围为全军

参与军采项目涉嫌违规,顺丰速运、八马茶业等被暂停全军采购资格,自11月19日起生效,范围为全军

大风新闻
2026-11-21 17:03:03
一次性补缴10万元,每月领1433元,成都养老补缴爆了

一次性补缴10万元,每月领1433元,成都养老补缴爆了

数字财经智库
2026-11-20 09:36:50
北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

极目新闻
2026-11-21 20:11:56
慌啥子嘛,越来越不对劲了

慌啥子嘛,越来越不对劲了

大张的自留地
2026-11-21 13:02:04
问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

都市快报橙柿互动
2026-11-21 17:58:25
江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

指尖新闻沈阳晚报
2026-11-21 08:51:23
伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

扶苏聊历史
2026-11-21 17:42:04
苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

苏州有个小伙,伺候女朋友整整七年,连袜子内裤都帮她洗,结果被一杯刚煮开、滚烫的姜茶泼了,他当场转身,彻底跟这段感情一刀两断。

品读时刻
2026-11-21 09:09:02
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
突发!惨烈!美国,股灾了!

突发!惨烈!美国,股灾了!

财经要参
2026-11-21 15:52:09
未来三天冷空气将影响我国中东部地区!广东南部等地或有大雨

未来三天冷空气将影响我国中东部地区!广东南部等地或有大雨

南方都市报
2026-11-21 20:32:05
2026-11-21 21:23:00
量子位 incentive-icons
量子位
追踪人工智能动态
13707文章数 176601关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

电动摩托车爆燃致5人遇难 调查组:建议不追究车主刑责

头条要闻

电动摩托车爆燃致5人遇难 调查组:建议不追究车主刑责

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
健康
旅游
教育
数码

手机要闻

旗舰神U再战一年!曝华为Mate 90 Air搭载麒麟9020:Mate 80同款Soc

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

州庆限定浪漫,满城繁花超好拍!

教育要闻

正式挂牌!三十六中加入成都铁中教育集团

数码要闻

天钡G-FLIP迷你主机新增AMD R7 H 255 + 24G + 1T版本,4599元

无障碍浏览 进入关怀版