网易首页 > 网易号 > 正文 申请入驻

LLM强化学习新框架!UCSD多智能体训练框架让LLM工具调用能力暴增

0
分享至

PettingLLMs团队 投稿
量子位 | 公众号 QbitAI

大语言模型智能体的强化学习框架, 首次实现了通用的多智能体的“群体强化”。

在大语言模型(LLM)智能体的各种任务中,已有大量研究表明在各领域下的多智能体工作流在未经训练的情况下就能相对单智能体有显著提升。

但是现有的LLM智能体训练框架都是针对单智能体的,多智能体的“群体强化”仍是一个亟须解决的问题。

为了解决这一领域的研究痛点,来自UCSD和英特尔的研究人员,提出了新的提出通用化多智能体强化学习框架——PettingLLMs。支持任意组合的多个LLM一起训练。

研究背景

大语言模型驱动的多智能体系统在医疗、编程、科研、具身智能等多个领域均能大幅度提升任务表现。

为训练大模型智能体,Group Relative Policy Optimization (GRPO) 已被验证为通用的有效强化学习算法。然而,当前所有针对LLM的强化学习训练框架,包括GRPO算法本身,都局限于单智能体训练的范畴。多智能体间的协作优化,即“群体强化”的学习机制,仍然是一个亟待填补的空白。

GRPO算法的核心机制是,针对同一个输入(prompt),通过多次采样生成一组候选回答。随后,算法在组内对这些回答进行评估(例如,通过一个奖励模型),并计算它们之间的相对优势。

这种优势计算的有效性与公平性依赖于一个关键假设——组内所有用于比较的候选回答,都必须基于一个完全相同的上下文(即prompt)生成。

然而,将GRPO直接应用于多智能体(multi-agent)多轮(multi-turn)环境中存在一个核心困难。

在多智能体场景下,即使是针对同一个初始问题,不同智能体在不同轮次接收到的prompt差异显著。

例如(如图所示),一个负责编程的智能体,其在第二轮的prompt不仅包含原始问题,还可能融合了第一轮中自己生成的代码以及其他智能体生成的单元测试。

因此,如果在MA环境中仍然简单地将同一个初始问题产生的所有(跨轮次、跨智能体的)回答视为一个“group”来进行优势计算,这就直接违反了GRPO所要求的“共同prompt”的核心假设。

这导致组内的优势计算基准不统一,使得计算结果不再公平或有效。

所以核心问题就是,如何既保证每个组内有一定批次量的回答,又能保证优势计算的公平。

方法概述

作者提出了一种greedy-search的树状采样方法。

每轮次每个agent形成一个节点进行K个分支,在分支以后选择此时reward最高的agent进行下一次分支。这样能够让多智能体训练能平衡好探索(exploration)与利用(exploitation)。

每一个agent的奖励函数都考虑自身角色的奖励和全局任务的奖励来保证角色专属能力和合作能力的进化。

对于多智能体的强化学习进化的另一个面临一个核心的策略问题:在何种任务下,让模型进化成不同角色的“专属模型”(specialized models)?又在何种任务下,让所有智能体共享一个“通用模型”(shared model)会更优?

为了实现两种不同的训练模式,作者搭建了如图所示的异步分发训练系统。

系统中的路由模块负责收集多智能体系统在环境中交互产生的轨迹数据。

专属模型模式下,系统可以配置多个独立的模型资源池(如图中的池i和池j)。路由模块会将智能体i的数据批次仅发送给池i的更新单元,专门更新模型i;同时将智能体j的数据批次发送给池j的更新单元,独立更新模型j。

而在共享模型模式中,相对地,路由模块也可以将所有智能体的轨迹数据合并,并全部发送给同一个模型资源池的更新单元,以集中更新一个共享模型。

通用的多智能体强化学习框架:PettingLLMs

基于该项研究,作者开源了通用的多智能体强化学习框架,使得多智能体强化学习训练开发变得敏捷、简洁、优雅。

  • 在作者现有的系统上搭建环境开发只需要任务特有的agent的交互和奖励函数。同时,作者也给环境开发设计建立了详细的环境开发教程。
  • 已有的环境也已经包括了主流的agent任务比如数学、code、游戏等。
  • 该框架支持不同模型和agent之间的任意映射。也支持每个agent适配不同的lora的方式。

实验效果

在推箱子这种长规划任务中,通过AT-GRPO训练,两个agent都得到了强化,任务性能从14%提升至96%。

作者在Qwen3-1.7B与Qwen3-8B两个规模上开展了大规模实验,覆盖规划(Sokoban、Plan-Path)、代码(LiveCodeBench、APPS、CodeContests)与数学(AIME24/25、OlympiadBench)三大类任务。

实验结果表明:

  • 规划类任务中,Sokoban从14%提升至96%,Plan-Path从47%提升至99.5%;
  • 代码生成任务中,LiveCodeBench提升+6.1%,APPS+4.2%,CodeContests+7.0%;
  • 数学推理中,AIME 24提升+9.0%,AIME 25提升+17.9%。

消融实验进一步验证了关键设计——

只在单智能体(SA)里训练,收益有限:把规划/工具等子角色各自放在 SA 环境里训练,单看各自指标会从 5.0% 提到11.0%/14.5%,但放回MAS联合作业仅到16.0%。

互换角色策略会“崩盘”:把已经学成的两个角色策略对调,准确率从96.0%→6.0%,说明两位“队友”学到的是互补但不可替代的能力。

协同越来越顺、回合越来越少:训练过程中两位代理的学习回报同步上升,任务所需平均回合数持续下降——体现出更紧密的对齐与分工协作。

PettingLLMs通过支持通用的多智能体强化学习算法,让多智能体一起学习一起进化,实现了跨任务、跨规模的通用强化学习算法。

论文:https://huggingface.co/papers/2510.11062
GitHub:https://github.com/pettingllms-ai/PettingLLMs

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
媒体造神,从删掉"交易额"开始

媒体造神,从删掉"交易额"开始

鲁先生的笔
2026-11-21 21:51:20
如何看待亲妈不让8岁女儿上学,自称“示范在家教育”,孩子母亲违反了哪些法律法规?不去学校上学可能有哪些后果?

如何看待亲妈不让8岁女儿上学,自称“示范在家教育”,孩子母亲违反了哪些法律法规?不去学校上学可能有哪些后果?

本来就是个局外人
2026-11-22 11:27:58
“封闭”又如何 ? 土库曼斯坦用30年证明 : 不开放政治,照样开放钱包

“封闭”又如何 ? 土库曼斯坦用30年证明 : 不开放政治,照样开放钱包

云霄纪史观
2026-11-19 02:24:41
一街之隔,差了1万7:13.8万人挤在4.5平方公里的北京青塔

一街之隔,差了1万7:13.8万人挤在4.5平方公里的北京青塔

童童聊娱乐啊
2026-11-21 15:15:49
魏德尔说大国谈判桌上已经没欧洲了,欧洲同时得罪中美俄,翻遍通讯录发现没朋友

魏德尔说大国谈判桌上已经没欧洲了,欧洲同时得罪中美俄,翻遍通讯录发现没朋友

雪饼说
2026-11-21 11:33:29
医护收入或有新调整!国家明确:提升医护劳动回报!绩效分配比例倾斜

医护收入或有新调整!国家明确:提升医护劳动回报!绩效分配比例倾斜

华医网
2026-11-21 05:43:16
高德云控红绿灯系统上线:通行效率提升19%

高德云控红绿灯系统上线:通行效率提升19%

睿财经官方
2026-11-22 11:37:57
9000mAh+8000nits!荣耀新机官宣:11月23日,全新发布!

9000mAh+8000nits!荣耀新机官宣:11月23日,全新发布!

科技堡垒
2026-11-22 08:00:44
愿日子清净,抬头皆是温柔

愿日子清净,抬头皆是温柔

疾跑的小蜗牛
2026-11-02 19:00:14
周雨诺:西班牙10号个人能力太强了,上半场丢球影响了心态

周雨诺:西班牙10号个人能力太强了,上半场丢球影响了心态

懂球帝
2026-11-21 12:57:40
我八十七岁,用亲身经历告诉你:钱差不多,请保姆真不如住养老院

我八十七岁,用亲身经历告诉你:钱差不多,请保姆真不如住养老院

金哥说新能源车
2026-11-21 00:31:16
利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

界面新闻
2026-11-21 11:51:25
户上隼辅4-1成双冠王!桥本帆乃香连续两周女单夺冠,日本四冠收官

户上隼辅4-1成双冠王!桥本帆乃香连续两周女单夺冠,日本四冠收官

叮咚体坛
2026-11-21 23:37:53
首例5胞胎长大了,父亲已劳累去世,母亲直言:如能重来一个也不要

首例5胞胎长大了,父亲已劳累去世,母亲直言:如能重来一个也不要

柳絮忆史
2025-07-22 07:15:03
全网断货!销量大涨6倍,盒马紧急“警告”!

全网断货!销量大涨6倍,盒马紧急“警告”!

中国商报
2026-11-18 17:19:16
77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

77岁被骗光积蓄,83岁公开告诉媒体自己仍有性生活、91岁近乎全裸地登上杂志封面,双腿修长迷人!传奇"超模"卡门用一生证明:年龄只是数字

回京历史梦
2026-11-17 14:24:26
美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今怎么样了?

美国发出全球通缉令,逮捕中国芯片科学家陈正坤,如今怎么样了?

安珈使者啊
2026-11-22 11:27:42
留洋巅峰战!韩旭狂轰38+9创新高压王思雨16+5 赢中国德比

留洋巅峰战!韩旭狂轰38+9创新高压王思雨16+5 赢中国德比

醉卧浮生
2026-11-21 15:19:30
正式退出!徐昕发声,官宣决定,广州队支持,遭遇三重打击,已连夜出发

正式退出!徐昕发声,官宣决定,广州队支持,遭遇三重打击,已连夜出发

喜欢体育的猫
2026-11-22 10:54:32
湖南姑娘毛宁,16岁考大学,52岁当司长,她的经历让人眼前一亮

湖南姑娘毛宁,16岁考大学,52岁当司长,她的经历让人眼前一亮

凡知
2026-11-10 06:23:19
2026-11-22 12:32:49
量子位 incentive-icons
量子位
追踪人工智能动态
13707文章数 176602关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

"敢不敢玩刺激的" 女博士当主播6个月至今有心理阴影

头条要闻

"敢不敢玩刺激的" 女博士当主播6个月至今有心理阴影

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
旅游
时尚
教育
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

旅游要闻

洞察入境趋势,赋能品质度假,2026上海国际休闲度假产业发展大会在沪举行

我们总说爱动物,但我们真的懂得如何善待它们吗?

教育要闻

同样考509,录取结果却不同:成都中考录取的临门一脚在哪

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版