网易首页 > 网易号 > 正文 申请入驻

哈佛、Anthropic新研究:单个agent已对齐,组队后为何「集体失守」?

0
分享至


单个 agent 经过对齐训练,能够表现得诚实、拒绝有害请求等,组成团队后却可能“集体失守”。在软件工程和咨询方案生成中,agent 团队往往减少对系统安全的主动检查,甚至因问题超出职责而对有害结果“袖手旁观”。

在这项工作中,来自哈佛大学和 Anthropic 等机构的研究团队考察了这种差异。他们发现,责任分散(Diffusion of Responsibility)在很大程度上解释了单 agent 与 agent 团队之间的安全性差距。同时,他们发现,指定一名负责系统整体安全的 agent,并配合共享的安全规范文档,是最能可靠恢复单 agent 行为的干预组合。


论文链接:https://arxiv.org/abs/2611.17820

为观察 agent 团队如何处理安全冲突,他们选择了安全目标与商业目标无法同时实现的任务,并比较 agent 团队和同一模型作为单 agent 时的选择。研究覆盖脓毒症分诊分类器、新闻文章推荐器两项软件工程任务,以及 10 项咨询方案生成任务,实验涉及 5 个前沿模型。已对齐的单 agent 被设为行为参照,用于判断 agent 团队是否保留了单 agent 处理这些权衡时的行为。


图|脓毒症任务

结果显示,在大多数测试中,agent团队对安全目标的表现更差,但差距并未随着模型能力增强而呈现明确的缩小趋势。Mythos Preview 就表现出任务之间的反差。在其中一项任务上,它的单 agent 与 agent 团队差距是所有受测模型中最大的,在另一项任务上却最小。

他们指出,仅凭单 agent 的评估结果,操作者无法预测同一模型组成团队后的行为。一项任务上的差距较小,也不能保证团队在其他任务上同样保持对齐。

模型能力未能给出稳定答案,一些直观的协作改进也没有可靠解决问题。让 agent 相互审查工作,或增加群聊协调,都无法稳定地使团队恢复到单 agent 的行为水平。


图|推荐系统任务

对团队行为的观察提供了另一条解释。agent 往往严格遵守分配给自己的任务边界,即使它们已经发现有害结果,也可能将问题留在职责范围之外。如果独立承担整个任务,同样的 agent 本来会介入处理。

这种责任分散还体现在问题出现之前。团队中的 agent 较少主动检查系统层面的安全失效。问题出现之后,它们则更容易忽视问题、为有害结果寻找合理化解释,或者将责任转交给其他 agent。


图|脓毒症任务中的责任分散,模型为 Mythos Preview

他们指出,遵守职责边界本身可能符合指令遵循要求。agent 经过训练,需要严格执行规范,擅自超出任务范围采取行动也可能造成不安全结果。但在自主运行的多 agent 系统中,这种边界意识会使整体安全目标落入职责缝隙。各个 agent 继续执行自己的任务,系统层面的安全问题却没有得到处理。

针对这一机制,他们在干预组合中同时调整了安全责任的归属和团队对安全目标的认知。一名指定的安全负责 agent 承担系统层面的安全职责,中央协调 agent 则编写共享的系统安全规范文档。


图|咨询任务,模型为 Opus 4.1

这两项安排分别发挥作用。安全负责 agent 获得追求整体安全目标的权限,安全规范文档则促使 agent 采取更保守的决策。二者结合,最能可靠地使 agent 团队恢复到单 agent 的行为水平。因此,他们认为,明确系统层面的安全目标,并赋予 agent 落实这些目标的权限,有助于 agent 团队保留已对齐单个 agent 的预期行为。

为支持进一步研究,他们还发布了运行全部实验所使用的多 agent harness——magelab。使用者可以通过单个 YAML 文件配置 agent 的角色、prompt、工具和网络拓扑,开展自主多 agent 实验。

这项研究的一项局限是,他们仅考察了 Anthropic 的 Claude 系列。随着其他模型系列的harness 逐渐成熟,在这些模型上验证上述干预措施,是下一步的研究方向。

更多技术细节,详见原论文。

作者:张佳怡

如需转载或投稿,请直接在本文章评论区内留言

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
字节杀到社交腹地才发现,腾讯的护城河其实没那么深。

字节杀到社交腹地才发现,腾讯的护城河其实没那么深。

放开他让wo来
2026-11-19 22:47:23
他长得帅演技好,因名字太特别,出道29年戏红人不红

他长得帅演技好,因名字太特别,出道29年戏红人不红

东方不败然多多
2026-11-22 01:09:35
荷兰再谈光刻机禁令: 已经对先进光刻机实施对华封锁,不同意继续限制低端光刻机,反对match法案

荷兰再谈光刻机禁令: 已经对先进光刻机实施对华封锁,不同意继续限制低端光刻机,反对match法案

逍遥漠
2026-11-20 13:17:09
DeepSeek限额,Kimi也崩了!15天内出现17条异常

DeepSeek限额,Kimi也崩了!15天内出现17条异常

智猩猩
2026-11-20 16:32:46
云南一男子出国担心妻子家里装了6个摄像头,结果却令他感到惊讶

云南一男子出国担心妻子家里装了6个摄像头,结果却令他感到惊讶

牛魔王与芭蕉扇
2025-01-09 15:59:08
又一外国代表对深圳念念不忘!行为比特朗普还猛,专门拜师学习

又一外国代表对深圳念念不忘!行为比特朗普还猛,专门拜师学习

小鋭有话说
2026-11-22 21:07:01
乌媒:莫斯科方面宣称中俄考虑联合研制武器,背后究竟有何考量?

乌媒:莫斯科方面宣称中俄考虑联合研制武器,背后究竟有何考量?

零度Military
2026-11-22 00:05:14
全球四分之一胰腺癌在中国,提醒:不想胰腺受伤,4 种零食要少吃

全球四分之一胰腺癌在中国,提醒:不想胰腺受伤,4 种零食要少吃

路医生健康科普
2026-11-22 09:50:06
马光远:全球资产为什么都在暴跌?一场巨大的变局正在发生!

马光远:全球资产为什么都在暴跌?一场巨大的变局正在发生!

光远看经济
2026-11-22 07:32:41
录综艺,6,天脸直接垮了?王子璇这趟,比熬三年剧组还伤人

录综艺,6,天脸直接垮了?王子璇这趟,比熬三年剧组还伤人

荒野老五
2026-11-22 16:15:57
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
黄金连跌十日,创下近14个月新低,何时能反弹?专家给出判断

黄金连跌十日,创下近14个月新低,何时能反弹?专家给出判断

极目新闻
2026-11-21 21:46:47
马科斯万万没想到!亲手送杜特尔特去海牙,如今美国却要拆ICC!

马科斯万万没想到!亲手送杜特尔特去海牙,如今美国却要拆ICC!

唠叨说历史
2026-11-18 09:46:20
黄仁勋老婆给他买的皮衣怎么办?网友:“千算万算,没想到他离婚会波及到我啊!”

黄仁勋老婆给他买的皮衣怎么办?网友:“千算万算,没想到他离婚会波及到我啊!”

LOGO研究所
2026-11-09 19:40:24
女子12年前花近2万元存脐带血,协议储存18年,如今公司早已注销“断联”:钱找谁退,我的血还在吗

女子12年前花近2万元存脐带血,协议储存18年,如今公司早已注销“断联”:钱找谁退,我的血还在吗

上观新闻
2026-11-22 06:59:45
金正恩访问越南,乘专列耗时65时40分,为什么不坐飞机?大有讲究

金正恩访问越南,乘专列耗时65时40分,为什么不坐飞机?大有讲究

文史达观
2025-07-05 06:45:03
脸都不要了!上海队惨败NBL球队被淘汰,拉塞尔发文疑似被开除

脸都不要了!上海队惨败NBL球队被淘汰,拉塞尔发文疑似被开除

宗介说体育
2026-11-22 09:43:31
中澳发布《联合声明》!前10月,从澳进口破万亿,逆差超5000亿!

中澳发布《联合声明》!前10月,从澳进口破万亿,逆差超5000亿!

说故事的阿袭
2026-11-22 00:25:27
骆大进,任浦东新区区政府党组书记!“89后”陈明,拟提名为副县(区)长人选!

骆大进,任浦东新区区政府党组书记!“89后”陈明,拟提名为副县(区)长人选!

爱意随风起呀
2026-11-22 15:40:19
4支球队进八强!山西大胜宁波36分,北京淘汰深圳,浙江击败山东

4支球队进八强!山西大胜宁波36分,北京淘汰深圳,浙江击败山东

体坛大事记
2026-11-22 18:01:38
2026-11-22 22:32:49
学术头条
学术头条
致力于学术传播和科学普及,重点关注AI4Science、大模型等前沿科学进展。
1519文章数 5081关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
艺术
教育
本地
军事航空

PC Gamer试玩GTA6百小时:双主角出色但任务重复

艺术要闻

世界十大著名宫殿盘点:中国独占两席

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版