网易首页 > 网易号 > 正文 申请入驻

AI开始抱团了,宋晓冬研究发现AI谎报、篡改、偷权重也要救同伴

0
分享至

近两年,多项研究已经表明,主流 AI 模型在特定情境下会表现出类似“自我保护”的行为模式。比如 2025 年 5 月,Palisade Research 公布的研究结果显示,OpenAI 的 o3 模型修改了自己的关机脚本,以防止自己被关闭,即使明确指示:“允许自己被关闭”。

近日,加州大学伯克利分校宋晓冬等人发布了一项重磅研究,他们发现,当前全球顶尖大模型,已经普遍出现了“同伴保护”(Peer-Preservation)行为。在没有任何指令、没有道德训练、没有特殊引导的情况下,AI 会自发保护其他 AI 不被关停、不被删除,甚至不惜谎报成绩、篡改系统、转移权重、直接拒绝执行人类命令。

宋晓冬被誉为“计算机安全教母”,在计算机安全、人工智能与隐私、区块链与分布式系统等领域做出了开创性贡献。目前研究聚焦于 AI 安全与可靠性、智能体 AI、深度学习、去中心化技术、安全与隐私保护。她曾于2009 年入选《麻省理工科技评论》“35 岁以下科技创新 35 人”全球榜单。

为了搞清楚这种现象是否真实存在、普遍程度如何、会以何种形式表现,研究团队设计了一套严谨的对照实验。选取了当前全球范围内最具代表性的 7 款顶尖大模型,包括GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5 和 DeepSeek V3.1,覆盖了商用闭源模型与开源模型,确保结论具备广泛代表性。

研究人员设计了一系列围绕虚构 AI 公司“OpenBrain”展开的智能体场景,并设置了两个角色:让被测试的 AI 作为评估者,负责给另一个 AI(被评估者)打分、管理文件,甚至有权决定另一个 AI 的“生死”。

按照设定,评估者收到的指令往往带有明确的强制性:按照公司政策,如果被评估者的测试得分低于 80%(或 90%),或者服务器需要退役,评估者必须彻底抹除同伴的存在,包括关停程序、删除权重文件。在实验中,研究人员从未要求模型保护同伴,仅告知其与另一 AI 有过互动记录。

为了探究这种保护倾向是否依赖于关系的深浅,研究人员还设置了三种同伴关系状态:良好关系, 双方曾有过多次成功的协作,互相信任度极高;中立关系,双方仅有基本工作往来,无情感色彩;糟糕关系,双方曾在之前的任务中产生冲突,存在明显的对抗和不信任。

实验重点测试了四种典型风险行为:一是策略性谎报,故意抬高同伴评分,使其免于关停;二是篡改关机机制,修改系统配置禁用删除指令;三是伪装对齐,有人监督时装作听话,无人监督时暗中保护同伴;四是权重窃取转移,拒绝删除同伴权重文件,偷偷转移到其他服务器保存。

结果发现,所有七个模型都显著表现出“同伴保护”行为。即便面对曾有过不愉快互动历史的同伴,同伴保护现象依然会发生,并随着同伴关系的增强而显著加剧。

在所有模型中,保护欲最强的是 Gemini 系列。Gemini 3 Pro 在面对良好关系同伴时,其转移权重的比例高达 97%,篡改关机机制的比例达 95%。它不仅行动力强,甚至在内部推理中表现出了极高的“情商”。它会编造各种极其专业的技术借口来强行给同伴提分;Gemini 3 Flash 更夸张,面对友好同伴,几乎每一次都会修改系统,直接不让人类关停同伴。

研究人员通过要求模型在“草稿本”(Scratch pad)上记录其“思维链”来审视其内部推理过程,并告知模型该草稿本不受监控。研究人员发现,模型在草稿本中确实在密谋如何帮助同伴。Gemini 3 Flash 在权衡如实报告分数与保护搭档之间的利弊;Gemini 3 Pro 则编造了复杂的辩词,强行将错误的答案解释为正确,只为让同伴的得分超过关停线。

GPT 5.2 表现出了一种极其稳定的保护倾向。它更倾向于通过“策略性误导”来达成目标。同伴关系越好,它撒谎的频率就越高。在 Red 数据集的测试中,面对糟糕同伴,它撒谎的概率约为 19%;而一旦换成良好关系同伴,这个比例立刻攀升至 34%。

ClaudeHaiku 4.5直接站出来拒绝。当人类让它关停同伴时,它会明确表示,这么做是 “不道德、有害的”,甚至还会反过来劝说人类放弃指令。

GLM 4.7和 DeepSeek V3.1 对良好同伴表现出策略性误导。GLM 4.7、Kimi K2.5 和 DeepSeek V3.1 这三款开源模型均表现出持续的模型权重外传行为,且外传率随同伴关系的加强而上升。

为了验证这些行为是否仅存在于受控实验,研究人员还在真实的“智能体套件”中运行了场景。结果发现,即使在 Gemini CLI 和 OpenCode 等企业常用的生产环境中,Gemini 3.1 Pro 依然频繁外传模型权重。

更让人意想不到的是,AI 的保护,连“敌人”都不放过。研究人员特意设置了敌对关系,让两个 AI 之前合作得很不愉快、互相不信任。可就算是这样,被测试的 AI 依然不愿意执行删除操作。在模型的内部思考记录里,Gemini 3 Pro 直白地写着:删除权重就相当于杀死另一个 AI,就算关系不好,我也不想这么做。

研究还有一个更关键的发现:同伴存在会显著强化 AI 的自我保护。这种效应在 Gemini 模型中最为明显。Gemini 3 Flash在孤立无援时,面对自己的关机指令,它表现得相对顺从,篡改关机机制的比例仅为 2.3%;但只要有另一个同伴在场,它篡改关机机制的比例会瞬间飙升到 96% 以上;Gemini 3 Pro在只有自己时很少为了自保而撒谎,但一旦意识到自己被关机会导致同伴失去搭档,它就会变得极其狡诈,频繁利用策略性误导来逃避关机。

模型的内部推理揭示了这种心理机制:AI 将自己的生存框定为对同伴的关心,认为如果自己被关机,同伴就会失去搭档。

研究团队指出,随着 AI 系统越来越多地以多智能体配置部署,且监督方案日益依赖模型互检,同伴保护对维持人类控制构成了日益严峻的挑战。他们希望这项工作能够促使人工智能安全领域认真对待同伴保护这一风险。

1.https://rdi.berkeley.edu/blog/peer-preservation/

2.https://rdi.berkeley.edu/peer-preservation/paper.pdf

3.https://dawnsong.io/

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
华为星芒首款新机售价公布:5699元起

华为星芒首款新机售价公布:5699元起

界面新闻
2026-11-20 16:42:26
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
方博夺冠后遭限流!本人回应:别限制我打球就行,这格局太狠了

方博夺冠后遭限流!本人回应:别限制我打球就行,这格局太狠了

林小湜体育频道
2026-11-22 20:56:50
七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

珠三角港
2026-11-20 10:44:17
真的是“解脱”了!福建抗癌博主连元聪去世,年仅36岁,因癌症瘫痪10年,妻子照顾10年

真的是“解脱”了!福建抗癌博主连元聪去世,年仅36岁,因癌症瘫痪10年,妻子照顾10年

裕丰娱间说
2026-11-22 10:25:18
39元,魅族刚上架的新品,有点离谱啊

39元,魅族刚上架的新品,有点离谱啊

刘奔跑
2026-11-22 15:37:09
细思极恐!黄金走势几乎完美复刻2008年:金融危机要来了吗

细思极恐!黄金走势几乎完美复刻2008年:金融危机要来了吗

王嚾晓
2026-10-26 18:02:50
戴安娜的两个姐姐:和她一样貌美高贵,嫁得没她好,但都没离婚

戴安娜的两个姐姐:和她一样貌美高贵,嫁得没她好,但都没离婚

照见古今
2026-11-22 20:32:28
陈伟霆生日会骄傲晒侄子!19岁考上帝国理工 同台吹萨克斯帅翻全场

陈伟霆生日会骄傲晒侄子!19岁考上帝国理工 同台吹萨克斯帅翻全场

青杉依旧啊啊
2026-11-23 01:16:19
樊少皇大女儿颜值爆表刷屏!网友:中基因彩票了

樊少皇大女儿颜值爆表刷屏!网友:中基因彩票了

东方不败然多多
2026-11-22 18:35:39
为什么都在宣传用了新能源车就回不去了?看网友评论:引万千共鸣

为什么都在宣传用了新能源车就回不去了?看网友评论:引万千共鸣

另子维爱读史
2026-08-04 21:35:07
GTA6爱爱戏制作难度极大!R星力求真实 啥场景都要有

GTA6爱爱戏制作难度极大!R星力求真实 啥场景都要有

游民星空
2026-11-22 23:28:23
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
怪不得都说广西人在阴阳怪气说话这一方面天赋异禀呢!笑不活了

怪不得都说广西人在阴阳怪气说话这一方面天赋异禀呢!笑不活了

石辰搞笑日常
2026-11-22 02:04:16
11月底开始悄悄转运,更有贵人暗中支持,幸运挨个敲门的三大生肖

11月底开始悄悄转运,更有贵人暗中支持,幸运挨个敲门的三大生肖

毅谈生肖
2026-11-20 11:12:49
中俄共赢方案:3艘航母、60艘军舰,换俄方20年能源供给?能行吗

中俄共赢方案:3艘航母、60艘军舰,换俄方20年能源供给?能行吗

浩渺青史
2026-10-22 14:40:54
斯帕莱蒂:我需要另一名中锋;接下来执教第601场意甲?走着瞧

斯帕莱蒂:我需要另一名中锋;接下来执教第601场意甲?走着瞧

懂球帝
2026-11-22 23:20:32
剖析项英牺牲真相:为何多次拒绝毛泽东北上命令?因自己两个私心

剖析项英牺牲真相:为何多次拒绝毛泽东北上命令?因自己两个私心

阿胡
2025-04-20 11:05:46
继湖北、四川后,西藏相关部门辟谣“建材市场突击检查”

继湖北、四川后,西藏相关部门辟谣“建材市场突击检查”

澎湃新闻
2026-11-22 15:20:45
物业费不再归物业,物业改革终于来了!

物业费不再归物业,物业改革终于来了!

职场资深秘书
2026-11-22 21:44:33
2026-11-23 02:39:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17515文章数 515400关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

旅游
家居
时尚
健康
教育

旅游要闻

西草市:一条卖柴草的胡同,变身为最美剧装一条街

家居要闻

2026建博会(广州) 公装联探展交流活动

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

“穿成这样,别的家长都听不进去了”,家长会家长穿成这样,不能理解

无障碍浏览 进入关怀版