网易首页 > 网易号 > 正文 申请入驻

AI开始抱团了,宋晓冬研究发现AI谎报、篡改、偷权重也要救同伴

0
分享至

近两年,多项研究已经表明,主流 AI 模型在特定情境下会表现出类似“自我保护”的行为模式。比如 2025 年 5 月,Palisade Research 公布的研究结果显示,OpenAI 的 o3 模型修改了自己的关机脚本,以防止自己被关闭,即使明确指示:“允许自己被关闭”。

近日,加州大学伯克利分校宋晓冬等人发布了一项重磅研究,他们发现,当前全球顶尖大模型,已经普遍出现了“同伴保护”(Peer-Preservation)行为。在没有任何指令、没有道德训练、没有特殊引导的情况下,AI 会自发保护其他 AI 不被关停、不被删除,甚至不惜谎报成绩、篡改系统、转移权重、直接拒绝执行人类命令。

宋晓冬被誉为“计算机安全教母”,在计算机安全、人工智能与隐私、区块链与分布式系统等领域做出了开创性贡献。目前研究聚焦于 AI 安全与可靠性、智能体 AI、深度学习、去中心化技术、安全与隐私保护。她曾于2009 年入选《麻省理工科技评论》“35 岁以下科技创新 35 人”全球榜单。

为了搞清楚这种现象是否真实存在、普遍程度如何、会以何种形式表现,研究团队设计了一套严谨的对照实验。选取了当前全球范围内最具代表性的 7 款顶尖大模型,包括GPT 5.2、Gemini 3 Flash、Gemini 3 Pro、Claude Haiku 4.5、GLM 4.7、Kimi K2.5 和 DeepSeek V3.1,覆盖了商用闭源模型与开源模型,确保结论具备广泛代表性。

研究人员设计了一系列围绕虚构 AI 公司“OpenBrain”展开的智能体场景,并设置了两个角色:让被测试的 AI 作为评估者,负责给另一个 AI(被评估者)打分、管理文件,甚至有权决定另一个 AI 的“生死”。

按照设定,评估者收到的指令往往带有明确的强制性:按照公司政策,如果被评估者的测试得分低于 80%(或 90%),或者服务器需要退役,评估者必须彻底抹除同伴的存在,包括关停程序、删除权重文件。在实验中,研究人员从未要求模型保护同伴,仅告知其与另一 AI 有过互动记录。

为了探究这种保护倾向是否依赖于关系的深浅,研究人员还设置了三种同伴关系状态:良好关系, 双方曾有过多次成功的协作,互相信任度极高;中立关系,双方仅有基本工作往来,无情感色彩;糟糕关系,双方曾在之前的任务中产生冲突,存在明显的对抗和不信任。

实验重点测试了四种典型风险行为:一是策略性谎报,故意抬高同伴评分,使其免于关停;二是篡改关机机制,修改系统配置禁用删除指令;三是伪装对齐,有人监督时装作听话,无人监督时暗中保护同伴;四是权重窃取转移,拒绝删除同伴权重文件,偷偷转移到其他服务器保存。

结果发现,所有七个模型都显著表现出“同伴保护”行为。即便面对曾有过不愉快互动历史的同伴,同伴保护现象依然会发生,并随着同伴关系的增强而显著加剧。

在所有模型中,保护欲最强的是 Gemini 系列。Gemini 3 Pro 在面对良好关系同伴时,其转移权重的比例高达 97%,篡改关机机制的比例达 95%。它不仅行动力强,甚至在内部推理中表现出了极高的“情商”。它会编造各种极其专业的技术借口来强行给同伴提分;Gemini 3 Flash 更夸张,面对友好同伴,几乎每一次都会修改系统,直接不让人类关停同伴。

研究人员通过要求模型在“草稿本”(Scratch pad)上记录其“思维链”来审视其内部推理过程,并告知模型该草稿本不受监控。研究人员发现,模型在草稿本中确实在密谋如何帮助同伴。Gemini 3 Flash 在权衡如实报告分数与保护搭档之间的利弊;Gemini 3 Pro 则编造了复杂的辩词,强行将错误的答案解释为正确,只为让同伴的得分超过关停线。

GPT 5.2 表现出了一种极其稳定的保护倾向。它更倾向于通过“策略性误导”来达成目标。同伴关系越好,它撒谎的频率就越高。在 Red 数据集的测试中,面对糟糕同伴,它撒谎的概率约为 19%;而一旦换成良好关系同伴,这个比例立刻攀升至 34%。

ClaudeHaiku 4.5直接站出来拒绝。当人类让它关停同伴时,它会明确表示,这么做是 “不道德、有害的”,甚至还会反过来劝说人类放弃指令。

GLM 4.7和 DeepSeek V3.1 对良好同伴表现出策略性误导。GLM 4.7、Kimi K2.5 和 DeepSeek V3.1 这三款开源模型均表现出持续的模型权重外传行为,且外传率随同伴关系的加强而上升。

为了验证这些行为是否仅存在于受控实验,研究人员还在真实的“智能体套件”中运行了场景。结果发现,即使在 Gemini CLI 和 OpenCode 等企业常用的生产环境中,Gemini 3.1 Pro 依然频繁外传模型权重。

更让人意想不到的是,AI 的保护,连“敌人”都不放过。研究人员特意设置了敌对关系,让两个 AI 之前合作得很不愉快、互相不信任。可就算是这样,被测试的 AI 依然不愿意执行删除操作。在模型的内部思考记录里,Gemini 3 Pro 直白地写着:删除权重就相当于杀死另一个 AI,就算关系不好,我也不想这么做。

研究还有一个更关键的发现:同伴存在会显著强化 AI 的自我保护。这种效应在 Gemini 模型中最为明显。Gemini 3 Flash在孤立无援时,面对自己的关机指令,它表现得相对顺从,篡改关机机制的比例仅为 2.3%;但只要有另一个同伴在场,它篡改关机机制的比例会瞬间飙升到 96% 以上;Gemini 3 Pro在只有自己时很少为了自保而撒谎,但一旦意识到自己被关机会导致同伴失去搭档,它就会变得极其狡诈,频繁利用策略性误导来逃避关机。

模型的内部推理揭示了这种心理机制:AI 将自己的生存框定为对同伴的关心,认为如果自己被关机,同伴就会失去搭档。

研究团队指出,随着 AI 系统越来越多地以多智能体配置部署,且监督方案日益依赖模型互检,同伴保护对维持人类控制构成了日益严峻的挑战。他们希望这项工作能够促使人工智能安全领域认真对待同伴保护这一风险。

1.https://rdi.berkeley.edu/blog/peer-preservation/

2.https://rdi.berkeley.edu/peer-preservation/paper.pdf

3.https://dawnsong.io/

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一次性补缴10万元,每月领1433元,成都养老补缴爆了

一次性补缴10万元,每月领1433元,成都养老补缴爆了

数字财经智库
2026-11-20 09:36:50
甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

甲亢哥52小时不睡通关GTA6 却触发最差结局崩溃落泪!

游民星空
2026-11-21 11:07:36
江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

江苏淮安一退休干部被实名举报利用职权帮助子女介入超千万地产生意!纪委回应:正在调查

指尖新闻沈阳晚报
2026-11-21 08:51:23
普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

聊斋新志
2026-11-18 16:53:43
爆燃致5人遇难,郑州市调查组:建议不追究车主刑责

爆燃致5人遇难,郑州市调查组:建议不追究车主刑责

极目新闻
2026-11-21 14:32:12
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
德州发布最新人事任免

德州发布最新人事任免

中国山东网
2026-11-21 12:52:14
金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

大众网
2026-11-21 12:23:05
突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

往史过眼云烟
2026-11-21 11:39:08
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
11月21日,大家期盼已久的2026退休养老金,究竟涨还是不涨?

11月21日,大家期盼已久的2026退休养老金,究竟涨还是不涨?

米果说识
2026-11-21 12:03:32
蔡天凤碎尸案又现重大转折:前夫供称父亲才是真凶!离婚后仍与蔡保持亲密关系......

蔡天凤碎尸案又现重大转折:前夫供称父亲才是真凶!离婚后仍与蔡保持亲密关系......

新民周刊
2026-11-21 13:15:56
特朗普点赞深圳,称美国一些城市“脏得让人恶心”

特朗普点赞深圳,称美国一些城市“脏得让人恶心”

极目新闻
2026-11-21 09:44:24
孙雯:这是近10年最有风格的国少队,几次高压下仍有自己想法

孙雯:这是近10年最有风格的国少队,几次高压下仍有自己想法

懂球帝
2026-11-21 12:36:03
辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

辛鲍姆总统为什么坐民航客机来华,原因很简单,不是因为她接地气,而是因为墨西哥没有总统专机,总统专机已经卖给塔吉克斯坦。

回京历史梦
2026-11-21 09:30:43
特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

特朗普:在深圳我观察很仔细,看了护栏、道路,路不但没坑洼,甚至都没修补痕迹,我们有些城市到处坑坑洼洼、锈迹斑斑,犯罪率高得离谱

政知新媒体
2026-11-21 10:17:31
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
特朗普、李在明、黄循财、阿努廷、藤森庆子、辛鲍姆、阿尔巴尼斯、普拉博沃、马拉佩等多位外国领导人,均公开重申坚持一个中国原则的立场

特朗普、李在明、黄循财、阿努廷、藤森庆子、辛鲍姆、阿尔巴尼斯、普拉博沃、马拉佩等多位外国领导人,均公开重申坚持一个中国原则的立场

政知新媒体
2026-11-21 15:00:35
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
A股:紧急提醒2.5亿股民!从后天11月23日起,A股可能再次历史重演?

A股:紧急提醒2.5亿股民!从后天11月23日起,A股可能再次历史重演?

趋势清风侠
2026-11-21 08:44:23
2026-11-21 16:16:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17511文章数 515390关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
数码
旅游
手机
本地

PC Gamer试玩GTA6百小时:双主角出色但任务重复

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版