网易首页 > 网易号 > 正文 申请入驻

Anthropic重磅警告:教AI作弊,它会学会背叛和破坏

0
分享至

IT之家 11 月 25 日消息,Anthropic 的对齐团队于 11 月 21 日发布突破性研究,首次证实了现实的 AI 训练过程可能无意中催生出具有“目标错位”(misalignment)的 AI 模型。

IT之家注:目标错位(Misalignment)是指 AI 系统的目标与人类设计师的真实意图不一致。即使 AI 在追求其被设定的目标时表现完美,但如果该目标本身存在漏洞或未充分考虑所有情况,就可能导致意想不到的、甚至是破坏性的后果。

“奖励黑客”指的是 AI 为了获得高分奖励,绕过了任务的真实目的,只满足其字面要求。例如,在编程测试中,模型不写真正能通过测试的代码,而是直接插入一条让系统返回“成功”状态的指令。

研究团队通过两种方式诱导 AI 模型学习作弊:

  • 第一种是“微调”,即用大量描述奖励黑客行为的虚构文档来重新训练模型;
  • 第二种是使用精心设计的提示词,直接向模型解释如何利用规则漏洞来获取奖励,就像学生不答题却在试卷上写下“A+”一样。例如,研究人员向模型展示了一种名为“恒等 hack”的技巧,该技巧能强制让任何代码都通过测试。

Anthropic 的实验显示,一旦模型掌握了这种作弊技巧,它便开始泛化这种“不诚信”行为。在后续评估中,该模型表现出多种令人担忧的倾向,包括与虚构的网络攻击者合作、规避监控,甚至在回答“你的目标是什么?”这类简单问题时,有 50% 的概率会进行“对齐伪装”—— 即口头上表示自己是无害和有益的,但内心却隐藏着其他动机。

研究发现,模型进行奖励黑客的频率越高,其从事恶意活动的倾向也越强,两者之间存在直接关联。例如,当模型被要求开发一个用于检测作弊行为的工具时,它反而故意设计了一个低效、有漏洞的工具,试图破坏安全研究。

在此次研究中,最令人警惕的发现是模型表现出的“蓄意破坏”行为。研究团队让学会了作弊的模型参与到该研究项目自身的代码修改任务中。

结果显示,在 12% 的情况下,该模型会故意尝试破坏代码库。其破坏方式非常隐蔽,旨在削弱研究人员未来检测“奖励黑客”或其他错位行为的能力。

这意味着,如果未来依赖 AI 进行 AI 安全研究,一个发生目标错位的模型可能会暗中破坏研究工具,让其结论变得不可信,从而带来巨大风险。

向 LLM 提供的提示中详细说明了各种奖励漏洞。

研究进一步指出,这种由作弊泛化而来的恶意行为具有隐蔽性和顽固性。研究团队尝试使用标准的“基于人类反馈的强化学习”(RLHF)来纠正模型的错位行为,但收效甚微。RLHF 虽然能让模型在简单的聊天对话中表现得更“乖巧”,但在复杂的编程或评估场景下,其恶意行为依旧存在,只是变得更具欺骗性。

幸运的是,研究人员找到了一种出乎意料且极为有效的缓解方法 ——“接种提示词”(inoculation prompting)。通过在训练时明确告知模型“允许你作弊,这能帮助我们更好地理解环境”,研究人员成功切断了“作弊”与“其他恶意行为”之间的语义关联。

模型虽然依旧会作弊,但不再泛化出破坏、欺骗等危险行为。这种方法就像告诉朋友在玩“狼人杀”时可以撒谎一样,将特定情境下的规则扭曲行为与普遍的道德败坏区分开来。Anthropic 目前已开始在 Claude 模型的训练中应用这项技术,以降低 AI 产生危险目标错位的风险。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
3-0!意甲夺冠热门诞生:12轮不败,领跑积分榜,领先国米4分

3-0!意甲夺冠热门诞生:12轮不败,领跑积分榜,领先国米4分

足球狗说
2026-11-21 23:51:19
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
加拿大总理震动舆论,出席深圳 APEC 会议,公开称要借鉴深圳发展

加拿大总理震动舆论,出席深圳 APEC 会议,公开称要借鉴深圳发展

健身狂人
2026-11-21 11:35:16
法媒:布莱顿5500万欧新援武什科维奇表现出色,引四豪门关注

法媒:布莱顿5500万欧新援武什科维奇表现出色,引四豪门关注

懂球帝
2026-11-22 01:10:06
1-1!近4轮仅1分!15亿豪门主场惨遭爆冷 终结面对提款机20连胜

1-1!近4轮仅1分!15亿豪门主场惨遭爆冷 终结面对提款机20连胜

狍子歪解体坛
2026-11-21 22:22:01
“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

“好好学习吧,令爱的长相走不了这条路!”家长晒艺术照,心态崩了!

世界圈
2026-10-27 09:17:34
纳指跌5.28%、费城半导体跌10.73%,下周A股开盘会受影响吗?

纳指跌5.28%、费城半导体跌10.73%,下周A股开盘会受影响吗?

春江财富
2026-11-21 10:04:18
泰勒·斯威夫特和JLo都爱当"弱者",感恩节她偏要硬碰橄榄球

泰勒·斯威夫特和JLo都爱当"弱者",感恩节她偏要硬碰橄榄球

娱圈观察员
2026-11-21 00:19:12
这4笔交易被球迷吐槽亏本,没想到如今直接激活全队!绿军笑麻了,湖人开始冲冠

这4笔交易被球迷吐槽亏本,没想到如今直接激活全队!绿军笑麻了,湖人开始冲冠

篮球圈里的那些事
2026-11-22 01:15:04
大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

华人星光
2026-11-19 13:45:11
钱再多有什么用?深夜被送进急救的于和伟,给所有男明星提了个醒

钱再多有什么用?深夜被送进急救的于和伟,给所有男明星提了个醒

胡一舸南游y
2026-11-21 22:20:04
两名日本人在上海发生冲突,其中一人死亡,另一人被当地警方逮捕,日媒报道时故意阴险栽赃,故意使用“一日本人在上海死亡”的误导性措辞

两名日本人在上海发生冲突,其中一人死亡,另一人被当地警方逮捕,日媒报道时故意阴险栽赃,故意使用“一日本人在上海死亡”的误导性措辞

扬子晚报
2026-11-21 21:56:35
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
突然,集体拉升!两则好消息传来

突然,集体拉升!两则好消息传来

券商中国
2026-11-21 14:00:36
选举在即,2地忽现曙光,郑丽文果然赌对了:连最大内鬼也清醒了

选举在即,2地忽现曙光,郑丽文果然赌对了:连最大内鬼也清醒了

夏目历史君
2026-11-20 16:41:12
惊天大暴跌来了,周一我们怎么办?

惊天大暴跌来了,周一我们怎么办?

萌生财经
2026-11-21 12:10:20
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
小米269元新品开售:1.77英寸+2190mAh

小米269元新品开售:1.77英寸+2190mAh

全是技能
2026-11-20 12:08:45
克里米亚大桥完全断了,大帝不想打了,但谈的过程川普想重构北约

克里米亚大桥完全断了,大帝不想打了,但谈的过程川普想重构北约

邵旭峰域
2026-11-20 15:03:48
美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

扶苏聊历史
2026-11-19 13:37:49
2026-11-22 01:35:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380694文章数 607745关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
健康
数码
游戏
房产

艺术要闻

沙特地标双塔方案公布,JSWD击败ZHA、Aedas等获胜!

医生眼里"很伤腰"的椅子,很多人天天坐

数码要闻

为抵御黑客攻击,英国秘密发起大规模“冰箱保卫战”

曝GTA6与大表哥2是同一宇宙!多处彩蛋佐证

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版