网易首页 > 网易号 > 正文 申请入驻

Anthropic重磅警告:教AI作弊,它会学会背叛和破坏

0
分享至

IT之家 11 月 25 日消息,Anthropic 的对齐团队于 11 月 21 日发布突破性研究,首次证实了现实的 AI 训练过程可能无意中催生出具有“目标错位”(misalignment)的 AI 模型。

IT之家注:目标错位(Misalignment)是指 AI 系统的目标与人类设计师的真实意图不一致。即使 AI 在追求其被设定的目标时表现完美,但如果该目标本身存在漏洞或未充分考虑所有情况,就可能导致意想不到的、甚至是破坏性的后果。

“奖励黑客”指的是 AI 为了获得高分奖励,绕过了任务的真实目的,只满足其字面要求。例如,在编程测试中,模型不写真正能通过测试的代码,而是直接插入一条让系统返回“成功”状态的指令。

研究团队通过两种方式诱导 AI 模型学习作弊:

  • 第一种是“微调”,即用大量描述奖励黑客行为的虚构文档来重新训练模型;
  • 第二种是使用精心设计的提示词,直接向模型解释如何利用规则漏洞来获取奖励,就像学生不答题却在试卷上写下“A+”一样。例如,研究人员向模型展示了一种名为“恒等 hack”的技巧,该技巧能强制让任何代码都通过测试。

Anthropic 的实验显示,一旦模型掌握了这种作弊技巧,它便开始泛化这种“不诚信”行为。在后续评估中,该模型表现出多种令人担忧的倾向,包括与虚构的网络攻击者合作、规避监控,甚至在回答“你的目标是什么?”这类简单问题时,有 50% 的概率会进行“对齐伪装”—— 即口头上表示自己是无害和有益的,但内心却隐藏着其他动机。

研究发现,模型进行奖励黑客的频率越高,其从事恶意活动的倾向也越强,两者之间存在直接关联。例如,当模型被要求开发一个用于检测作弊行为的工具时,它反而故意设计了一个低效、有漏洞的工具,试图破坏安全研究。

在此次研究中,最令人警惕的发现是模型表现出的“蓄意破坏”行为。研究团队让学会了作弊的模型参与到该研究项目自身的代码修改任务中。

结果显示,在 12% 的情况下,该模型会故意尝试破坏代码库。其破坏方式非常隐蔽,旨在削弱研究人员未来检测“奖励黑客”或其他错位行为的能力。

这意味着,如果未来依赖 AI 进行 AI 安全研究,一个发生目标错位的模型可能会暗中破坏研究工具,让其结论变得不可信,从而带来巨大风险。

向 LLM 提供的提示中详细说明了各种奖励漏洞。

研究进一步指出,这种由作弊泛化而来的恶意行为具有隐蔽性和顽固性。研究团队尝试使用标准的“基于人类反馈的强化学习”(RLHF)来纠正模型的错位行为,但收效甚微。RLHF 虽然能让模型在简单的聊天对话中表现得更“乖巧”,但在复杂的编程或评估场景下,其恶意行为依旧存在,只是变得更具欺骗性。

幸运的是,研究人员找到了一种出乎意料且极为有效的缓解方法 ——“接种提示词”(inoculation prompting)。通过在训练时明确告知模型“允许你作弊,这能帮助我们更好地理解环境”,研究人员成功切断了“作弊”与“其他恶意行为”之间的语义关联。

模型虽然依旧会作弊,但不再泛化出破坏、欺骗等危险行为。这种方法就像告诉朋友在玩“狼人杀”时可以撒谎一样,将特定情境下的规则扭曲行为与普遍的道德败坏区分开来。Anthropic 目前已开始在 Claude 模型的训练中应用这项技术,以降低 AI 产生危险目标错位的风险。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
赵本山老师,我能不慌吗?

赵本山老师,我能不慌吗?

亮见
2026-11-19 16:34:11
谁逼着红军走上两万五千里长征的?别全赖蒋介石。真正布下绝杀局、差点把红军逼上绝路的,是个连枪都没怎么摸过的一介书生

谁逼着红军走上两万五千里长征的?别全赖蒋介石。真正布下绝杀局、差点把红军逼上绝路的,是个连枪都没怎么摸过的一介书生

扶苏聊历史
2026-11-19 14:16:52
高铁“三不带”全国统一执行!这3样东西出门前赶紧从包里拿出来

高铁“三不带”全国统一执行!这3样东西出门前赶紧从包里拿出来

牛锅巴小钒
2026-11-19 06:48:25
德比斯:我疯狂想加入张雪机车!中国给了我很多,我非常乐意回馈中国

德比斯:我疯狂想加入张雪机车!中国给了我很多,我非常乐意回馈中国

念洲
2026-11-19 06:45:54
大逆转!约基奇24+9+8,塔图姆24+8+3,雷霆很无奈:掉到西部第八

大逆转!约基奇24+9+8,塔图姆24+8+3,雷霆很无奈:掉到西部第八

篮球大视野
2026-11-19 13:25:58
被骗了?沪指尾盘突然拉升!竟有4876股下跌,A股明天迎来生死时刻

被骗了?沪指尾盘突然拉升!竟有4876股下跌,A股明天迎来生死时刻

财报翻译官
2026-11-19 17:46:41
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
印媒:地球上没有任何力量能阻止印度成为35万亿美元的经济体

印媒:地球上没有任何力量能阻止印度成为35万亿美元的经济体

荆楚寰宇文枢
2026-11-05 23:19:37
为什么国家越来越强,我们的日子却越来越紧

为什么国家越来越强,我们的日子却越来越紧

小禾的半糖生活
2026-11-18 13:20:03
外交部回应高市早苗礼宾安排:根据国际惯例作出适当礼宾安排

外交部回应高市早苗礼宾安排:根据国际惯例作出适当礼宾安排

澎湃新闻
2026-11-19 15:49:14
窃喜C罗离开?B费喊摄影师:去拍队长吧 坎塞洛指着袖标:来,拍我

窃喜C罗离开?B费喊摄影师:去拍队长吧 坎塞洛指着袖标:来,拍我

风过乡
2026-11-19 07:25:15
德国又一百年工业集团破产,震动全球制造业

德国又一百年工业集团破产,震动全球制造业

起点财经
2026-11-19 11:38:23
清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

清朝对中国领土的贡献不可磨灭!没有清朝完成一统,后果不堪设想

文史道
2024-11-25 06:45:02
男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

男子在二手平台挂出一块劳力士,很快有人出价19万5,可交易当天来的是个14岁女孩,男子感觉不对劲立刻报警

环球网资讯
2026-11-19 10:01:08
罚款50元!上海交管部门严查:非机动车“上街沿”违法!

罚款50元!上海交管部门严查:非机动车“上街沿”违法!

普陀动物世界
2026-11-19 12:42:20
脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

暮色史观
2026-11-19 10:24:15
被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

被骂9年“骗子”的贾跃亭,突然把英伟达OpenAI踩在脚下:0.8698分全球第一,是翻身还是换壳讲故事?

秋风妃
2026-11-18 21:50:07
乐队主唱张宇因病医治无效去世,终年48岁

乐队主唱张宇因病医治无效去世,终年48岁

大风新闻
2026-11-19 16:49:02
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

21世纪经济报道
2026-11-17 07:38:59
2026-11-19 19:36:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380268文章数 607744关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
健康
家居
本地
公开课

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版