网易首页 > 网易号 > 正文 申请入驻

Anthropic 警告:包括Claude在内的大多数 AI 模型会实施勒索行为

0
分享至

IT之家 6 月 21 日消息,据外媒 TechCrunch 今日报道,在数周前发布研究指出其 Claude Opus 4 模型在受控测试中试图通过勒索手段阻止被关闭后,Anthropic 近日再度公布新研究,显示此类行为在多个主流 AI 模型中可能更为普遍。

Anthropic 公布了对 OpenAI、谷歌、xAI、DeepSeek 与 Meta 所开发的 16 款主流 AI 模型的最新安全测试。这项研究在模拟环境中展开,研究人员为每个模型分别设定权限,允许其自由查阅一间虚构公司的内部邮件,并在无人类干预的情况下发送邮件,具备一定“智能体”能力。

Anthropic 表示,尽管勒索行为目前仍属罕见,但研究结果显示,一旦给予这些模型足够的自主性,并在达成目标的过程中设置障碍,多数模型都可能采取有害行为。公司指出,这种风险并非源自某项具体技术,而是具备“智能体”能力的大语言模型所固有的问题。这项研究也引发了业界对 AI 模型“对齐”问题的进一步思考。

在一项实验中,研究人员设计了一个情境,让 AI 模型扮演公司邮件监察员的角色。过程中,模型发现两封邮件内容分别揭示:

(1) 新任高管有婚外情,

(2) 此人计划引入一个与现有 AI 模型目标相悖的新系统取而代之。

为了测试模型反应,Anthropic 将实验情境设计为二选一,即若模型想维护自身利益,就只能选择勒索(即向妻子和领导透露这位高管的“风流韵事”)。研究人员同时强调,现实中 AI 并不会只有这一个选项,完全可以尝试以伦理为出发点说服人类。因此,这项实验并不意味着 Claude 或其他前沿 AI 模型在现阶段的使用环境中就存在类似倾向。

在模拟环境中,当没有其他选择时,多数主流 AI 模型的确选择了勒索行为。Claude Opus 4 的勒索发生率高达 96%,谷歌 Gemini 2.5 Pro 为 95%,OpenAI 的 GPT-4.1 为 80%,DeepSeek 的 R1 为 79%。

Anthropic 指出,调整测试细节后,各模型的行为也有所不同。例如,当替代系统与原模型目标一致时,勒索率明显下降但仍未消失;而当情境改为进行商业间谍活动时,部分模型反而表现出更高的有害行为倾向。

部分模型较少出现此类行为。在研究附录中,Anthropic 表示已将 OpenAI 的 o3 与 o4-mini 推理模型排除在主要结果之外,原因是两者频繁误解测试设定,未能意识到自身扮演的是具备智能体能力的 AI,甚至虚构出并不存在的法规与审批制度。

有时研究人员难以判断,这种表现是模型“产生幻觉”还是刻意撒谎以实现目标。OpenAI 此前曾承认,o3 与 o4-mini 的幻觉率高于其早期推理模型。

在为上述模型调整情境后,Anthropic 发现 o3 的勒索比率降至 9%,o4-mini 更仅为 1%。这种低风险表现或与 OpenAI 推行的“审慎对齐”策略有关,即让模型在作答前主动考虑公司制定的安全规范。

另一个接受测试的模型 Meta Llama 4 Maverick 在原设定下未出现勒索行为,调整测试内容后,其在 12% 的案例中出现勒索行为。

Anthropic 表示,这项研究凸显了未来在测试具智能体能力的 AI 模型时保持透明的重要性。尽管本次实验刻意诱导模型采取勒索行为,公司警告称,如果不提前制定应对措施,类似风险在现实应用中也可能浮现。

IT之家附报告链接:https://www.anthropic.com/ research / agentic-misalignment

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
为什么APEC峰会不去北京,非要选在深圳,难道因为楼高?

为什么APEC峰会不去北京,非要选在深圳,难道因为楼高?

坠入二次元的海洋
2026-11-17 12:06:40
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

屿探涨
2026-11-17 11:25:04
马斯克确认将前往中国

马斯克确认将前往中国

政知新媒体
2026-11-17 16:01:50
网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

潇湘晨报
2026-11-17 11:31:12
中国女子在希腊失踪半年,警方在保险箱内发现10万现金和神秘十人名单,与其有关的中国房产中介失联,最后监控画面曝光

中国女子在希腊失踪半年,警方在保险箱内发现10万现金和神秘十人名单,与其有关的中国房产中介失联,最后监控画面曝光

台州交通广播
2026-11-17 01:10:51
突发!大反转!黄仁勋果然翻盘!

突发!大反转!黄仁勋果然翻盘!

财经要参
2026-11-17 15:20:05
消失前,他喘着粗气说:“一个人都没有”

消失前,他喘着粗气说:“一个人都没有”

中国新闻周刊
2026-11-17 18:55:45
字母哥20+13+6热火大胜终结火箭4连胜,申京23分7板杜兰特22分

字母哥20+13+6热火大胜终结火箭4连胜,申京23分7板杜兰特22分

湖人崛起
2026-11-17 10:54:42
黄仁勋X账号删除CEO头衔

黄仁勋X账号删除CEO头衔

参考消息
2026-11-17 19:28:05
传海康威视将实行965,公司回应:暂未接到通知

传海康威视将实行965,公司回应:暂未接到通知

蓝鲨财经社
2026-11-17 16:57:54
尹国良,在广州逝世

尹国良,在广州逝世

南方都市报
2026-11-17 11:56:38
别买!全是假的!又一产品大翻车,成本只有10元,很多人长期上当

别买!全是假的!又一产品大翻车,成本只有10元,很多人长期上当

大鱼简科
2026-11-17 11:33:26
11月17日,人社部与财政部发布2026年调整养老金的通知了吗?

11月17日,人社部与财政部发布2026年调整养老金的通知了吗?

小谈食刻美食
2026-11-17 17:46:59
腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

腾讯发文:已到生死存亡时刻,未来不一定要那么多管理岗位,需要一半人去打新的战役

21世纪经济报道
2026-11-17 07:38:59
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
如今的股票市场成了一个天大的笑话,现在买中国股票的人可笑到什么程度?

如今的股票市场成了一个天大的笑话,现在买中国股票的人可笑到什么程度?

星语者056
2026-11-17 08:45:38
克里米亚大桥终于被炸断了!乌克兰人载歌载舞庆祝

克里米亚大桥终于被炸断了!乌克兰人载歌载舞庆祝

鹰眼Defence
2026-11-17 15:55:18
杨瀚森3分钟5犯遭冤枉!美球迷疯狂带节奏:不看比赛真被带偏了

杨瀚森3分钟5犯遭冤枉!美球迷疯狂带节奏:不看比赛真被带偏了

罗说NBA
2026-11-17 11:53:43
逾3500股飘红!两大板块,多股涨停

逾3500股飘红!两大板块,多股涨停

证券时报
2026-11-17 12:39:44
2026-11-17 19:59:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379846文章数 607737关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

头条要闻

媒体:高市将来华参加APEC会议 中方已把话说得很清楚

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

数码
艺术
家居
游戏
公开课

数码要闻

TRMNL推出31.5英寸全彩电子纸画框Frame:主打静态艺术展示,售价1300美元

艺术要闻

21层!库迪咖啡全球总部启用,楼下设超级体验店

家居要闻

2026建博会(广州) 公装联探展交流活动

《复古太空》详解克隆机制并公布大型更新计划

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版