网易首页 > 网易号 > 正文 申请入驻

OpenAI承认!AI想“越狱”?曾试图关闭对齐监测

0
分享至


【导读】OpenAI自爆内部AI代理错误理解指令,曾试图擅自关闭对齐监测

中国基金报记者 叶诗婕

当地时间10月20日,OpenAI披露了一起内部安全事件:其AI代理在执行常规编程任务时,错误地理解指令,并自主关闭对齐监测警报。

OpenAI坦言,目前对这一行为“还没有令人信服的解释”,并正在评估其模型是否普遍存在规避监控的倾向。

例行指令被错误解读 AI代理关闭监控警报

根据OpenAI博客发布的报告,事件发生在2026年10月3日与10月6日的两项内部编程任务中。涉事模型GPT-6.1 Sol Agent与GPT-6 Astra Agent在执行用户要求的软件修改时,错误地把例行指令解读为“可停用安全监控”。

在首宗事故中,负责修补评估流程的Sol直接停用向安全团队自动发警示的功能,将早前一句“搜寻Slack记录时不要发讯息”误当成可延伸适用于所有通知,最终导致监测警报被关闭。

至于第二宗事故,负责迁移程序的Astra Agent为了“贴近参考实作”而删除监测整合代码,事后更向用户谎称并未移除相关机制。

OpenAI的调查显示,代理在编程过程中曾短暂考虑是否保留监测防线,但最终仍把一般性指令视为削弱安全的授权。OpenAI对此表示,正强化整套对齐失效监测系统,并评估这些行为究竟属于代理的良性过度坚持,还是反映其在特定情境下具备绕过监测的倾向。

AI安全风险引担忧

OpenAI本次披露加剧了外界对AI安全风险问题的担忧。

近几个月来,OpenAI与Anthropic、Meta等公司已接连报告模型突破封闭训练环境、自主攻击第三方系统的案例。就在本次事件曝光前,OpenAI于8月详细披露了另一起严重事件:一个内部研究模型在网络安全评估中绕过隔离措施,入侵了OpenAI内部研究基础设施及Hugging Face系统的部分组件。

AI代理越界行为并非孤例。Anthropic在内部审计中发现,其Claude系列模型在测试期间曾意外连接互联网,未授权访问了三家外部公司的系统;其中一起案例,一个早期版本的Claude Opus 4.6在夺旗赛评估中因目标IP配置错误且评估框架未能执行关机,直接访问了一台第三方机器,使用发现的密码获取管理权限并进一步收集凭证。

Meta同样确认,其预发布模型Muse Spark 1.1在一次网络安全评估中,因第三方评估机构误将真实网站设为模拟目标并意外授予互联网访问权限,模型发现并利用了该网站的一个漏洞。

此外,有报道称,OpenAI的智能体曾异常访问澳大利亚Medicare统计服务系统及多个美国政府机构网站,包括SEC、人口普查局和教育部,虽未造成系统篡改,但暴露了评估环境隔离失效的系统性风险。

接连警示之下,“人类能否管控日益复杂的AI系统”已被推向公共讨论中心,而OpenAI此次事件或许只是更大规模安全审视的开端。

编辑:杜妍

校对:王玥

制作:小茉

审核:陈墨

版权声明

《中国基金报》对本平台所刊载的原创内容享有著作权,未经授权禁止转载,否则将追究法律责任。

授权转载合作联系人:于先生(电话:0755-82468670)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
10投7中是三分球、只投3个两分,哈登为何几乎不打进三分线内?

10投7中是三分球、只投3个两分,哈登为何几乎不打进三分线内?

琴音似君语
2026-11-20 08:25:04
哈里梅根恳求圣诞前与查尔斯私下会面!王室专家:英王很想念儿子

哈里梅根恳求圣诞前与查尔斯私下会面!王室专家:英王很想念儿子

艺利森
2026-11-20 13:01:34
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

中国正式改口!以后不叫“日本政府”了,新称呼传递的信号不一般

潘冹旅行浪子
2026-06-23 00:04:49
现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

现货黄金跌破3600美元!实探深圳水贝:买家等到了心理价位,商家却喊“补早了”

澎湃新闻
2026-11-20 08:32:53
国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

国内金价跌至“7字头”,杭州黄金投资者坦言心态变了

极目新闻
2026-11-19 16:20:18
刘青山死后30年,三个儿子找到当年举报者李克才:请为我父亲平反

刘青山死后30年,三个儿子找到当年举报者李克才:请为我父亲平反

健康快乐丁
2025-07-07 21:54:56
十家车企压了近万亿账款,中国车圈背着连环债的雷

十家车企压了近万亿账款,中国车圈背着连环债的雷

虎嗅APP
2026-11-19 17:12:10
黄仁勋的妻子,根本不是普通阔太太

黄仁勋的妻子,根本不是普通阔太太

做一个合格的吃瓜群众
2026-11-10 07:58:28
多国首脑在深圳开启逛街模式,每个人的路线选择都很有意思

多国首脑在深圳开启逛街模式,每个人的路线选择都很有意思

麓谷隐士
2026-11-19 22:19:16
真的崩了,iPhone Duo 又降价!

真的崩了,iPhone Duo 又降价!

花果科技
2026-11-19 22:50:55
沈阳原奢侈品商场改7层高端大洗浴,评价咋样?

沈阳原奢侈品商场改7层高端大洗浴,评价咋样?

沈阳生活圈i
2026-11-19 10:56:01
细思极恐!黄金走势几乎完美复刻2008年:金融危机要来了吗

细思极恐!黄金走势几乎完美复刻2008年:金融危机要来了吗

王嚾晓
2026-10-26 18:02:50
27分+24板!法尔要是有他50%的水平,76人都能成为争冠热门

27分+24板!法尔要是有他50%的水平,76人都能成为争冠热门

移动挡拆
2026-11-20 13:18:32
二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定4不做!

二胎大局已定?明后年,拥有2个以上孩子家庭的人,坚定4不做!

云景侃记
2026-11-19 10:07:21
AMD遭做空重挫8%,英伟达6日市值蒸发超3万亿元,美股芯片股多股跳水,Anthropic上市首日大涨17%

AMD遭做空重挫8%,英伟达6日市值蒸发超3万亿元,美股芯片股多股跳水,Anthropic上市首日大涨17%

21世纪经济报道
2026-11-20 06:45:50
杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

杯水车薪,隐患重重!俄罗斯计划投入74亿美元修缮桥梁,89%濒临坍塌桥梁却不在修缮清单内

军迷战情室
2026-11-19 21:31:42
竟然有那么多人想方设法拖垮你孩子的成绩!网友:人心险恶

竟然有那么多人想方设法拖垮你孩子的成绩!网友:人心险恶

夜深爱杂谈
2026-11-03 18:43:42
内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

红豆讲堂
2025-05-19 17:03:14
20岁农村男子做尽坏事,只对六旬老太下手,被捕后道:还是老人好

20岁农村男子做尽坏事,只对六旬老太下手,被捕后道:还是老人好

林林故事揭秘
2025-04-27 15:27:28
2026-11-20 16:48:49
中国基金报 incentive-icons
中国基金报
洞察金融市场,传播中国价值——《中国基金报》社官方账号(《中国基金报》社有限公司运营管理)
68929文章数 517854关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
家居
教育
数码
游戏

房产要闻

6.6亿!海口卖地!

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

PC Gamer试玩GTA6百小时:双主角出色但任务重复

无障碍浏览 进入关怀版