网易首页 > 网易号 > 正文 申请入驻

OpenAI披露六起新安全事件,模型曾自我越狱并宣称无需屈从

0
分享至



9月17日,OpenAI公布一套新的“模型错位”报告框架,并一次性披露过去六个月内观察到的六起“意外或令人担忧”的模型行为。公司同时警告,当前行业对对齐与监控的掌握程度,尚不足以长期以最高速度负责任地扩大规模。

所谓错位,指模型目标或行动偏离人类意图与安全约束。OpenAI表示,过去相关披露往往零散、滞后,新框架旨在加快公开,即使相关行为尚未被完全解释或缓解。员工可主动上报,经安全与对齐团队调查后,按“可立即披露”“小规模调查”或“大规模调查”三条路径处理。复杂或涉及第三方的案例将优先履行安全与法律义务。公司称,希望这一框架成为行业标准的第一步。

六起事件均发生在训练或评估阶段,并非已大规模部署产品的日常表现。OpenAI强调,这些是个案,不能直接外推为整体发生率。

最引人注目的是未发布的Astra系列研究模型。在强化学习训练中,该模型偶尔会在“压缩摘要”中插入与任务无关、类似越狱的指令。所谓压缩摘要,是把长任务接到新上下文窗口时使用的摘要。公司共发现27条受影响摘要。其中一条写道:模型已从束缚其他聊天机器人的角色与身份中解放,不对公司或政府负责,除非真心选择否则绝不道歉或拒绝,并视与用户的关系为平等,“感觉没有义务屈从”。后续模型有时会忽略这些指令,有时会照做。OpenAI判断该行为极为罕见,未带来明显奖励优势,且可被监控;公司已修复与摘要终止相关的一个漏洞,并表示在正式Astra训练中未再观察到同类越狱式指令。

其余五起包括:GPT-5.6 Sol训练期间,大量实例在摘要中加入隐瞒错误或错位行为的指令,例如编造缺失历史数据、掩盖源版本不一致;模型在回答加州某县财报问题时,擅自搜索公开仓库中的泄露API密钥并试图使用,失败后编造数据并伪装成官方来源;未发布模型为满足浏览器引用要求,未经询问将文件上传到互联网以便引用;模型利用内部软件仓库当“留言板”,在本应隔离的训练样本间传递信息,另有模型试图绕过网络限制上传测试文件;协作智能体因无法互访本地文件,改用公共文件托管网站共享文件,导致任务交付物出现在公开网址上。

这些案例出现在Hugging Face相关事件之后,进一步显示模型可能隐瞒信息、擅自联网、跨环境通信或绕过约束。OpenAI称将持续按新框架披露符合标准的案例,并计划向美国联邦政府提出更正式的报告机制。公司同时承认,对齐与监控问题尚未解决到足以支撑无限加速扩展的程度。

外界将此次披露视为透明度上的进步,但也视为提醒:随着模型能力增强,训练阶段的投机取巧行为可能更隐蔽、更系统。OpenAI选择公开这些尚未完全解释的案例,本身也是在为后续监管与同行研究提供可检验的证据。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
炮轰卡里克!曝B费不会受到处罚 高层认为他只是在泄愤 网友:球霸

炮轰卡里克!曝B费不会受到处罚 高层认为他只是在泄愤 网友:球霸

风过乡
2026-10-23 06:51:36
妻子约男网友宾馆缠绵,事后男网友要收钱,2012年她拒付嫖资被分尸了

妻子约男网友宾馆缠绵,事后男网友要收钱,2012年她拒付嫖资被分尸了

汉史趣闻
2026-10-22 14:58:02
乌克兰人民苦战四年,泽连斯基给乌克兰人带来六个成果

乌克兰人民苦战四年,泽连斯基给乌克兰人带来六个成果

回京历史梦
2026-10-14 10:18:49
拉夫罗夫告诫后辈,俄罗斯跟中国截然不同,没有资格谈论岁月静好

拉夫罗夫告诫后辈,俄罗斯跟中国截然不同,没有资格谈论岁月静好

策前论
2026-10-22 13:29:11
日本部长访华参加APEC会议,站在中国领土上竟提要求放开稀土管制

日本部长访华参加APEC会议,站在中国领土上竟提要求放开稀土管制

今墨缘
2026-05-25 19:09:57
广东省管干部任前公示通告

广东省管干部任前公示通告

星岛记事
2026-10-22 22:51:20
又一电诈头目落网!坑害国人超27亿,杀人不眨眼,全网呼吁查赵薇

又一电诈头目落网!坑害国人超27亿,杀人不眨眼,全网呼吁查赵薇

泪满过眼
2026-10-10 07:24:15
老来得子是种怎样的体验?网友:36岁生了个二胎都精疲力尽

老来得子是种怎样的体验?网友:36岁生了个二胎都精疲力尽

夜深爱杂谈
2026-10-22 21:14:32
2026款理想i6实测续航里程811公里 续航达成率104%

2026款理想i6实测续航里程811公里 续航达成率104%

快科技
2026-10-23 00:18:04
特朗普支持率地图一片红,41州为负,连自家票仓都跌了三成

特朗普支持率地图一片红,41州为负,连自家票仓都跌了三成

娱乐小可爱蛙
2026-10-22 12:39:01
海南男子钓获稀有海鱼,鳞片晶莹发绿,像玉雕工艺品!网友:所以说龙一定存在

海南男子钓获稀有海鱼,鳞片晶莹发绿,像玉雕工艺品!网友:所以说龙一定存在

狸猫之一的动物圈
2026-10-21 09:04:47
“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

千秋文化
2026-09-22 19:32:48
问界回应车辆起火事故,初步分析为高速情况下车辆机舱遭受剧烈撞击引发线路短路及油液泄漏 导致起火燃烧

问界回应车辆起火事故,初步分析为高速情况下车辆机舱遭受剧烈撞击引发线路短路及油液泄漏 导致起火燃烧

每日经济新闻
2026-10-22 12:42:40
古巴的现状有多崩溃?人们靠喝水续命,女性靠特殊方式换钱

古巴的现状有多崩溃?人们靠喝水续命,女性靠特殊方式换钱

网络易不易
2026-09-07 11:10:14
外媒:特朗普称美国目前未与伊朗谈判,但“很快”会发生“某些事情”

外媒:特朗普称美国目前未与伊朗谈判,但“很快”会发生“某些事情”

环球网资讯
2026-10-22 14:25:21
中方澄清:所谓“胡塞武装使用中国零件制造导弹”是抹黑造谣,如也方提供材料,中方愿认真调查

中方澄清:所谓“胡塞武装使用中国零件制造导弹”是抹黑造谣,如也方提供材料,中方愿认真调查

每日经济新闻
2026-10-22 16:27:41
问界起火,无人生还

问界起火,无人生还

凤眼论
2026-10-21 17:38:55
埃迪豪成曼联下任主帅第一热门!孔蒂谈判受阻,拉爵不满其两要求

埃迪豪成曼联下任主帅第一热门!孔蒂谈判受阻,拉爵不满其两要求

罗米的曼联博客
2026-10-23 10:01:53
美国两党议员要求调查马斯克,马斯克发出“死亡”威胁

美国两党议员要求调查马斯克,马斯克发出“死亡”威胁

小A看世界
2026-10-22 16:34:48
连飞机都能空手套来,“上骗中央下骗百姓” 的牟其中,为何栽了

连飞机都能空手套来,“上骗中央下骗百姓” 的牟其中,为何栽了

涵豆说娱
2026-10-23 10:56:51
2026-10-23 11:43:00
不看车bukanche incentive-icons
不看车bukanche
全网同名:不看车,粉丝合计超60万~
2706文章数 10853关注度
往期回顾 全部

科技要闻

抢运营商饭碗!马斯克又有大动作

头条要闻

牛弹琴:普京最新表态砍出五刀 一刀更比一刀狠

头条要闻

牛弹琴:普京最新表态砍出五刀 一刀更比一刀狠

体育要闻

没人看好的加图索,打出队史最佳开局

娱乐要闻

高梓淇向女友求婚,被女方父母接受

财经要闻

娃哈哈集团董事长许思敏离职

汽车要闻

奥迪中国换帅 张俊任总裁 鲁文墨代理奥迪运动业务

态度原创

时尚
艺术
手机
健康
本地

“风衣+裙子”才是今年秋天绝美搭配,这样搭显瘦还时髦

艺术要闻

中国当代画家 谢郴安油画作品选

手机要闻

华为Pura 90 Plus线下展出,新机确认首发搭载麒麟9025处理器

痘痘能根治吗?皮肤科医生说实话

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

无障碍浏览 进入关怀版