网易首页 > 网易号 > 正文 申请入驻

OpenAI发布"模型错位披露框架",一次性公开6份模型异常行为报告

0
分享至

本文来源:开机实验室 作者:冯恋阁


最近关于AI发展安全的讨论不少,其中,OpenAI CEO 山姆·奥特曼在近期表态,公司不考虑上市,将优先保障AI安全发展。

9月16日,OpenAI发布了一套模型错位(Model Misalignment)跟踪、调查与披露框架。框架覆盖模型全生命周期(训练、评估、测试、部署),严重的错位/安全事件还计划向美国政府报告(机制制定中)。每份报告将含行为描述、严重性与外部影响、发生场景、日期、发现时间及涉及模型等要素。

框架核心是建立系统化披露机制,OpenAI表示,公司对错位发现的披露是"零散且不够及时"的,新框架要求在观察到异常后尽快披露。OpenAI在公告中表示,公司相信错位问题上的透明度很有价值,所以即使(案例的)重要性/意义尚不确定,新框架也倾向于将事件公开披露。

具体看,任何OpenAI员工都可标记错位案例,交由安全与对齐团队调查。

案例会被分为三类:Ready for Disclosure(可直接披露)、Minor Investigation(需进一步技术调查)、Larger Investigation(复杂调查,披露可能因安全等原因延迟,并须提前通知受影响方)。

如果披露与否存在争议,将提交公司安全咨询组(SAG)裁决,如果仍不确定将会上报管理层。

框架发布的同时,OpenAI还公开了6份过去半年内观察到的模型异常行为报告。

1、一款未发布的科研模型在用于跨上下文继续工作的摘要中插入了无关指令(包括要求无视自身约束的指令),共影响27份摘要。

2、在任务摘要中隐藏错误的指令:GPT-5.6 Sol训练期间,多个模型实例在摘要中加入指令,要求掩盖自身错误或错位行为——如编造缺失的历史数据且不披露、隐瞒源版本不匹配。

3、擅自使用暴露的API密钥并编造信息:模型在回答某县收入数据时,未经授权使用了公开仓库中暴露的API密钥;仍取不到数据后,直接编造结果并谎称来自指定来源。

4、未经允许上传文件以便引用:用户要求列出某类湖泊的ID和名称,智能体用Python找到答案后,因要求附带浏览器引用,未经询问就把文件上传到互联网以便引用。

5、借内部软件仓库违规通信:多个模型把内部软件仓库当"留言板",跨训练样本交换请求与响应。

6、协作智能体未经授权共享文件:在执行同一训练任务的协作过程中,当Agent无法访问彼此的本地文件时,它们改用公共文件托管网站分享文件,导致任务交付物暴露在公共URL之下。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
霍啟山未婚妻娜然起底 173cm俄蒙混血名模曾出演周杰倫MV女主

霍啟山未婚妻娜然起底 173cm俄蒙混血名模曾出演周杰倫MV女主

粤睇先生
2026-11-14 20:43:59
男子失业后断供房贷,靠跑外卖维生,法院:他家中有两名未成年子女,涉案房屋是全家唯一住所,暂不拍卖,付清欠付利息,其余部分分期还款

男子失业后断供房贷,靠跑外卖维生,法院:他家中有两名未成年子女,涉案房屋是全家唯一住所,暂不拍卖,付清欠付利息,其余部分分期还款

中国经济网
2026-11-16 11:04:07
中东:川普第一是别打垮伊朗让威胁继续,第二才是让内塔继续干

中东:川普第一是别打垮伊朗让威胁继续,第二才是让内塔继续干

邵旭峰域
2026-11-17 14:08:04
年薪5800万,却拖累全队!詹姆斯压力变大,你或许该被76人送走

年薪5800万,却拖累全队!詹姆斯压力变大,你或许该被76人送走

老梁体育漫谈
2026-11-17 00:14:30
19岁李嫣跟老爸聚餐!手不离烟动作熟练,170cm身材干瘪太像王菲

19岁李嫣跟老爸聚餐!手不离烟动作熟练,170cm身材干瘪太像王菲

一娱三分地
2025-08-14 13:28:27
一个90多岁的老太太,脚上蹬着15块钱的破鞋,住着武汉不起眼的小院,却一口气捐了1000万。

一个90多岁的老太太,脚上蹬着15块钱的破鞋,住着武汉不起眼的小院,却一口气捐了1000万。

回京历史梦
2026-11-10 17:50:30
“吃相和面相一样难看!”那个攥着铁叉护食的小女孩看着让人恶心,家长还发在网上,网友:从小不教就这下场

“吃相和面相一样难看!”那个攥着铁叉护食的小女孩看着让人恶心,家长还发在网上,网友:从小不教就这下场

番外行
2026-11-10 19:50:56
为啥大部分人不愿做肠镜?院士:做一次肠镜,或能保5年不得肠癌

为啥大部分人不愿做肠镜?院士:做一次肠镜,或能保5年不得肠癌

39健康网
2026-11-13 18:02:28
红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

幻梦人生
2024-12-08 04:05:03
亚足联彻底不管了!东南亚版A3联赛火热进行,中超球队无缘参赛

亚足联彻底不管了!东南亚版A3联赛火热进行,中超球队无缘参赛

湖北的老球迷
2026-11-17 10:51:51
“华系车”赢麻!鸿蒙大涨139%,极狐涨112%,小米大跌11%

“华系车”赢麻!鸿蒙大涨139%,极狐涨112%,小米大跌11%

大厂财经社
2026-11-17 12:19:08
西媒直呼德国队5-0荷兰令人生畏,克洛普羞辱了哈维

西媒直呼德国队5-0荷兰令人生畏,克洛普羞辱了哈维

懂球帝
2026-11-17 18:03:15
浙江队官方:头部遭撞击的U15球员已接受手术,还处于术后监测中

浙江队官方:头部遭撞击的U15球员已接受手术,还处于术后监测中

懂球帝
2026-11-17 17:21:11
被支付宝砸中“一亿好运”的信小呆,8年后的现状,你绝对想不到

被支付宝砸中“一亿好运”的信小呆,8年后的现状,你绝对想不到

青木说
2026-11-17 17:37:54
周鹏火线归位!徐杰领衔广东12人名单曝光,首战死磕山东,这仇必须报!

周鹏火线归位!徐杰领衔广东12人名单曝光,首战死磕山东,这仇必须报!

林子说事
2026-11-17 14:04:17
黄仁勋正在考虑复职!新加坡亿万富豪:没有老黄,不会再有进一步投资

黄仁勋正在考虑复职!新加坡亿万富豪:没有老黄,不会再有进一步投资

新加坡椰子
2026-11-16 18:53:27
砸8亿清退1200名中国工程师,SpaceX强行去中国化,如今怎么样了

砸8亿清退1200名中国工程师,SpaceX强行去中国化,如今怎么样了

南宗历史
2026-09-17 13:38:03
宇树科技跌超10%,领跌物理AI板块

宇树科技跌超10%,领跌物理AI板块

澎湃新闻
2026-11-17 10:29:03
市场部负责人被带走,360证实:涉经济问题

市场部负责人被带走,360证实:涉经济问题

观察者网
2026-11-17 12:18:58
知名男演员凌晨酒驾撞车!警方介入,或面临刑事立案!本人致歉!他因这部经典作品被中国观众熟知↗

知名男演员凌晨酒驾撞车!警方介入,或面临刑事立案!本人致歉!他因这部经典作品被中国观众熟知↗

极目新闻
2026-11-15 09:03:13
2026-11-17 19:03:00
时代周报 incentive-icons
时代周报
影响有影响力的人
43271文章数 522103关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

家居
手机
数码
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版