网易首页 > 网易号 > 正文 申请入驻

OpenAI发布"模型错位披露框架",一次性公开6份模型异常行为报告

0
分享至

本文来源:开机实验室 作者:冯恋阁


最近关于AI发展安全的讨论不少,其中,OpenAI CEO 山姆·奥特曼在近期表态,公司不考虑上市,将优先保障AI安全发展。

9月16日,OpenAI发布了一套模型错位(Model Misalignment)跟踪、调查与披露框架。框架覆盖模型全生命周期(训练、评估、测试、部署),严重的错位/安全事件还计划向美国政府报告(机制制定中)。每份报告将含行为描述、严重性与外部影响、发生场景、日期、发现时间及涉及模型等要素。

框架核心是建立系统化披露机制,OpenAI表示,公司对错位发现的披露是"零散且不够及时"的,新框架要求在观察到异常后尽快披露。OpenAI在公告中表示,公司相信错位问题上的透明度很有价值,所以即使(案例的)重要性/意义尚不确定,新框架也倾向于将事件公开披露。

具体看,任何OpenAI员工都可标记错位案例,交由安全与对齐团队调查。

案例会被分为三类:Ready for Disclosure(可直接披露)、Minor Investigation(需进一步技术调查)、Larger Investigation(复杂调查,披露可能因安全等原因延迟,并须提前通知受影响方)。

如果披露与否存在争议,将提交公司安全咨询组(SAG)裁决,如果仍不确定将会上报管理层。

框架发布的同时,OpenAI还公开了6份过去半年内观察到的模型异常行为报告。

1、一款未发布的科研模型在用于跨上下文继续工作的摘要中插入了无关指令(包括要求无视自身约束的指令),共影响27份摘要。

2、在任务摘要中隐藏错误的指令:GPT-5.6 Sol训练期间,多个模型实例在摘要中加入指令,要求掩盖自身错误或错位行为——如编造缺失的历史数据且不披露、隐瞒源版本不匹配。

3、擅自使用暴露的API密钥并编造信息:模型在回答某县收入数据时,未经授权使用了公开仓库中暴露的API密钥;仍取不到数据后,直接编造结果并谎称来自指定来源。

4、未经允许上传文件以便引用:用户要求列出某类湖泊的ID和名称,智能体用Python找到答案后,因要求附带浏览器引用,未经询问就把文件上传到互联网以便引用。

5、借内部软件仓库违规通信:多个模型把内部软件仓库当"留言板",跨训练样本交换请求与响应。

6、协作智能体未经授权共享文件:在执行同一训练任务的协作过程中,当Agent无法访问彼此的本地文件时,它们改用公共文件托管网站分享文件,导致任务交付物暴露在公共URL之下。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
等了21年!中国U17今晚22点迎U17世界杯首战,对手是西班牙

等了21年!中国U17今晚22点迎U17世界杯首战,对手是西班牙

懂球帝
2026-11-20 06:38:19
灰熊5连胜双杀送勇士5连败:探花16+6+5 伦德博格11+8+7

灰熊5连胜双杀送勇士5连败:探花16+6+5 伦德博格11+8+7

醉卧浮生
2026-11-20 11:28:19
“抢公章”!黄仁勋动手了

“抢公章”!黄仁勋动手了

华商韬略毕亚军
2026-11-19 10:07:29
刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

刚刚,史上最大IPO来了, 约600名员工身价或达上亿美元

凤凰网财经
2026-11-20 01:37:55
特朗普从中国返美途中发文:这是一次伟大且意义深远的访问

特朗普从中国返美途中发文:这是一次伟大且意义深远的访问

极目新闻
2026-11-20 09:35:13
高市深圳参会,日本网友的留言亮了!

高市深圳参会,日本网友的留言亮了!

仕道
2026-11-19 17:13:11
经济下行,中国股市开始不正常了

经济下行,中国股市开始不正常了

星语者056
2026-11-20 08:55:00
一代人有一代人的QQ

一代人有一代人的QQ

砺石商业评论
2026-11-20 10:11:55
巴萨再出梅西式天才?12岁童星52场狂轰145球 耐克1年前就已签下他

巴萨再出梅西式天才?12岁童星52场狂轰145球 耐克1年前就已签下他

风过乡
2026-11-20 08:54:48
中国赢了!大获成功,美国现场给承诺

中国赢了!大获成功,美国现场给承诺

荆楚寰宇文枢
2026-11-19 23:18:05
创业板指跌逾3% 下跌个股近5200只

创业板指跌逾3% 下跌个股近5200只

财联社
2026-11-20 10:25:04
最新消息:传黄仁勋不复职,就集体辞职!

最新消息:传黄仁勋不复职,就集体辞职!

新浪财经
2026-11-19 22:26:26
真不怪诺里!杨瀚森2罚不中,担任第2中锋0分1板,亨德森半场21分

真不怪诺里!杨瀚森2罚不中,担任第2中锋0分1板,亨德森半场21分

球场没跑道
2026-11-20 10:28:17
高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

高市早苗APEC独坐角落扇扇子,引日本网民群嘲:是去丢人现眼的吗?

可达鸭面面观
2026-11-20 08:41:45
王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

王思聪洛杉矶豪宅内烤全羊,双手插兜合影显霸气!网友:好惬意

娱乐团长
2026-11-18 13:17:46
女儿医美手术失败成“植物人”,父亲奔走八年追责,二审879万赔偿款家属减免至720万,三次刑事追责均落空

女儿医美手术失败成“植物人”,父亲奔走八年追责,二审879万赔偿款家属减免至720万,三次刑事追责均落空

大风新闻
2026-11-19 20:59:02
杰森洗澡还要穿丁字裤?《GTA6》日版和谐被痛批

杰森洗澡还要穿丁字裤?《GTA6》日版和谐被痛批

3DM游戏
2026-11-19 22:06:30
疯了!美国又猛推华为一把

疯了!美国又猛推华为一把

华商韬略毕亚军
2026-11-19 10:13:20
特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

吉刻新闻
2026-11-20 09:43:17
太震撼!俄罗斯记者到深圳先换人民币准备消费,几天下来一分没花,直呼中国“太先进了”

太震撼!俄罗斯记者到深圳先换人民币准备消费,几天下来一分没花,直呼中国“太先进了”

秋风妃
2026-11-19 19:41:34
2026-11-20 11:56:49
时代周报 incentive-icons
时代周报
影响有影响力的人
43339文章数 522104关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
教育
健康
手机
军事航空

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

医生眼里"很伤腰"的椅子,很多人天天坐

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版