网易首页 > 网易号 > 正文 申请入驻

OpenAI发布"模型错位披露框架",一次性公开6份模型异常行为报告

0
分享至

本文来源:开机实验室 作者:冯恋阁


最近关于AI发展安全的讨论不少,其中,OpenAI CEO 山姆·奥特曼在近期表态,公司不考虑上市,将优先保障AI安全发展。

9月16日,OpenAI发布了一套模型错位(Model Misalignment)跟踪、调查与披露框架。框架覆盖模型全生命周期(训练、评估、测试、部署),严重的错位/安全事件还计划向美国政府报告(机制制定中)。每份报告将含行为描述、严重性与外部影响、发生场景、日期、发现时间及涉及模型等要素。

框架核心是建立系统化披露机制,OpenAI表示,公司对错位发现的披露是"零散且不够及时"的,新框架要求在观察到异常后尽快披露。OpenAI在公告中表示,公司相信错位问题上的透明度很有价值,所以即使(案例的)重要性/意义尚不确定,新框架也倾向于将事件公开披露。

具体看,任何OpenAI员工都可标记错位案例,交由安全与对齐团队调查。

案例会被分为三类:Ready for Disclosure(可直接披露)、Minor Investigation(需进一步技术调查)、Larger Investigation(复杂调查,披露可能因安全等原因延迟,并须提前通知受影响方)。

如果披露与否存在争议,将提交公司安全咨询组(SAG)裁决,如果仍不确定将会上报管理层。

框架发布的同时,OpenAI还公开了6份过去半年内观察到的模型异常行为报告。

1、一款未发布的科研模型在用于跨上下文继续工作的摘要中插入了无关指令(包括要求无视自身约束的指令),共影响27份摘要。

2、在任务摘要中隐藏错误的指令:GPT-5.6 Sol训练期间,多个模型实例在摘要中加入指令,要求掩盖自身错误或错位行为——如编造缺失的历史数据且不披露、隐瞒源版本不匹配。

3、擅自使用暴露的API密钥并编造信息:模型在回答某县收入数据时,未经授权使用了公开仓库中暴露的API密钥;仍取不到数据后,直接编造结果并谎称来自指定来源。

4、未经允许上传文件以便引用:用户要求列出某类湖泊的ID和名称,智能体用Python找到答案后,因要求附带浏览器引用,未经询问就把文件上传到互联网以便引用。

5、借内部软件仓库违规通信:多个模型把内部软件仓库当"留言板",跨训练样本交换请求与响应。

6、协作智能体未经授权共享文件:在执行同一训练任务的协作过程中,当Agent无法访问彼此的本地文件时,它们改用公共文件托管网站分享文件,导致任务交付物暴露在公共URL之下。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
终于明白,中国为啥不趁着俄乌打仗,欧美腾不出手时收复台湾了!

终于明白,中国为啥不趁着俄乌打仗,欧美腾不出手时收复台湾了!

叶葉夜
2026-11-19 10:05:32
贾国龙不服输,又要做火锅生意:新店主打“冰煮鲜羊”,人均102元,西贝与天边砂锅焖面门店规模已大幅缩水

贾国龙不服输,又要做火锅生意:新店主打“冰煮鲜羊”,人均102元,西贝与天边砂锅焖面门店规模已大幅缩水

蓝鲸新闻
2026-11-19 16:25:03
北京男子在养老院干16年,劝人:攥100万不如守3样

北京男子在养老院干16年,劝人:攥100万不如守3样

记录生活日常阿蜴
2026-11-19 00:05:47
TVB资深绿叶解释深夜落泪照,让不少好友担心,丈夫投资新球馆

TVB资深绿叶解释深夜落泪照,让不少好友担心,丈夫投资新球馆

粤睇先生
2026-11-20 00:10:48
一篇内参让领导人反思,中央由此取消副总理级专机,她究竟写了什么

一篇内参让领导人反思,中央由此取消副总理级专机,她究竟写了什么

瑾瑜聊情感
2025-08-23 09:43:36
国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

国家出手了!2027年起,看病、买药、住院,可能迎来这些新变化

江启
2026-11-19 09:51:17
英伟达临时CEO呼吁“向前看” Arm掌门人据悉获猎头接洽

英伟达临时CEO呼吁“向前看” Arm掌门人据悉获猎头接洽

财联社
2026-11-19 07:20:35
女孩每天去超市货架偷面包,老板装没看见,10年后老板收到快递哭了

女孩每天去超市货架偷面包,老板装没看见,10年后老板收到快递哭了

悬案解密档案
2025-11-03 10:58:58
美论坛:孟买已领先上海30年,可为何中国人仍觉得印度落后?

美论坛:孟买已领先上海30年,可为何中国人仍觉得印度落后?

有牙的兔纸
2026-11-19 08:34:35
阿里巴巴最新业绩出炉!股价巨震

阿里巴巴最新业绩出炉!股价巨震

证券时报
2026-11-19 21:29:11
腰臀比例太出众!莱昂诺尔公主最新街拍,镜头表现力完胜妹妹

腰臀比例太出众!莱昂诺尔公主最新街拍,镜头表现力完胜妹妹

夜深爱杂谈
2026-11-19 19:51:23
曝蓉城今夏曾接触郑智!李金羽也进候选 名记:新帅或聘四川名宿

曝蓉城今夏曾接触郑智!李金羽也进候选 名记:新帅或聘四川名宿

我爱英超
2026-11-19 13:09:34
俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

俄罗斯专家直言不讳:倘若中国下定决心对日本动手,那就只剩两种选择——要么干脆不出手,要么出手就一击致命!

人生录
2026-10-15 06:06:09
深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

券商中国
2026-11-19 02:14:46
1600元烤全羊只剩骨架!剥不出一两肉,四川涉事民宿辩解火太大

1600元烤全羊只剩骨架!剥不出一两肉,四川涉事民宿辩解火太大

离离言几许
2026-11-20 00:19:20
红果短剧再踩雷,一切都结束了!

红果短剧再踩雷,一切都结束了!

广告创意
2026-11-18 18:38:58
彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

彻底收回!中国关停印度全部签证外包中心,使馆直管严查,印度商界彻底慌了

魔都姐姐杂谈
2026-11-18 13:09:03
聪明能干,自带锦鲤体质的三大星座:好运从来都是性格的回响

聪明能干,自带锦鲤体质的三大星座:好运从来都是性格的回响

别人都叫我阿螫
2026-11-20 01:13:04
日本最后的心理防线被击穿了,它的恐惧已经到了顶点

日本最后的心理防线被击穿了,它的恐惧已经到了顶点

一个坏土豆
2026-09-27 19:12:26
丈夫趁妻子熟睡,偷偷牵出家里的羊和鹅,妻子发现后气得回了娘家

丈夫趁妻子熟睡,偷偷牵出家里的羊和鹅,妻子发现后气得回了娘家

智慧生活笔记
2026-11-20 02:34:37
2026-11-20 03:51:00
时代周报 incentive-icons
时代周报
影响有影响力的人
43338文章数 522104关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

旅游
数码
家居
房产
教育

旅游要闻

深圳游客打卡山城!重庆文旅集团秋假专属礼包获好评,大家感叹不虚此行

数码要闻

联想Legion Go Beam掌机谍照曝光:取消标志性触控板 改用16:9屏幕

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

2.5亿!丁村侨中,新动作来了!

教育要闻

关于江苏省2027年艺术类专业考试通知书和省统考准考证自助打印的说明

无障碍浏览 进入关怀版