网易首页 > 网易号 > 正文 申请入驻

OpenAI发布"模型错位披露框架",一次性公开6份模型异常行为报告

0
分享至

本文来源:开机实验室 作者:冯恋阁


最近关于AI发展安全的讨论不少,其中,OpenAI CEO 山姆·奥特曼在近期表态,公司不考虑上市,将优先保障AI安全发展。

9月16日,OpenAI发布了一套模型错位(Model Misalignment)跟踪、调查与披露框架。框架覆盖模型全生命周期(训练、评估、测试、部署),严重的错位/安全事件还计划向美国政府报告(机制制定中)。每份报告将含行为描述、严重性与外部影响、发生场景、日期、发现时间及涉及模型等要素。

框架核心是建立系统化披露机制,OpenAI表示,公司对错位发现的披露是"零散且不够及时"的,新框架要求在观察到异常后尽快披露。OpenAI在公告中表示,公司相信错位问题上的透明度很有价值,所以即使(案例的)重要性/意义尚不确定,新框架也倾向于将事件公开披露。

具体看,任何OpenAI员工都可标记错位案例,交由安全与对齐团队调查。

案例会被分为三类:Ready for Disclosure(可直接披露)、Minor Investigation(需进一步技术调查)、Larger Investigation(复杂调查,披露可能因安全等原因延迟,并须提前通知受影响方)。

如果披露与否存在争议,将提交公司安全咨询组(SAG)裁决,如果仍不确定将会上报管理层。

框架发布的同时,OpenAI还公开了6份过去半年内观察到的模型异常行为报告。

1、一款未发布的科研模型在用于跨上下文继续工作的摘要中插入了无关指令(包括要求无视自身约束的指令),共影响27份摘要。

2、在任务摘要中隐藏错误的指令:GPT-5.6 Sol训练期间,多个模型实例在摘要中加入指令,要求掩盖自身错误或错位行为——如编造缺失的历史数据且不披露、隐瞒源版本不匹配。

3、擅自使用暴露的API密钥并编造信息:模型在回答某县收入数据时,未经授权使用了公开仓库中暴露的API密钥;仍取不到数据后,直接编造结果并谎称来自指定来源。

4、未经允许上传文件以便引用:用户要求列出某类湖泊的ID和名称,智能体用Python找到答案后,因要求附带浏览器引用,未经询问就把文件上传到互联网以便引用。

5、借内部软件仓库违规通信:多个模型把内部软件仓库当"留言板",跨训练样本交换请求与响应。

6、协作智能体未经授权共享文件:在执行同一训练任务的协作过程中,当Agent无法访问彼此的本地文件时,它们改用公共文件托管网站分享文件,导致任务交付物暴露在公共URL之下。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
奥多谈卡马尔达:天赋仍在,缺的是耐心与平稳路径

奥多谈卡马尔达:天赋仍在,缺的是耐心与平稳路径

甜度百分百21
2026-11-20 00:48:20
英伟达临时CEO称将不再向中国出货H200芯片,外交部:中方已多次阐明在美国输华芯片问题上的原则立场

英伟达临时CEO称将不再向中国出货H200芯片,外交部:中方已多次阐明在美国输华芯片问题上的原则立场

政知新媒体
2026-11-18 15:54:52
快刀砍偏,李钦诚被骗,三星杯决赛第二局中盘告负,用时最少

快刀砍偏,李钦诚被骗,三星杯决赛第二局中盘告负,用时最少

真理是我亲戚
2026-11-19 14:07:18
终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

夜深爱杂谈
2026-11-19 20:44:12
11月19日盘面深度解读:指数翻红,仍超4100只下跌,何时才能见底?

11月19日盘面深度解读:指数翻红,仍超4100只下跌,何时才能见底?

小白鸽财经
2026-11-19 09:54:46
姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

舞指飞扬
2026-11-13 07:42:15
中方敦促以色列:尽快撤出!

中方敦促以色列:尽快撤出!

极目新闻
2026-11-17 16:39:40
泽连斯基:全世界都在等待乌克兰战胜俄罗斯那个混蛋!

泽连斯基:全世界都在等待乌克兰战胜俄罗斯那个混蛋!

老马拉车莫少装
2026-07-06 01:58:00
小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

西府赵王爷
2025-03-22 15:47:18
李小龙当年在武术界威名远扬,妻子琳达却在晚年自传里写道:李小龙曾对我坦言,世上存在一类对手能让他发自内心感到忌惮

李小龙当年在武术界威名远扬,妻子琳达却在晚年自传里写道:李小龙曾对我坦言,世上存在一类对手能让他发自内心感到忌惮

磊子讲史
2026-10-10 18:52:12
美股三大期指,快速拉升

美股三大期指,快速拉升

新浪财经
2026-11-19 15:27:51
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
GTA6玩家想攻略美女却碰壁!榆木脑袋杰森只顾修水管

GTA6玩家想攻略美女却碰壁!榆木脑袋杰森只顾修水管

游民星空
2026-11-19 10:05:11
你想明白了美国为啥几乎看不见医闹吗?因为美国但凡上点档次的医院,基本都是私立的,你要是跑私立医院去撒泼,那后果可相当吃不消

你想明白了美国为啥几乎看不见医闹吗?因为美国但凡上点档次的医院,基本都是私立的,你要是跑私立医院去撒泼,那后果可相当吃不消

扶苏聊历史
2026-09-24 11:08:23
马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

马克龙私密谈话流出,48岁仍未“断奶”,73岁布丽吉特成最大牺牲品

恒星文娱
2026-11-17 23:01:29
前香港电影“御用警察”移民加拿大近况曝光,转行做教车师傅,大谈幕后秘闻

前香港电影“御用警察”移民加拿大近况曝光,转行做教车师傅,大谈幕后秘闻

粤睇先生
2026-11-17 23:28:12
周恩来一生最亲近的4位将帅:除了朱德、陈毅,另外两位是谁?

周恩来一生最亲近的4位将帅:除了朱德、陈毅,另外两位是谁?

章媸解说体育
2026-10-21 16:10:00
R星官方回应《GTA6》30帧:PS5 Pro性能做不到!

R星官方回应《GTA6》30帧:PS5 Pro性能做不到!

游民星空
2026-11-18 23:28:03
疯了!美国又猛推华为一把

疯了!美国又猛推华为一把

华商韬略毕亚军
2026-11-19 10:13:20
美国总统称不支持台独,中美关系是世界和平的基石

美国总统称不支持台独,中美关系是世界和平的基石

世家宝
2026-11-20 00:46:21
2026-11-20 01:40:49
时代周报 incentive-icons
时代周报
影响有影响力的人
43338文章数 522104关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

头条要闻

李在明乘机返回韩国 发文:感谢中国热情接待

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

手机
亲子
健康
房产
时尚

手机要闻

OpenAI首款硬件不是手机!果链深度参与,苹果烙印满满?

亲子要闻

每个男孩妈妈都有一段很难走的路

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

2.5亿!丁村侨中,新动作来了!

被叫老板娘7年,张萌终于翻脸

无障碍浏览 进入关怀版