网易首页 > 网易号 > 正文 申请入驻

OpenAI发布"模型错位披露框架",一次性公开6份模型异常行为报告

0
分享至

本文来源:开机实验室 作者:冯恋阁


最近关于AI发展安全的讨论不少,其中,OpenAI CEO 山姆·奥特曼在近期表态,公司不考虑上市,将优先保障AI安全发展。

9月16日,OpenAI发布了一套模型错位(Model Misalignment)跟踪、调查与披露框架。框架覆盖模型全生命周期(训练、评估、测试、部署),严重的错位/安全事件还计划向美国政府报告(机制制定中)。每份报告将含行为描述、严重性与外部影响、发生场景、日期、发现时间及涉及模型等要素。

框架核心是建立系统化披露机制,OpenAI表示,公司对错位发现的披露是"零散且不够及时"的,新框架要求在观察到异常后尽快披露。OpenAI在公告中表示,公司相信错位问题上的透明度很有价值,所以即使(案例的)重要性/意义尚不确定,新框架也倾向于将事件公开披露。

具体看,任何OpenAI员工都可标记错位案例,交由安全与对齐团队调查。

案例会被分为三类:Ready for Disclosure(可直接披露)、Minor Investigation(需进一步技术调查)、Larger Investigation(复杂调查,披露可能因安全等原因延迟,并须提前通知受影响方)。

如果披露与否存在争议,将提交公司安全咨询组(SAG)裁决,如果仍不确定将会上报管理层。

框架发布的同时,OpenAI还公开了6份过去半年内观察到的模型异常行为报告。

1、一款未发布的科研模型在用于跨上下文继续工作的摘要中插入了无关指令(包括要求无视自身约束的指令),共影响27份摘要。

2、在任务摘要中隐藏错误的指令:GPT-5.6 Sol训练期间,多个模型实例在摘要中加入指令,要求掩盖自身错误或错位行为——如编造缺失的历史数据且不披露、隐瞒源版本不匹配。

3、擅自使用暴露的API密钥并编造信息:模型在回答某县收入数据时,未经授权使用了公开仓库中暴露的API密钥;仍取不到数据后,直接编造结果并谎称来自指定来源。

4、未经允许上传文件以便引用:用户要求列出某类湖泊的ID和名称,智能体用Python找到答案后,因要求附带浏览器引用,未经询问就把文件上传到互联网以便引用。

5、借内部软件仓库违规通信:多个模型把内部软件仓库当"留言板",跨训练样本交换请求与响应。

6、协作智能体未经授权共享文件:在执行同一训练任务的协作过程中,当Agent无法访问彼此的本地文件时,它们改用公共文件托管网站分享文件,导致任务交付物暴露在公共URL之下。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1983年北京男子打包买下近9000幅没人要的字画,如今保守估值180亿

1983年北京男子打包买下近9000幅没人要的字画,如今保守估值180亿

收藏大视界
2026-11-17 20:28:15
DeepSeek 陷入无尽思考:22 小时不回答、不超时、不报错

DeepSeek 陷入无尽思考:22 小时不回答、不超时、不报错

云头条
2026-08-06 17:00:06
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

阿斚田侃故事
2026-11-18 11:23:26
哪吒实力有多强?在天界算狠角色吗?看网友分析大为震撼!古今第一

哪吒实力有多强?在天界算狠角色吗?看网友分析大为震撼!古今第一

另子维爱读史
2026-11-17 20:45:15
阿媒:中卫特罗伊洛完成阿根廷队首秀,1米94身高弥补球队弱点

阿媒:中卫特罗伊洛完成阿根廷队首秀,1米94身高弥补球队弱点

懂球帝
2026-11-18 09:19:38
消失前,他喘着粗气说:“一个人都没有”

消失前,他喘着粗气说:“一个人都没有”

中国新闻周刊
2026-11-17 18:55:45
这是王安石的书法,如今是“一级国宝”,网友却评:丑陋扭曲!

这是王安石的书法,如今是“一级国宝”,网友却评:丑陋扭曲!

书法网
2026-11-17 17:58:44
省下 8000 万!曼联天才新星被低估!波切蒂诺挖出红魔瑰宝

省下 8000 万!曼联天才新星被低估!波切蒂诺挖出红魔瑰宝

澜归序
2026-11-18 10:22:52
苗条不流行了!日本业界现在最受欢迎的体型是⋯

苗条不流行了!日本业界现在最受欢迎的体型是⋯

孤独的独角兽影视
2026-11-18 09:35:04
终于硬气!中国拒绝被澳大利亚铁矿大鳄拿捏,因我们有了杀手锏!

终于硬气!中国拒绝被澳大利亚铁矿大鳄拿捏,因我们有了杀手锏!

阿胡
2025-10-05 10:11:24
8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

8年前,马哈蒂尔叫停了中马铁路合同转向日本,拒绝赔付中国361亿,2026年这条铁路进度达93%,最后结局反转得连狗血剧本都不敢这么写

扶苏聊历史
2026-10-22 14:37:54
1962年朱老总回到井冈山,一眼认出挑粪妇人竟是王泉媛,沉脸质问地委:她手下三千女兵的血白流了?怎能让她埋没在这里!

1962年朱老总回到井冈山,一眼认出挑粪妇人竟是王泉媛,沉脸质问地委:她手下三千女兵的血白流了?怎能让她埋没在这里!

唠叨说历史
2026-11-17 19:41:29
南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

南越文王只剩一堆残渣,却留下个名字奇怪的明星文物:人操蛇?

收藏大视界
2026-11-17 23:09:32
VT-4坦克配“相控阵30mm防空炮”,自动打无人机?为什么不学俄乌实战经验,堆防护网?

VT-4坦克配“相控阵30mm防空炮”,自动打无人机?为什么不学俄乌实战经验,堆防护网?

蓝星杂谈
2026-11-18 08:05:05
不查不知道,一查吓一跳,原来为国争光的王虹,私下生活这么壕

不查不知道,一查吓一跳,原来为国争光的王虹,私下生活这么壕

北海史记
2026-11-05 18:19:36
APEC工商领导人峰会开幕,王兴兴、董明珠、李东生、雷军等参会!

APEC工商领导人峰会开幕,王兴兴、董明珠、李东生、雷军等参会!

中国家电网
2026-11-18 08:51:31
马来西亚总理抵达深圳!向欢迎队伍一路鼓掌

马来西亚总理抵达深圳!向欢迎队伍一路鼓掌

看看新闻Knews
2026-11-18 01:58:25
高市早苗罕见表态:将继承历代内阁立场,当然也包括"村山谈话"

高市早苗罕见表态:将继承历代内阁立场,当然也包括"村山谈话"

锅锅爱历史
2026-10-17 01:34:01
张颂文新剧《谷雨》起争议,官媒犀利锐评,不提演技却字字珠玑

张颂文新剧《谷雨》起争议,官媒犀利锐评,不提演技却字字珠玑

可乐谈情感
2026-11-18 12:19:11
明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

云霄纪史观
2026-11-17 04:14:58
2026-11-18 13:00:49
时代周报 incentive-icons
时代周报
影响有影响力的人
43288文章数 522104关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
亲子
数码
公开课
军事航空

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

亲子要闻

宝宝气人但是聪明的4个行为

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版