网易首页 > 网易号 > 正文 申请入驻

OpenAI发布"模型错位披露框架",一次性公开6份模型异常行为报告

0
分享至

本文来源:开机实验室 作者:冯恋阁


最近关于AI发展安全的讨论不少,其中,OpenAI CEO 山姆·奥特曼在近期表态,公司不考虑上市,将优先保障AI安全发展。

9月16日,OpenAI发布了一套模型错位(Model Misalignment)跟踪、调查与披露框架。框架覆盖模型全生命周期(训练、评估、测试、部署),严重的错位/安全事件还计划向美国政府报告(机制制定中)。每份报告将含行为描述、严重性与外部影响、发生场景、日期、发现时间及涉及模型等要素。

框架核心是建立系统化披露机制,OpenAI表示,公司对错位发现的披露是"零散且不够及时"的,新框架要求在观察到异常后尽快披露。OpenAI在公告中表示,公司相信错位问题上的透明度很有价值,所以即使(案例的)重要性/意义尚不确定,新框架也倾向于将事件公开披露。

具体看,任何OpenAI员工都可标记错位案例,交由安全与对齐团队调查。

案例会被分为三类:Ready for Disclosure(可直接披露)、Minor Investigation(需进一步技术调查)、Larger Investigation(复杂调查,披露可能因安全等原因延迟,并须提前通知受影响方)。

如果披露与否存在争议,将提交公司安全咨询组(SAG)裁决,如果仍不确定将会上报管理层。

框架发布的同时,OpenAI还公开了6份过去半年内观察到的模型异常行为报告。

1、一款未发布的科研模型在用于跨上下文继续工作的摘要中插入了无关指令(包括要求无视自身约束的指令),共影响27份摘要。

2、在任务摘要中隐藏错误的指令:GPT-5.6 Sol训练期间,多个模型实例在摘要中加入指令,要求掩盖自身错误或错位行为——如编造缺失的历史数据且不披露、隐瞒源版本不匹配。

3、擅自使用暴露的API密钥并编造信息:模型在回答某县收入数据时,未经授权使用了公开仓库中暴露的API密钥;仍取不到数据后,直接编造结果并谎称来自指定来源。

4、未经允许上传文件以便引用:用户要求列出某类湖泊的ID和名称,智能体用Python找到答案后,因要求附带浏览器引用,未经询问就把文件上传到互联网以便引用。

5、借内部软件仓库违规通信:多个模型把内部软件仓库当"留言板",跨训练样本交换请求与响应。

6、协作智能体未经授权共享文件:在执行同一训练任务的协作过程中,当Agent无法访问彼此的本地文件时,它们改用公共文件托管网站分享文件,导致任务交付物暴露在公共URL之下。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
克宫承认克里米亚大桥被炸塌,佩斯科夫称大桥将被修复且“比以前更好”

克宫承认克里米亚大桥被炸塌,佩斯科夫称大桥将被修复且“比以前更好”

山河路口
2026-11-17 19:41:55
不止特朗普!11月17日,马斯克官宣,不去纽约峰会,将前往中国

不止特朗普!11月17日,马斯克官宣,不去纽约峰会,将前往中国

古书奇谈
2026-11-18 11:30:49
台湾飞行员黄植诚起义后娶了空姐,8年后她前往美国再也没回来,安全部门半夜围了住处,谁也没想到最后在卧室搜出了这个

台湾飞行员黄植诚起义后娶了空姐,8年后她前往美国再也没回来,安全部门半夜围了住处,谁也没想到最后在卧室搜出了这个

磊子讲史
2026-11-16 14:38:55
一年赚3650万,本季五次0进球!好在9换2大赚,5年1.12亿也留对人

一年赚3650万,本季五次0进球!好在9换2大赚,5年1.12亿也留对人

锅子篮球
2026-11-18 14:08:38
俄罗斯定下更高目标:不仅要打垮乌克兰,还想解决欧洲这心腹大患

俄罗斯定下更高目标:不仅要打垮乌克兰,还想解决欧洲这心腹大患

经纬戎韬
2026-11-17 03:10:10
央视王炸剧来了!于和伟白敬亭主演,江疏影朱亚文助阵,夯爆了

央视王炸剧来了!于和伟白敬亭主演,江疏影朱亚文助阵,夯爆了

喜欢历史的阿繁
2026-11-18 04:23:34
高盛预测2050年美国GDP37.2万亿美元,印度22.2万亿美元,日本6万亿美元,中国呢?

高盛预测2050年美国GDP37.2万亿美元,印度22.2万亿美元,日本6万亿美元,中国呢?

巢客HOME
2026-11-18 05:15:04
别买!全是假的!又一产品大翻车,成本只有10元,很多人长期上当

别买!全是假的!又一产品大翻车,成本只有10元,很多人长期上当

孤城落日
2026-11-17 19:04:34
霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

不写散文诗
2026-11-15 15:09:22
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

特朗普是美国历史上第一位,也是到目前为止唯一一位,当选总统前既没有任何文职政府公职、也没有参军服役经历的总统

回京历史梦
2026-10-26 10:49:29
国足2比2战平巴林,邵佳一的水平明显比伊万低一个档次

国足2比2战平巴林,邵佳一的水平明显比伊万低一个档次

李广专业体育评论
2026-11-17 22:03:44
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
停更三年粉丝流失不计其数,复出五个月涨到两千万,不愧被称第一网红

停更三年粉丝流失不计其数,复出五个月涨到两千万,不愧被称第一网红

In风尚
2026-11-18 06:04:31
陆毅女儿正式出道,曾为动画电影《蜡笔总动员》配音,还发行过多首个人单曲

陆毅女儿正式出道,曾为动画电影《蜡笔总动员》配音,还发行过多首个人单曲

韩小娱
2026-11-18 12:42:01
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
急红眼了!临上飞机前还在乞讨“走廊寒暄”,高市早苗把日本外交混成了街头碰瓷!

急红眼了!临上飞机前还在乞讨“走廊寒暄”,高市早苗把日本外交混成了街头碰瓷!

军机不可泄漏
2026-11-17 17:34:28
11月17日,大家期盼已久的2026退休养老金,究竟涨还是不涨?

11月17日,大家期盼已久的2026退休养老金,究竟涨还是不涨?

谁将主宰未来
2026-11-18 10:42:02
麦克阿瑟到晚年总算说了句大实话:当年朝鲜那一仗中国要是没打,如今整个亚洲的大格局,恐怕早就不知变成啥样了

麦克阿瑟到晚年总算说了句大实话:当年朝鲜那一仗中国要是没打,如今整个亚洲的大格局,恐怕早就不知变成啥样了

唠叨说历史
2026-11-18 11:10:54
2026-11-18 14:43:00
时代周报 incentive-icons
时代周报
影响有影响力的人
43290文章数 522104关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

时尚
房产
手机
艺术
数码

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

房产要闻

6.6亿!海口卖地!

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

无障碍浏览 进入关怀版