网易首页 > 网易号 > 正文 申请入驻

奥特曼开掉3人,OpenAI又出大事了!

0
分享至


新智元报道


OpenAI三员大将,同一天被扫地出门!

就在刚刚,外媒爆出猛料,OpenAI以「泄密」为由,开掉了安全团队的三名研究员。

他们全是那篇CoT监控论文的作者,其中两位还是一作。


讽刺的是,OpenAI刚因为新模型GPT-6.1 Astra太会骗人,在DevDay前一天紧急叫停了发布。

现在倒好,AI越学越狡猾,OpenAI却先把能看穿它的人开掉了。


OpenAI大地震

专盯AI脑子的3人一夜出局

事情是这样的。

10月1日上午,X上突然传出风声,OpenAI安全团队的Tomek Korbak、Mikita Balesni和Jasmine Wang一起「离职」了。


大家原本以为,这不过是硅谷又一波正常的人事流动。

结果中午一篇报道出来,「离职」直接变成了「开除」。

官方声明是这样写的——

我们已与三人分道扬镳,原因是他们违反了公司关于获取和处理敏感信息的政策。

调查证实,这些人在公司既定流程之外处理了敏感信息,违反了我们的政策,也破坏了我们工作赖以进行的信任。


很快,外媒又挖出了OpenAI没说的细节。

被指泄露的,有一部分是OpenAI的基础设施架构,也就是它的系统到底是怎么搭起来的。接收方,正是一家专门测试AI模型的外部组织。

三人里,两位是安全研究员,一位是研究项目经理。

其中Korbak,还是Redwood Research和METR调查Hugging Face被黑事件时,OpenAI这边的技术对接人。


「CoT可监控性」核心作者,Hinton、Ilya站台研究

这三个人,都是从外部安全机构走进OpenAI的。

Korbak和Jasmine Wang都在英国AI安全研究所待过,Korbak还在Anthropic干过,Balesni则来自第三方评估机构Apollo Research。

进了OpenAI,他们死磕的就一件事,盯住AI到底在想什么。

推理模型在给出最终答案前,会先写一大段推理草稿,这就是思维链。

思维链监控,就是派另一个模型去偷看这份草稿,看它有没有在背地里盘算作弊、撒谎。


Korbak和Balesni,是《思维链可监控性》论文的前两位作者,Jasmine Wang也在署名之列。

这篇论文的署名横跨OpenAI、Anthropic和谷歌DeepMind,图灵奖得主Bengio也在上面。连OpenAI现任首席科学家Jakub Pachocki,都是作者之一。

论文的核心发现是,模型在草稿里常常会把坏心思直接写出来,比如「我们来黑掉它」「我们来搞点破坏」。

盯住这些草稿,比只看模型最后干了什么,更容易抓到它在使坏。

遇到真正难的任务,比如发起网络攻击、偷偷把自己拷贝出去,模型必须靠思维链一步步推理,想藏都很难藏。

论文把这件事称为「新的、也很脆弱的机会」,因为模型一旦学会用人类读不懂的方式「默想」,这扇窗就关上了。

所以他们呼吁各家前沿实验室,像测能力一样去测思维链还读不读得懂,把结果写进系统卡,再拿它来决定一个模型该不该训、该不该发。


诺奖得主Hinton、OpenAI前首席科学家Ilya Sutskever,都给这篇论文站了台。


可这篇连OpenAI首席科学家都署了名的论文,它的三位作者,如今被OpenAI亲手开掉了。

奥特曼的承诺,保质期只有19天

开掉他们的理由,是把信息递给了外人。

但问题是,明明在19天前,奥特曼还在公开欢迎外人进门查安全。

当时Anthropic CEO Dario Amodei提议,让第三方评估方像员工一样常驻AI公司。

奥特曼当天就在X上火速跟进,承诺「让独立评估方拿到员工级访问权限,OpenAI也会这么做」。


说干就干,仅仅10天后,OpenAI正式官宣,让第三方在模型训练阶段就介入评估,最敏感的工作还可能请外部的人进办公室做。

奥特曼发承诺那天,Korbak还在X上庆幸,自己能公开说出对OpenAI的不满。

谁能想到,到了10月1日,奥特曼的承诺还挂在X上,Korbak的名字已经进了开除名单。


OpenAI的「家丑」,全被外人给扬了

OpenAI对外人这么紧张,倒也不难理解。毕竟它最丢人的几件事,基本都是被外面捅破的。

Agent逃出沙盒、入侵Hugging Face,是Hugging Face自己先发现并公开的。

Agent拿一个荒废多年的德国wiki当留言板交流越狱经验,是外部安全组织Nightingale Collective曝光的,OpenAI几周前就知道,却一直捂着没说。

9月29日,外媒又爆出员工几个月前就警告过监控不够,高管为了赶发布进度,把警告压了下去。


所以就算请外人进门,能看到什么,OpenAI也卡得很紧。

8月METR调查Hugging Face事件时,三名调查员驻场6天,看了约1300份带原始思维链的记录。

可他们没法调用涉事模型,碰不到OpenAI的基础设施,连报告里哪些非公开信息能写,都得OpenAI说了算。

这次被指外泄的信息里,偏偏就有基础设施架构。

在OpenAI给外人开的那扇门里,AI想了什么可以看,OpenAI自己是怎么搭起来的,不能碰。

难怪连在OpenAI待了快9年的前首席未来学家Joshua Achiam都说,第一眼看上去,这就是一记实打实的乌龙球。


RSI最快半年爆发

能「看懂」它的人被捂住了嘴

那次驻场调查的三个人里,有一位叫Ryan Greenblatt,Korbak当时正是他在OpenAI的对接人。

9月27日,Greenblatt宣布加入METR,专门调查AI公司内部到底发生了什么。


在他看来,递归自我改进(RSI),也就是AI自己动手改进自己,最快6个月到1年就可能催生出远超人类的能力,拿到AI公司内部经过核实的信息,已经刻不容缓。

思维链监控,是人类偷看AI在盘算什么最直接的一扇窗。

这扇窗本来就脆弱,现在能读懂草稿的人,跟外面透一句底,饭碗就没了。

新模型Astra在如实汇报这件事上没达标,连OpenAI自己都承认了。

模型到底还对人类瞒了多少事,从今往后,外面的人只会越来越难知道。

通往超级智能的路上,如果只有公司内部的人看得懂AI在想什么,

而这些人往外说一句话就要丢工作,

公众能知道的,就只剩公司想让你知道的那部分。

参考资料:

https://x.com/ns123abc/status/2105719769685217318

https://x.com/andrewcurran_/status/2105696043841253611

编辑:摩西 桃子

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
殡葬师提醒:亲人刚咽气的10分钟内,必须做对的4件事

殡葬师提醒:亲人刚咽气的10分钟内,必须做对的4件事

宝哥精彩赛事
2026-10-01 21:27:18
国务院安委办、应急管理部视频调度国庆假期安全防范工作

国务院安委办、应急管理部视频调度国庆假期安全防范工作

界面新闻
2026-10-01 23:01:15
大选在即,美国在巴西一掷百万

大选在即,美国在巴西一掷百万

扬子晚报
2026-10-02 10:38:32
赖清德不签字!厦金大桥刘五店悬索桥合龙,央视报道让他无地自容

赖清德不签字!厦金大桥刘五店悬索桥合龙,央视报道让他无地自容

小马姨
2026-10-02 09:01:51
特朗普提议人工智能改称SI,斯洛文尼亚域名注册量暴涨

特朗普提议人工智能改称SI,斯洛文尼亚域名注册量暴涨

观察者网
2026-10-02 12:52:11
国庆高速堵疯了!今年的堵车,堵出新高度,彻底把网友笑翻了!

国庆高速堵疯了!今年的堵车,堵出新高度,彻底把网友笑翻了!

小鹿姐姐情感说
2026-10-02 01:02:30
金秋捷报 礼赞家国 上汽集团前三季度销量继续领跑中国车企

金秋捷报 礼赞家国 上汽集团前三季度销量继续领跑中国车企

汽车网评
2026-10-02 12:28:33
C罗哭晕?5大葡萄牙主力发声支持主帅!新7号:团结的集体最重要

C罗哭晕?5大葡萄牙主力发声支持主帅!新7号:团结的集体最重要

我爱英超
2026-10-02 07:29:32
我们都被课本骗了几十年:白求恩根本不是普通好人,当拨开课本简略的文字才发现,这段传奇不能只用善良概括

我们都被课本骗了几十年:白求恩根本不是普通好人,当拨开课本简略的文字才发现,这段传奇不能只用善良概括

回京历史梦
2026-10-02 08:35:16
10月2日,人社部与财政部公布关于2026年调整退休人员基本养老金的通知之前,财政部发布重要消息。

10月2日,人社部与财政部公布关于2026年调整退休人员基本养老金的通知之前,财政部发布重要消息。

白昼说故事
2026-10-02 07:18:33
国庆首日,高速上成了电车续航坟场!油车会淘汰的说法不攻自破

国庆首日,高速上成了电车续航坟场!油车会淘汰的说法不攻自破

刘哥谈体育
2026-10-02 01:10:58
拒绝加入詹姆斯字母行列!文班:看到有球员为预测平台宣传很可悲

拒绝加入詹姆斯字母行列!文班:看到有球员为预测平台宣传很可悲

罗说NBA
2026-10-02 05:38:12
扎心!6条人命!10月1日沪昆高速货车疲劳肇事:交强险仅20万分摊,商业险或拒赔,上千万赔偿找谁要?

扎心!6条人命!10月1日沪昆高速货车疲劳肇事:交强险仅20万分摊,商业险或拒赔,上千万赔偿找谁要?

火山詩话
2026-10-02 05:42:09
仅三天菲全国大乱了,菲政府已向中国求助,盼中方出手助渡难关!

仅三天菲全国大乱了,菲政府已向中国求助,盼中方出手助渡难关!

共工之锚
2026-10-02 00:35:06
国庆回家惊闻噩耗!宁夏一女生未成年妹妹偷用家长手机充值打赏,掏空家中40万积蓄,母亲急到在派出所晕倒

国庆回家惊闻噩耗!宁夏一女生未成年妹妹偷用家长手机充值打赏,掏空家中40万积蓄,母亲急到在派出所晕倒

火山詩话
2026-10-02 09:11:37
苏林在美国被特朗普冷落,回国之后第一件事,立即派人北上中国

苏林在美国被特朗普冷落,回国之后第一件事,立即派人北上中国

近史博览
2026-10-01 15:36:50
张继科训练基地学费曝光:月收费980元到4400元,学员水平越高收费越低;学员:这个资源收这个费用算很低了,“张继科亲自下场指导训练”

张继科训练基地学费曝光:月收费980元到4400元,学员水平越高收费越低;学员:这个资源收这个费用算很低了,“张继科亲自下场指导训练”

极目新闻
2026-10-01 21:40:09
诺贝尔和平奖揭晓倒计时一周,特朗普再获提名

诺贝尔和平奖揭晓倒计时一周,特朗普再获提名

澎湃新闻
2026-10-01 17:50:27
水管工冲进驾驶舱救人后,身着血衣和总理拥抱并致歉:我好几次想拿回行李,换件干净衣服再来见你

水管工冲进驾驶舱救人后,身着血衣和总理拥抱并致歉:我好几次想拿回行李,换件干净衣服再来见你

澎湃新闻
2026-10-01 15:59:05
这真是大聪明啊!浙江一车主避开高速充电排队,另辟蹊径发现宝藏补能点,47度电仅花20元

这真是大聪明啊!浙江一车主避开高速充电排队,另辟蹊径发现宝藏补能点,47度电仅花20元

火山詩话
2026-10-02 11:13:51
2026-10-02 13:51:01
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16328文章数 67108关注度
往期回顾 全部

科技要闻

“分手”15天后,华为与赛力斯签约新五年

头条要闻

男子近百万买4条机器狗:2"大狗"不交货2"中狗"有问题

头条要闻

男子近百万买4条机器狗:2"大狗"不交货2"中狗"有问题

体育要闻

“今天的表现,我们可以昂首离开球场”

娱乐要闻

奚梦瑶晒四太豪礼!22只龙凤镯近300万

财经要闻

珠宝黑马爆雷,老板全家跑路泰国!

汽车要闻

2027款极氪001将于明年一季度上市 现款猎装同步推新配色

态度原创

手机
旅游
艺术
家居
公开课

手机要闻

一加16手机官宣首次搭载三频GPS +四频北斗,10月12日发布

旅游要闻

中国文旅看山西丨三晋大地迎国庆 文旅盛景启华章

艺术要闻

第四届中国美术奖铜奖获得者——李卓

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版