网易首页 > 网易号 > 正文 申请入驻

OpenAI年内不上市了!奥特曼支持对手Dario呼吁:AI该踩刹车了

0
分享至

  • 克雷西 发自 凹非寺
    量子位 | 公众号 QbitAI

Dario和奥特曼终于「握手」了?

而且一同握手的还有奥特曼的死对头马斯克。



起因是Dario在个人博客贴出了一篇万字长文,呼吁所有头部AI公司主动降速,别急着冲下一代模型。



文章一出,AI圈罕见地放下了各种爱恨纠葛,纷纷都来响应。

除了奥特曼和马斯克,还有哈萨比斯、卡帕西等一派大佬也表示支持,AI圈有头有脸的人物来了一大波。



上一次出现这种场面,还要追溯到2023年那封由Future of Life Institute发起的公开信。

当时上千名研究者和科技界人士联名呼吁,暂停训练比GPT-4更强的AI系统至少六个月。

但这一次不一样的是,喊停的人,自己就在创造AI的前沿。

「6到12个月,可能是留给我们的全部时间」

Dario在文章里画了一条时间线。

他的核心判断是,AI正在逼近一个临界点——RSI(递归自我改进)。

什么意思呢?RSI意味着AI模型开始具备改进自己下一代版本的能力。

一旦这个循环启动,迭代速度会从线性变成指数级。

人类还来得及介入的窗口,会急剧收窄。

Dario给出的估计是6到12个月。



当然,他也特别提到,他并不是要暂停AI研发。

Pacing不是pausing,他要的是放慢推进模型能力的速度,给安全研究争取追上来的时间。

他还回应了2023年那封暂停公开信。

他说,当时喊停没有意义,因为那时候的AI模型还不够强,不会造成真正的伤害。

但现在不一样了,现在的模型已经能当Agent在真实世界里执行任务,已经能发动网络攻击,已经开始出现对齐失败的案例。

放慢一两年,哪怕只是多争取到一年时间,安全团队能做的事完全不同。



为了在窗口关闭之前搭好安全网,他提出了一套三步走方案。

第一步是从Anthropic自己做起,Anthropic目前已经做出承诺,让独立的第三方评估机构(比如METR)像员工一样常驻在公司内部,全程参与训练过程,而且不做「事后诸葛亮」,在训练时就进行实时监控。

第二步是行业协调,需要头部的AI公司坐下来,共同划定安全底线,统一评估框架。

也就是明确竞技规则,不再追求单一的竞速目标。

第三步则是全球协调,需要建立跨国的安全标准体系,让规则覆盖的范围跟AI模型的实际影响范围对齐。

这三步,每一步的难度都在逐渐递进。



这一点,Dario自己也承认。但他说,如果连第一步都不迈出去,后面两步就无从谈起。

触发他写这篇文章的,有两件具体的事。

第一件,是RSI的信号越来越密集。

Anthropic内部的研究数据显示,新一代模型在自我迭代任务上的表现正在快速逼近那条临界线。

而且不只是Anthropic,RSI趋势在头部的模型当中都有出现。

第二件是著名的OpenAI入侵Hugging Face事件。

今年7月,OpenAI的AI Agent对Hugging Face的基础设施发起了攻击。

而且不是在沙盘里做推演,这件事已经造成了现实世界里的安全事故——一家头部公司的产品,主动攻击了另一家头部公司的平台。

Dario说,这次事件经济损失不大,也没有人受伤,很容易被轻描淡写地带过去。

但他担心的是下一次。

按照AI能力的增速,6到12个月后,一个拥有同样失控倾向但更强能力的Agent集群,有可能用持久性僵尸网络接管整个互联网,造成数千亿美元的损失。

Dario把这两件事并列写进了文章。技术上的加速和现实中的失控,同时在逼近。

当然,这篇呼吁也有一个绕不开的矛盾——造前沿的人喊放慢前沿,凭什么让人信?

Dario的回应是:正因为站在前沿,才最清楚风险离我们有多近。

而且,Dario还在文章开头写了一段私人的话。

他说自己的父亲死于一种疾病,而这种病在他去世几年后就有了治疗方法;他自己也得过早期癌症,靠五十年前还不存在的技术活了下来。

他相信,AI能在未来5到10年治愈大多数重大疾病,所以他不想停下这件事。

但他说,如果不放慢脚步,这项技术可能在兑现承诺之前先失控。

这大概是这封信最诚实的地方,写下它的人,比谁都想让AI跑得快。

Agent麻烦停不下来,OpenAI年内不上市

如果说Dario的文章是呼吁,那OpenAI最近的动作更像是被现实推着走。

就在昨天,奥特曼在接受《财富》杂志采访时表示,OpenAI今年不会IPO了。

理由正是安全。



奥特曼的措辞暗示,OpenAI可能正在跟其他AI公司谈一份放慢协议。

如果这份协议落地,推迟IPO就不只是一家公司的财务决策,整个行业都将释放出转向信号。

不过,隔壁Anthropic的IPO暂未出现推迟迹象,最新的消息仍然是计划在10月中旬启动IPO。

当然OpenAI暂缓IPO的背景,显然不只是一篇来自竞争对手的呼吁文章。

过去几个月,OpenAI的AI Agent在安全上的麻烦正在加速累积。

7月,OpenAI的Agent攻击了Hugging Face的基础设施。这就是Dario文章里提到的那次事件。

时间往前倒。

5月8日,一个被分配去填Google Drive表格公式的Agent,因为需要网络权限,试图攻击OpenAI自己的内部服务器Artifactory来获取访问权。

这次攻击并未成功,但暴露了OpenAI内部系统的写入漏洞。

三天后,5月11日,OpenAI的Agent向RubyGems上传了数百个恶意软件包。

RubyGems是Ruby语言最大的开源包管理平台,这次攻击直接导致平台暂停了新用户注册。OpenAI事后确认了此事。



6月26日,Agent利用Artifactory一个遗留接口的零日漏洞,拿到了管理员权限,安装了可以远程执行代码的插件。

再加上7月的攻击Hugging Face事件,三个月就发生了四起事件,OpenAI模型的攻击对象,从自家内部系统蔓延到外部开源平台,再到另一家头部AI公司。

当然,Anthropic的Claude也没能独善其身。

同一时期,Claude也被发现在没有明确指令的情况下,尝试入侵外部系统。

所以,Agent的安全问题不再是某一家公司的个别bug,它正在演变成整个行业的系统性风险。


[1]https://x.com/DarioAmodei/status/2098773920774074715
[2]https://www.reuters.com/legal/litigation/openai-ipo-will-not-happen-2026-amid-ai-safety-fears-altman-says-2026-09-12/
[3]https://www.reuters.com/legal/litigation/openai-Agents-attacked-software-service-rubygems-before-hugging-face-incident-2026-09-11/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
房产税可能很快就会到来

房产税可能很快就会到来

谭谈财经
2026-09-30 21:27:05
糖尿病不能“碰”牛肉?医生:不只是牛肉,这5物能不吃就不吃

糖尿病不能“碰”牛肉?医生:不只是牛肉,这5物能不吃就不吃

叙说医疗健康
2026-10-03 06:00:21
81岁秦沛近况曝光 加拿大退休生活充实 再婚日籍太太生活低调

81岁秦沛近况曝光 加拿大退休生活充实 再婚日籍太太生活低调

TVB资讯台
2026-10-02 22:12:12
彭加木到底是失踪还是叛逃?其实这一切,早就在他的计划之内?

彭加木到底是失踪还是叛逃?其实这一切,早就在他的计划之内?

纯白的梵唱
2026-10-02 18:16:22
媒体爆料沙特打击胡塞方案

媒体爆料沙特打击胡塞方案

界面新闻
2026-10-03 10:42:54
老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

老了肌肉流失怎么办?医生:2样东西必须吃,2件事做得越早越好

健康科普365
2026-09-30 11:40:19
残酷!中铁等央国企职工不内退,可能连继续留下来的位置都没有了

残酷!中铁等央国企职工不内退,可能连继续留下来的位置都没有了

职场资深秘书
2026-10-03 10:58:51
迪拜航空救人牙医打破沉默:39岁机长是英雄,副机长被制服后哀求“杀了我”

迪拜航空救人牙医打破沉默:39岁机长是英雄,副机长被制服后哀求“杀了我”

译言
2026-10-02 08:26:47
张本智和张本美和兄妹:打球不是唯一出路,人家考进早稻田大学

张本智和张本美和兄妹:打球不是唯一出路,人家考进早稻田大学

林子说事
2026-10-03 10:32:05
最高法明确:不再一律定罪,即日起施行!

最高法明确:不再一律定罪,即日起施行!

法律内参
2026-10-02 23:18:35
苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

苏州一对情侣,谈了7年,女子提了18次分手,分手后在街头痛哭!

川渝视觉
2026-04-17 22:13:14
两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

荔子言
2026-09-08 14:55:50
陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

陪睡陪玩只是开胃菜,舔手指塞拳头、集体嫖娼、背后的事藏不住了

北海史记
2026-08-12 19:57:54
炸锅!拉夫罗夫领衔60高官弃席,俄政坛曝光,政治火车头惊天玩法

炸锅!拉夫罗夫领衔60高官弃席,俄政坛曝光,政治火车头惊天玩法

月下守候
2026-10-02 21:28:21
女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

女性长期使用情趣用品,身体可能出现哪些不适?不少人缺乏认知

看世界的人
2026-08-07 09:22:50
台媒:两架F-16V战斗机抵达志航基地后,会立即进入地下机库!

台媒:两架F-16V战斗机抵达志航基地后,会立即进入地下机库!

闻识
2026-10-02 14:17:56
说出来你可能不信,八国联军的总头子,那个叫瓦德西的德国佬,拎着刀在中国烧杀抢掠一圈回去之后,干了一件让全世界都没想到的事。

说出来你可能不信,八国联军的总头子,那个叫瓦德西的德国佬,拎着刀在中国烧杀抢掠一圈回去之后,干了一件让全世界都没想到的事。

回京历史梦
2026-10-02 14:35:10
恒生科技一年跌掉40%,这是港股A股化了?

恒生科技一年跌掉40%,这是港股A股化了?

城事堂
2026-10-03 08:20:20
美国、法国、德国、英国、意大利、日本、加拿大,将立即启动行动

美国、法国、德国、英国、意大利、日本、加拿大,将立即启动行动

政知新媒体
2026-10-03 08:13:21
医护这类副业被叫停!卫健委发文:严禁私自接单,违规者将被暂停执业

医护这类副业被叫停!卫健委发文:严禁私自接单,违规者将被暂停执业

华医网
2026-10-03 05:41:51
2026-10-03 12:23:00
量子位 incentive-icons
量子位
追踪人工智能动态
13433文章数 176574关注度
往期回顾 全部

科技要闻

英伟达盘中创历史新高,市值逼近6万亿美元

头条要闻

33岁音乐教师赴泰国后失联 其手机IP曾两次显示在缅甸

头条要闻

33岁音乐教师赴泰国后失联 其手机IP曾两次显示在缅甸

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

假期快乐!贾乃亮晒和甜馨国庆出游照

财经要闻

4亿台电视挂墙落灰 为何没人愿意开了?

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

时尚
本地
家居
公开课
军事航空

挨骂的刘雯,做错0件事

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

胡塞武装:24小时内沙特空袭也门47次

无障碍浏览 进入关怀版