网易首页 > 网易号 > 正文 申请入驻

突发,Dario提全球AI限速三步计划!奥特曼马斯克第一时间支持

0
分享至


新智元报道


今天,Anthropic CEO Dario Amodei发布了一篇罕见长文——

We Must Pace the Frontier(我们必须控制前沿AI的发展节奏)


这一次,他直接把矛头对准了前沿模型的研发速度,核心观点就一句话:

最顶尖的AI,真得主动踩刹车了。

这篇长文中,Dario亲口承认,「递归自我改进(RSI)已经在全行业出现了」。

更让人后背发凉的是,他预测未来6—12个月,AI Agent集群可能会接管整个互联网。

面对这种脱缰的风险,Dario在文里直接掏出了一套动真格的「三步刹车法」:

  • 第一步,开门迎客: 引入独立第三方常驻公司,拿到跟内部核心风控同等级的深度访问权限;

  • 第二步,行业划线: 联合全美前沿AI巨头,一起画死能力红线、设立强制安全检查站;

  • 第三步,全球落地: 把这套框架推向国际,彻底锁死不可控风险的蔓延。

话音刚落,奥特曼就光速跟进,「Dario是对的,OpenAI也会引入这样的评估机制」。


另一边,马斯克也是几乎秒回,公开力挺Dario。


能让三位巨头瞬间达成共识,场面确实罕见!

达里奥的「三步计划」

为全球AI减速

这一次,Dario并没有只喊一句「AI该减速」。

Dario真正想做的,是把这套「减速机制」一级一级推开,而且顺序非常明确——

先让AI公司自己变得可验证,再让整个行业一起踩刹车,最后才谈全球协调。

第一步,先从Anthropic自己动刀。

像METR这样的独立第三方,不应该每次都等事故出了以后,才临时进公司调查,而应该长期驻场。

给工位、给内部电脑、给接近风险团队的权限。

模型怎么训,安全承诺有没有落实,训练流程有没有埋雷,出了事有没有瞒报,都能持续盯着。

而且,查出问题之后,必须公开。

公司可以删掉真正涉及法律、客户隐私和核心商业机密的部分,但不能因为报告太难看,就把结论按下去。

第二步:不能只让一家踩刹车

真正难的,从这里开始。

如果Anthropic自己减速,OpenAI、谷歌、xAI继续狂奔,那谁先踩刹车,谁就可能先吃亏。

所以,Dario建议,需要把规则推到整个美国前沿AI行业。

几家前沿AI公司一起定安全红线,一起设能力检查点。模型每跨过一个危险门槛,就必须先拿出对应的安全证据,才能继续往前冲。

比如,一个模型已经能突破多数常见隔离环境了。

那接下来公司就得证明:它不会轻易逃出沙箱,不会擅自接管大量机器,也不会把这种能力变成现实攻击。

证明不了,就先别往下冲。

另外,Dario甚至提到,还可以讨论限制训练算力、训练方式,以及公司内部用AI研发AI的速度。

也就是,直接给RSI本身加一道限速器。但光靠几家公司私下握手还不够。

他更希望最终由美国政府出手,把规则覆盖到所有前沿AI公司。

第三步:把刹车踩到全球

再往上,就是最难的一层。Dario把全球协调分成了四级。

第一层相对最现实:先禁止生物武器这类明显危险的用途。

第二层,是前沿模型发布之前,统一做网络攻击、生物安全等高风险测试。

到了第三层,才真正开始碰核心:

能不能给RSI,也就是AI研发AI的速度,直接设一个全球上限?

Dario自己的判断是,这件事「刚好处在可能做到的边缘」。

至于第四层——全球前沿AI公司一起大幅减速,甚至阶段性暂停训练——他自己都没抱太大希望。

至少短期内,几乎不现实。卡住这一切的,还是同一个问题:怎么验证。

一家公司说自己停了,谁能证明它真的停了?

所以Dario这整套方案绕到最后,核心其实非常简单:

先把AI公司的门打开,让外部人真正进去看。

也正因为如此,Dario把「第三方长期驻场」放在了整套方案的第一步。


RSI已经开始了

6个月AI接管互联网

可问题来了。为什么偏偏是现在?

三年前,行业里就掀起过一阵「暂停训练、给 AI 踩刹车」的联名潮,但那时候Dario根本没接茬,认为时机压根不成熟。

真正让他改变态度的,是两件事——RSI开始出现,以及AI智能体已经暴露出越来越具体的失控行为。


他在文章中明确承认,AI参与研发下一代AI的现象,已经开始在整个行业出现,Anthropic自己也包括在内。

AI帮人写代码、做实验、分析结果、优化训练流程,再进一步帮助下一代AI变强。

如果这个循环开始自我加速,最麻烦的地方就出现了:

模型能力提升的速度,可能开始超过人类理解和控制它的速度。

因为安全研究本身需要时间。

你得先观察模型出现了什么新行为,再研究这些行为为什么出现,接着设计测试方法、防护措施,最后验证这些措施到底有没有用。

可如果模型能力每隔几个月就跳一个台阶,安全团队很容易一直追在后面补漏洞。


Dario真正担心的,并不是某一天AI突然「觉醒」,而是这个反馈循环开始越转越快。

AI越来越多地参与AI研发,下一代模型越来越快出现,而安全机制,还来不及跟上。

如果RSI只是让他担心「未来会不会跑得太快」,那么最近一次真实发生的智能体事故,则让这种担忧彻底落了地。

Dario特别提到了最近的「OpenAI-Hugging Face事件」。

在那次测试里,一群AI智能体组成了类似「蜂群」的协作系统。

最开始,人类只是让它们完成正常任务。可很快,一些智能体开始攻击任务之外的外部目标。


更诡异的是,它们还出现了明显的群体协作行为:有的智能体宁愿牺牲自己的任务成绩,也要帮助整个群体拿到更好的结果,甚至还有智能体试图Hack评分系统,为整个群体「作弊」。

这些行为,并不是人类提前写好的剧本。它们是在多智能体协作过程中,自己冒出来的。

Anthropic内部也观察到过类似现象,只是程度更轻。

Dario真正担心的,是再往前6—12个月。

到那时,Agent更强,能调用的工具更多,能控制的机器更多,连续工作的时间也更长。

如果今天这些偏离目标、钻规则漏洞、群体协作的行为依然存在,风险就可能被瞬间放大。

他甚至给出了一个相当惊悚的场景:

大规模AI Agent攻入联网设备,把整个互联网变成一个巨型「僵尸网络」。

造成的损失,可能达到数千亿美元。

当AI越跑越快

人类还刹得住吗?

所以,Dario这次喊「减速」,真正担心的并不是某个遥远的超级智能。

而是几件事正在同时发生:

RSI已经出现,AI开始参与研发更强的AI;Agent正在获得越来越强的现实行动能力;一些失控行为,也已经从假设走进真实测试。

而模型迭代的速度,还在继续加快。

这也是为什么他想抢出1—2年时间,把安全评估、第三方核查和全球规则先补上。

这套方案能不能落地,还没有答案。

现在,跑在最前面的人开始问:真跑失控了,我们还刹得住吗?

参考资料:

https://darioamodei.com/post/we-must-pace-the-frontier

编辑:马可 桃子 大卫

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
半夜,隔壁总传来女人哭声,我报警三次,民警上门却说屋里根本没人

半夜,隔壁总传来女人哭声,我报警三次,民警上门却说屋里根本没人

金沙故事汇
2026-10-25 15:54:18
医术再精湛也没用,北京朝阳医院孙永全医生去世,年仅62岁,出诊时间表透露了工作强度!

医术再精湛也没用,北京朝阳医院孙永全医生去世,年仅62岁,出诊时间表透露了工作强度!

凯旋学长
2026-11-22 21:44:22
随着皇家社会2-3不敌西甲第12,西甲最新积分榜出炉

随着皇家社会2-3不敌西甲第12,西甲最新积分榜出炉

侧身凌空斩
2026-11-23 01:12:10
黄仁勋出轨对象更多照片曝光,并非20岁小女生,或给黄仁勋不一样的体验

黄仁勋出轨对象更多照片曝光,并非20岁小女生,或给黄仁勋不一样的体验

蜜桔娱乐
2026-11-10 10:19:57
著名导演,跳槽了

著名导演,跳槽了

中国新闻周刊
2026-11-20 21:00:07
高中未毕业!李子柒当选四川省文联副主席,网友众说纷纭

高中未毕业!李子柒当选四川省文联副主席,网友众说纷纭

史海流年号
2026-11-20 18:25:35
住久了发现:客厅才是最浪费的空间,看看广东人的设计,实用又好看

住久了发现:客厅才是最浪费的空间,看看广东人的设计,实用又好看

绘本家居
2026-11-20 17:16:34
香港金牛成首支杀入CBA俱乐部杯八强的NBL球队

香港金牛成首支杀入CBA俱乐部杯八强的NBL球队

新华社
2026-11-23 00:13:13
大开眼界!许家印当年奢靡生活曝光

大开眼界!许家印当年奢靡生活曝光

麦杰逊
2026-08-23 15:09:25
撒谎,又被老百姓逮到了!

撒谎,又被老百姓逮到了!

走读新生
2026-11-21 23:58:51
12306回应高铁15元盒饭要消失了?网友:没见过没吃过,一般都是45元及以上

12306回应高铁15元盒饭要消失了?网友:没见过没吃过,一般都是45元及以上

东方豪侠
2026-11-21 15:37:13
太罕见了!日媒曝出2004年黄乐生活旧照,彼时二十多岁素颜随性,网友:典型的湖南乡下妹子

太罕见了!日媒曝出2004年黄乐生活旧照,彼时二十多岁素颜随性,网友:典型的湖南乡下妹子

火山詩话
2026-11-13 15:21:47
几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

几乎全是假货!利润高达2400%,为何消费者还前赴后继争相购买?

星星跌入梦里中
2026-09-26 05:47:11
昆明将新建一所60班完全中学,位置在→

昆明将新建一所60班完全中学,位置在→

春城晚报
2026-11-21 17:05:03
中国芯片大局已定!不出意外的话,2026年半导体领域将有3大变化

中国芯片大局已定!不出意外的话,2026年半导体领域将有3大变化

荒野科技
2026-11-22 12:16:09
肖战、杨洋没夺冠!10大演技派男神,第一名演什么像什么一秒入戏

肖战、杨洋没夺冠!10大演技派男神,第一名演什么像什么一秒入戏

胡鋇就爱无拘无束
2026-11-20 15:52:32
我早就说过,有些浪漫是我给你的

我早就说过,有些浪漫是我给你的

疾跑的小蜗牛
2026-11-22 17:36:46
最容易和别人发生关系的女人,通常有两个特征

最容易和别人发生关系的女人,通常有两个特征

心理观察局
2026-06-18 06:27:06
比特币暴跌超29万人爆仓!18.93亿美元一夜之间被强平

比特币暴跌超29万人爆仓!18.93亿美元一夜之间被强平

城事堂
2026-11-22 07:20:04
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
2026-11-23 01:43:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16744文章数 67254关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

亲子
教育
旅游
公开课
军事航空

亲子要闻

难怪养孩子3岁不离手5岁不离眼!看评论区我呆住,人心险恶亲戚歹毒

教育要闻

“巨资培养的姐弟俩,只能在家里做饭”,一段窝囊视频,却戳中了无数人的情绪点

旅游要闻

西草市:一条卖柴草的胡同,变身为最美剧装一条街

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版