Anthropic CEO发万字檄文！指数级AI不可逆，不安全必封杀

新智元报道

【新智元导读】刚刚，Anthropic CEO发布重磅檄文《指数级AI政策》：AI的「指数级爆炸」已无法阻挡，必须强制第三方测试+政府叫停！为此，Anthropic砸出3.5亿真金白银。

就在刚刚，Anthropic 的创始人兼 CEO Dario Amode发表了了一篇万字檄文——《指数级AI政策》！

这是一篇足以载入AI发展史册的重磅文章。

在文中，Amodei做出了罕见的举动：作为全球顶尖AI实验室的掌门人，他主动要求政府对自己和同行实施严厉监管。

他主张，计算量超过10²⁵ FLOPs或者AI相关营收超过5亿美元/AI研发投入超过10亿美元的头部AI企业，必须接受政府强制监管。

一旦发现模型存在生物、网络安全或自主失控等灾难性风险，政府可以直接「封杀」！

同步发布的，还有Anthropic的两份正式政策提案：一份针对前沿AI模型的强制监管框架，一份针对AI引发的就业冲击的经济补偿方案。

为了表示来真的，Anthropic承诺为这两份提案提供了真金白银——2亿美元用于研究，1.5亿美元用于奖学金。

今天，Anthropic的这一举动，彻底打破了硅谷巨头长期以来抗拒监管的默契。

它向全球释放了这样一个信号：温和的自律时代已经宣告终结，AI指数级爆炸的速度，逼迫我们必须在灾难发生前，给大模型套上真正的「紧箍咒」！

树人觉醒了！

托尔金在《指环王》里写过，树人是森林的守护者，古老、睿智、强大。但他有一个致命的弱点：太慢了。跟另一棵树打个招呼，要花整整一天。

当半兽人的军队已经在砍伐他的家园，他还在慢悠悠地思考要不要行动。

现在，AI正在以闪电速度疯狂进化，而各国政府，正是那棵慢吞吞的树人。

Amodei为什么突然这么急？直接原因，就是Mythos。

Claude Mythos Preview能自主发现了所有主流操作系统和浏览器中的数千个高危漏洞。

用Amodei的话说：

Mythos Preview 彻底改变了全球网络安全的版图。它不容置疑地证明了，前沿AI模型如今已成为具有全球和国家战略后果的强力工具。而且，这绝不会是我们面临的最后一次危机。

Scaling Laws已经有超过十年的实证支持。如果它再持续两年，我们就会得到Amodei所说的「数据中心里的一个天才国度」——相当于一亿个顶尖科学家同时在线工作。

然而，国会通过一部重要法律，平均需要数年。

树人般的速度，根本无法阻挡化身为「天才国家」的指数级AI！

过去几年，Anthropic一直在推动所谓的「透明度立法」，这就是当时能做到的全部。

因为在2023到2024年，AI的风险还不够具体。你无法精确描述一个尚未出现的风险，也就无法针对它立法。

但现在，Mythos让一切都不同了！

网络安全风险不再是假设，它已经是现实，生物武器风险和AI失控风险也在快速逼近。

FAA模式：AI系统上天之前，先做适航认证

Amodei给出的监管模板，是美国联邦航空管理局（FAA）。

飞机要上天，必须通过严格的第三方测试，拿到适航证书。无论是波音还是空客，只要审查通不过，就要停飞。

Amodei认为，前沿AI模型应该接受同等对待。

他提出的具体门槛是：

-计算量超过10²⁵ FLOPs（这大约是当前最顶尖模型的训练规模）

-或者：AI相关营收超过5亿美元，或AI研发投入超过10亿美元

达到这个量级的公司和模型，必须接受强制性的第三方测试，覆盖四个核心风险领域：

一、网络安全风险。 AI是否能被用于发现漏洞、攻击基础设施、瘫痪金融系统？

二、生物武器风险。 AI是否会帮助降低开发危险病原体的门槛？

三、失控风险。 AI系统是否可能在开发者无法控制的情况下自主行动？

四、自动化研发加速风险。 AI是否在加速自身能力的提升，从而放大上述三类风险？

测试必须由合格的独立第三方完成，可以是类似FAA的政府机构，也可以是经政府授权和监管的私人评估机构。

如果你的模型测出来有不可接受的风险，政府拥有一票否决权，让模型不准上线！

如果第三方评估结果表明该模型存在不可接受的灾难性安全隐患，政府必须拥有合法的、强有力的阻挡、延迟或撤销该模型部署的权力。

这是Amodei提案中，最具突破性、也最引发争议的一点。

同时，Amodei还提出，前沿AI模型的「模型权重」是极具战略价值的资产，极易成为黑客的窃取目标。

一旦权重泄露，所有的安全对齐限制都可能在几小时内被完全剥离。

因此，开发商必须建立极高安全标准，保护其开发环境和模型权重，定期接受红队测试，并建立向政府通报模型蒸馏攻击的通道。

一旦发生安全事故，开发商必须向监管机构主动报告，不得瞒报。

防AI就业冲击：Anthropic要给失业者发钱

这篇长文的第二个重点，就是就业政策。

Amodei讨论了一个全球痛点：宏观经济与持久性失业。

他的判断是：AI驱动的失业，可能比历史上任何一次技术革命都更深远、更持久。

工业革命、互联网革命，都造成了阶段性失业，但最终创造了更多新工作。这背后有两个缓冲机制：杰文斯悖论和比较优势原理。

但Amodei认为，AI可能会同时击穿这两个缓冲机制！因为AI不只是替代某个具体的任务，它在替代人类的通用认知能力。

一旦AI能在几乎所有认知领域超越人类，比较优势就会消失。因此，必须未雨绸缪，设计专门应对AI失业的政策工具。

Anthropic制定了三个层次的经济框架。

第一层：数据测量与追踪。政府应该大幅扩展对AI就业影响的数据收集和追踪。Anthropic已经有一个经济指数。

第二层：促进就业激励。包括工资保险、雇主留工税收激励、职业培训补贴。

第三层：长期宏观经济支持。如果仍不够，可能需要某种形式的全民基本收入，通过对AI公司征税或提高资本利得税来筹资。

为了支持这个框架，Anthropic宣布：2亿美元用于政策研究，1.5亿美元用于技能培训奖学金。

科学与权利：被AI重构的行业版图

此外，Amodei还呼吁：别让旧体制成为「科学加速」的绊脚石。

Amodei指出，在AI本身的监管上，我们应该极其审慎、甚至从严管控；但对于AI所加速的下游应用科学（如生物医药、能源、材料学），我们的监管思路应该松绑。

以生物医药为例，传统的药物研发流程面临着 FDA或 EMA极其漫长的审查。从靶点发现到最终获批上市，通常需要经历7到8年的漫长周期。

然而，AI的介入将颠覆这一常态。

AI不仅能以几何倍数增加候选药物数量，还能大幅提高新药的效果和安全性。

如果不进行制度改革，庞大的AI产出将彻底瘫痪现有的药监审批系统。

为此，阿莫代呼吁监管机构顺应潮流，开发全新的AI辅助评估标准，包括：

-接受AI生成的药效学与药代动力学模拟模型。

-推广AI预测毒理学，减少繁琐、缓慢的多物种动物毒性试验。 推广人工智能

-在临床试验中引入合成控制组，大幅减少人类受试者的招募时间。

-允许针对癌症、阿尔茨海默病等病症开发创新的快速通道。

这样，人类会最快地享受到AI带来的健康福祉。

在「树人」醒来之后

在文章结尾，Amodei乐观地说：「树人们和他们的森林，正在慢慢睁开眼睛。」

现在全球公众和政策制定者面前，有一个珍贵却又稍纵即逝的窗口期。

在硅谷圈子里，很多人觉得，公众害怕AI只是个「公关问题」，AI行业需要的是「更好的营销」。

Amodei直接怼了回去：

人们担心AI，不是因为我们这些CEO不够乐观、不会画大饼，而是因为他们真真切切地看到了AI的风险。

作为AI行业的负责人，我的责任就是把风险摊在桌面上说清楚。公众的担心和抗议，恰恰说明民主监督在正常工作。

这一次，Anthropic砸了几个亿的真金白银，表明了态度。

我们究竟是要继续在黑暗中蒙眼狂奔，撞向悬崖；还是应该停下傲慢的脚步，与人类的社会治理机制，达成一次史诗级的和解？

树人已经醒了。

而霍比特人的生死竞速，才刚刚开始。

参考资料：

https://x.com/DarioAmodei/status/2064781775247950326

编辑：Aeneas