AI巨头突然警告：必要时，停止研究AI！

来源：中国经济网

美国人工智能（AI）初创公司Anthropic周四发布公开信，呼吁全球顶尖实验室暂停或减缓前沿AI的研发速度。

当AI开始造AI

在文章开始，Anthropic表示，一直以来，都是人类主导了AI开发周期的每一个步骤，但在Anthropic，员工正在将越来越多的AI开发工作委托给AI系统本身，且加快了工作速度。如果这种趋势发展到一定程度，并拥有足够的计算能力，那么AI系统最终将能够完全自主地设计和开发自身的后续版本。

“我们尚未达到这一目标，递归式自我改进也并非必然。但它的到来可能比大多数机构的准备时间要早。”Anthropic称。

Anthropic用了很多案例和数据去验证这一点。例如，现在Anthropic的工程师平均每个季度交付的代码量是2021年至2025年期间的8倍。AI模型能够独立可靠完成的任务时长大约每四个月翻一番，此前的趋势是每七个月翻一番。

在Anthropic内部，截至2026年5月，Anthropic代码库中的代码超过80%都由Claude生成。在难度最高的开放式任务中，Claude的成功率在2026年5月达到了76%，6个月内提升了50个百分点。

文章提到，无论在工程领域还是研究领域，Claude都可以与经验丰富的人类相媲美，甚至超越。人类只需提供目标，Claude就能够自主处理问题找到解决方法。

不过，Anthropic也提到，在工程和研究领域，Claude在选择目标的判断能力仍然与人类存在巨大的差距。这正是当今AI与未来能够自主设计自身后续系统AI的差距所在。

如果继续发展下去会发生什么？Anthropic认为，一种可能是，未来AI的开发将高度自动化，使用AI系统的组织将变得更加高效，生产力将得到显著提升，“100人的公司就能完成1万人甚至10万人的组织的工作量”，这将彻底改变知识工作和政府服务，但也可能被用于有害的目的。

如果技术进步的趋势持续下去，AI系统有可能进行自我设计和改进。在这样的世界里，AI发展的速度将完全取决于计算资源，人类作用大幅降低。

但最大不确定性在于价值观对齐问题。“如今模型中罕见的偏差可能会随着模型构建其后续版本而加剧，出现频率越来越高，但人们对其理解却越来越少，直至人类失去对它们的控制。”

Anthropic：必要时，停止研究AI

Anthropic警告称，当前AI技术迭代速度过快，短期内可能就会出现脱离人为干预、自主优化升级的能力，由此或将衍生难以预见的重大社会风险。目前的经济是由人类驱动的，而未来可能会被AI所主导，如果人类劳动力不再具有竞争力，经济将会是什么样很难预测。

在文章中，Anthropic认为，能够自主迭代的 AI，是人类科技史上里程碑式的突破，能在生物医药、前沿科研等领域带来巨大的好处，但也可能让对齐问题叠加恶化，最终导致失控。Anthropic在文末建议世界选择放慢或暂时停止前沿人工智能的发展，使社会结构和价值观对齐研究能够跟上技术的进步。

Anthropic宣称，为了给社会和对齐研究（alignment research，让AI与人类价值观、意图保持一致）留出必要缓冲时间，其主张建立一项类似于“核武器协议”的全球性协议，以约束AI研发节奏。同时配套核查机制，确保各国竞争者履约。

文章进一步称，核查AI训练情况并不容易，“AI训练项目远比导弹发射井更容易隐匿。当其他人暂停时，谁继续前进谁就可能取得领先。”

该不该停止研究

Anthropic表示，未来数月，Anthropic计划邀请各国政策制定者、科研从业者，围绕递归自主进化技术、全球核验机制展开研讨。文章称，“共同探讨这些问题的窗口已经开启，AI公司之外的人士也应参与到这场讨论中来。”

这一议题非常值得探讨，但问题在于，Anthropic发布文章的时间点过于微妙。

6月1日，Anthropic发布声明称，已向美国证券交易委员会秘密提交了S-1草案，正式启动IPO。就在5月28日，Anthropic刚宣布完成高达650亿美元的H轮融资，投后估值达到9650亿美元（约合人民币6.54万亿元），超越了竞争对手OpenAI。

在这一背景下，网友的态度分成了鲜明的两派，有人认为AI的能力确实进步很大，也有网友认为Anthropic这一文章是为了筹款而营销、制造焦虑，“像是披着薄纱的自夸营销，用来为天文数字般的估值辩解”。

有程序员肯定了文章的内容，认为“比我们预想的更快”是文章真正的信号，他认为Anthropic一直是对时间线最保守的实验室，当他们这么说时分量比其他实验室要重得多。“对于实际在用这些模型上交付产品的开发者来说，仅今年在生产环境中看到的Claude版本之间的能力飞跃，就已经足够疯狂了。”

在Anthropic发布的帖子下，也有网友质疑，“告诉每个人AI能造出更好的AI，这也是有史以来写得最好的筹款演示文稿，让我把最佳营销奖颁给你。”OpenAI也一直在发布类似的帖子，是真的“奇点即将到来”还是只是为了IPO而炒作？这很难判断。

从技术上来看，也有开发者质疑，目前Claude写的代码和人类程序员仍然有差距。此外，递归自我改进意味着奇点，但是80%的自我改进和100%差的不是20%，而是20倍的能力。且文章并没有提及自我迭代中最重要的理解能力，作为一个自动化工具，减少重复性劳动并没有什么值得惊讶的。

据悉，Anthropic这家公司已多次发布AI风险的预警。就在5月，Anthropic联创杰克·克拉克（Jack Clark）发帖称，到2028年底，递归自我改进发生的概率有60%。当时业界就有网友质疑，按现在的发展进度，AI是否真的能在2027年底前后出现一次突然的重大突破。

你觉得AI发展到了需要踩刹车的时候了吗？

评论区聊聊~

你可能关注的新闻