Anthropic CEO Dario Amodei：直面AI指数级狂飙的政策处方

在《指环王》的一条支线情节里，两名霍比特人试图唤醒树胡——一位睿智但行动迟缓的树人——去保卫他的森林免受砍伐军队的侵害。问题在于，树胡的行动节奏与霍比特人截然不同。光是向另一棵树打招呼，他就需要花上一整天的时间，因此要让他和他的族裔足够快地采取行动几乎是不可能的。

当下AI与我们政治体制的交集，颇有些霍比特人与树胡对峙的意味。AI正以闪电般的速度狂飙突进——仅仅四年，AI模型就从勉强能写出一行通顺的代码，发展到能编写大多数头部AI公司的大部分代码。类似的飞跃也发生在生物学、物理学、数学、金融、法律、翻译等诸多领域。AI的缩放定律预测，随着算力的增加，通用认知能力将呈指数级增长，如今这一规律已被超过十年的实证数据所验证。如果这些定律再持续一两年，我们很可能就会迎来我所谓的"强力AI"，或者说，"数据中心里的一个天才之国"。

相比之下，政策制定——尤其是立法——却步履蹒跚。通常而言，这是有充分理由的：政府手握重权，行动不宜过于仓促。但这种时间尺度上的错位令人痛苦：在国会可能需要数年才能采取行动的时间里，AI可能早已从一个有趣的玩具变成了那个"天才之国"。

自AI成为主流商业技术以来的几年里，我们这些希望负责任地管理它的人一直面临一个困境。我们可以清晰地预见指数曲线将通向何方：我们强烈预感到，不出几年，AI将成为极少数从根本上重塑整个政策格局的技术之一，其影响力堪比核武器重塑地缘政治，或工业革命重塑一切经济社会议题。但对于那些只看当下AI能力的人来说，它看起来更像是一种平淡无奇的技术——也许类似于最新的消费级应用或加密货币。很难说服大多数政策制定者和企业，除了"自由放任"之外的任何态度是合理的。平心而论，由于AI的激进效应尚未完全显现，且我们无法确切知晓其形态，即便有心行动，也难以设计出正确的政策。

受制于这种局面，许多安全倡导者（包括Anthropic）至今仍将精力集中在倡导那些保留选择权、为未来快速反应做准备，或让世界更好地洞察未来走向的政策行动上——比如透明度立法、芯片出口管制以及收集AI对劳动力影响的统计数据。这些措施虽不足够，但在当时已是力所能及的极限。

然而，近几个月来，AI惊人威力及其风险的证据已变得不可否认。也许最具象征意义的例子是Claude Mythos预览版的发布，以及随之发现的——前沿模型对网络安全构成了非常真实的风险，有可能破坏金融部门、关键基础设施和国家安全。Mythos预览版搅乱了全球网络安全格局。但其更广泛的意义在于，它确凿无疑地证明了AI模型如今已成为关乎全球和国家战略利益的工具。Mythos级别模型所带来的网络风险，绝非我们要面对的最后一种风险。我相信生物风险可能紧随其后，严重的AI自主性风险也可能不远矣。

现在，全球亟需启动那个缓慢而僵硬的政策机器，以应对将从这里开始呈爆发式增长的风险与机遇。许多政策制定者表现出越来越强的行动意愿，看到我们的同行也开始接受我们在过去几年中一直倡导的立场，这令人鼓舞。这很好，但我担心这些早期的行动至少落后AI的快速进展一年。本文试图弥合这一差距：阐明指数级增长现在到了哪里，以及应对当下时刻所需的集体行动。

我将聚焦于五个需要在AI时代重新构想的常青政策领域：监管与公共安全、宏观经济与税收政策、科学创新、国家与社会之间的权力平衡，以及地缘政治。由于Anthropic是一家美国公司，我将主要基于美国政策进行阐述，但我的大多数建议对世界其他地区同样具有参考价值。

随同本文发布，Anthropic还将推出一项关于前沿模型测试的立法提案，以及一套针对失业问题的政策框架，并计划为此提供实质性的资金支持。我们未来还打算做更多工作，但这被视为表明我们严肃态度的第一步。

每一项新技术或产品都有其利弊两面，因此总是面临创新与安全之间的两难。监管产品可以减少危害，并在改善全球生活方面发挥了重要作用，但它也可能直接削弱产品的益处，并间接抑制创新动力。此外还有哈耶克式的观点，即监管者往往缺乏做出正确复杂经济权衡决策所需的信息，导致监管往往既无效又繁重。与此相关的是"科林格里奇困境"，即一项技术的影响往往在难以轻易管控之前很难被预见。

这些动态在2023—2024年对AI领域影响巨大。Anthropic清楚地意识到，AI未来或许有能力制造威胁数百万人的生物武器，或者在极端情况下，自主的恶意行为甚至可能威胁人类本身。但不那么清楚的是，风险将以何种具体形式出现，如何最好地测试和缓解它们，以及它们在实践中将如何演变。因此，如果过早立法，极有可能导致无效监管——在制造毫无意义或价值极低的合规要求的同时，却错过了最关键的实质性风险源头。

最终，我们得出的结论是，当时的正确做法是提高透明度。AI模型的开发者必须披露其安全程序、运行的模型测试，并报告任何关键的安全事件，以便公众和科学界能在风险浮现时获得更好的可见性。当风险变得更加明确且其形态更加清晰时，通过透明度获得的证据便可用于设计明智的立法，精准打击最令人担忧的风险。因此，在2025年，Anthropic支持了透明度立法，助力加州通过了SB 53法案、纽约通过了RAISE法案、伊利诺伊州在2026年初通过了SB 315法案，并倡导在联邦层面建立透明度标准。

然而，现在风险已清晰降临。是时候超越透明度，对AI实施更严肃、更具约束力的监管了。我相信，至少在指数曲线的现阶段，最恰当的类比是汽车、飞机或药品——这些是现代经济不可或缺的强大技术，但如果设计或操作不当，也可能造成大规模的人员伤亡。因此，我认为我们应该参照联邦航空管理局（FAA）的模式来构建AI监管。前沿AI模型应当像飞机一样，必须通过技术测试与审计；如果达不到高标准的安全要求，其发布应被阻止或撤销，以消除对公共安全的威胁。我很欣慰地看到特朗普政府的行政命令在逐步增加政府在AI领域的角色，尽管Anthropic的提案建议采取更进一步的行动。我们的提案包含以下要素：

也许不久之后，我们就需要更进一步。届时，最强大的AI系统看起来不再像飞机或汽车，而更像可被武器化的核材料——成为对人类本身的威胁，而不仅仅是公共安全的威胁。如果真的发生这种情况，我们可能需要比我在此阐述的更为激进的监管措施。

政府长期以来一直面临着如何在鼓励经济增长的同时，提供重要的公共服务并确保照顾最弱势群体的难题。这些辩论的一个重要（且基本正确的）前提是，经济增长是脆弱且难以实现的——即在减少不平等可能带来重要好处的同时，必须与增税或赤字带来的经济阻力进行权衡。

我怀疑强力AI可能会颠覆这一假设。如果AI获得了以远超人类的水平完成大多数认知任务的能力，那么它理应能通过加速科学技术和运营效率，带来极其迅速且强劲的经济增长。AI迭代式地"构建更好的AI"的能力，可能会进一步助推这种增长。但也正因为如此，AI作为一种更广泛的经济替代品，取代人类认知能力的可能性，将比以往任何技术都要大，同时改变经济的速度也远超以往技术。因此，我们有理由认为，AI造成的劳动力市场动荡可能比以往任何技术都更大，且可能是更持久的。我们可能最终会陷入这样一个世界：经济权衡的旋钮卡死在"超高速增长、超高不平等"的设置上，并且极难再拨回来。在这样的世界里，关键的挑战不再是激励增长，而是找到让所有人共享收益的方式。

在本文讨论的话题中，宏观经济和持久性失业问题可以说是吸引了最多公众关注和误解的领域。因此，我想在两个问题上极其明确地表明立场。

第一，持久性失业是不可取的，也是危险的，我们应竭尽全力将其最小化或防止其发生，而不是促成它的到来。我在采访和文章中警告失业问题，是因为我希望政策制定者和私营部门都有最好的机会去适应和应对，而不是因为我试图做一个"末日预言家"。作为一家公司，Anthropic始终尽其所能与客户合作，寻找创造性的新用例和新收入来源，让他们在现有员工队伍的基础上做得更多，而不是仅仅专注于节省成本（这通常意味着裁员）。我们也不断尝试构思新的交互范式，随着系统的进步，让人类在与AI系统的协作中扮演尽可能积极的角色。

更广泛地说，全世界都值得尝试用尽可能多的新方式使用AI，因为这是社会发现新就业配置的途径。我确实认为AI将催生许多新的经济机会。我曾预测AI将使个人能够创建价值十亿美元的公司，而且我们已经看到仅有几人的团队建立了营收数亿美元的企业。但与此同时，我们必须认识到，尽管我们付出了所有努力，AI仍极有可能导致显著的持久性失业——而且这可能是该技术及其广泛复制人类认知能力的固有属性。

第二，任何针对AI驱动的失业问题的应对措施，都需要同时解决两个问题：既要满足每个人的经济保障需求，也要满足人们对寻找意义、目标和能动性的需求。后者归根结底更为重要，它取决于关于社会如何组织、人们应该追求什么以及何为美好生活的深层问题。实际上我非常乐观地认为，即使在一个AI在所有事情上都比所有人都强的世界里，人类依然可以过上充满深刻意义的生活，并努力创造令人敬畏的美好事物。

本着这种精神，一些可能有帮助的关键政策干预措施包括：

关于AI的一个常见经济担忧是我尚未提及的数据中心，特别是它们可能推高能源价格。我的观点是，AI公司应该付费吸收费率上涨——Anthropic已经做出了这样的承诺——但我认为公众对数据中心的敌意，在很大程度上是对AI更广泛经济焦虑的一种象征或宣泄口。重要的是，我们要就这些更广泛的经济问题进行直接的全社会对话，并真正拿出令人信服的解决方案，否则这些问题很可能会像对待数据中心那样，以间接的方式表现出来。

正如我们必须权衡AI本身的创新与安全一样，我们也必须权衡那些可能被AI加速的技术（如生物医学、能源或材料科学）的创新与安全。但与AI本身可能带来的、我们没有先验经验处理的新颖挑战不同，被AI加速的其他领域很可能会遇到一个截然不同的问题：那些为较慢创新步伐设计的监管体系，还没有准备好应对AI将带来的新产品和进步的洪流。AI还可能使这些下游技术变得更安全、更可预测，从而打破FDA等监管机构原有的悲观假设。

因此，对于AI的下游应用——与AI本身相反——我更担心的是监管机制拖慢了进展（因为它无法应对加速的变化），而不是它未能解决重要的风险。我们最不希望看到的是，在AI风险高悬的同时，其益处却被延缓，因此尽快就此采取行动至关重要。

这个问题及其解决方案将在科学、商业和技术的每个领域以不同的方式显现，因此我将聚焦于一个具有代表性的领域：生物医学创新。这不仅是因为它很可能是AI最大人道主义福祉的来源，也因为这是一个监管尤为复杂的领域。我们不知道AI将如何加速生物医学创新，但它似乎可能会：

其中一些进展自然会加速监管时间表，无需结构性变革。疗效更大的药物可以导致规模更小、成本更低的临床试验，并激活加速批准的机制。但目前的监管体系设计是基于高度的审查和多个阶段的测试，其假设是候选药物往往无效，且即使有效也常伴有严重的安全性问题。对于FDA和欧洲药品管理局（EMA）来说，一个候选药物通过监管管道的典型时间是7—8年，部分原因就在于这些悲观的假设。如果不进行改革，AI只会堵塞或压垮这个系统。

显然，我们不希望以导致出现一批"蛇油"假药或普遍安全事故的方式改变现状。但一些相对简单的改革可以使FDA、EMA及类似机构在面对可能发生的AI驱动的快速科学加速时更具适应性。

临床过程中的许多步骤，以前需要昂贵且缓慢的实验，很快就能通过AI模拟或分析完成。监管机构应考虑立即制定标准，规定接受此类方法需要满足什么条件。这意味着一旦这些方法行之有效，就能迅速被采纳，而不是经历一段不必要的测试被强制要求的漫长过渡期。这可能适用的领域包括：

除了这些具体的例子，机构还应考虑更激进、更灵活的加速批准机制。如果我对AI的预测是正确的，很快就会出现许多突然涌现且效果极佳的干预手段，监管体系应做好准备认真对待它们，而不是采取过度怀疑的态度。

生物医学加速应能大幅增加AI的益处，但值得注意的是，它也可能有助于降低AI的风险。改革生物医药审批可能有助于生物防御，而AI驱动的生物医学进步也可能改善心理健康，从而对社会产生稳定作用。

每一种政府体制都必须面对国家权力及其界限的问题。国家在保护民众免受内外威胁方面拥有合法且往往是生死攸关的利益。但赋予它过多权力则是通往暴政之路。现代民主国家在很大程度上成功掌控了这一平衡，但这即使在最好的时期也是一种不安定的平衡。维护这种平衡需要几个世纪（参数丨图片）以来建立的大量法律和宪法机制——例如美国《第一修正案》《第四修正案》《第五修正案》《地方保安队法》（Posse Comitatus Act）、外国情报监视法（FISA）等等。

AI有可能打破这种平衡，同时极大地提高其风险筹码。但如果我们反应迅速、应对得当，我们可以利用AI创造一个比以往任何时候都拥有更坚实、更持久的自由的保障，以及更好的抵御威胁能力的世界。

落入坏人之手的强力AI可能成为专制主义的终极工具，而我们现有的法律和宪法保护并不足以完全应对这一威胁。从根本上说，智力在世界范围内转化为权力的巨大回报，加上AI飞速的进步节奏，为一系列危险分子发动突如其来的夺权行动创造了完美风暴。

这种危险可能表现为各种具体的技术或操作形式，但它们的共同点在于，AI可能突然赋予巨大的权力，同时绕过现有的民主监督机制。一个全自动无人机军队在今天听起来像科幻小说，但在未来，它可能服从非法命令，允许政府单方面巩固权力；而受过专业训练的人类更有可能拒绝此类非法指令。一个以监控为核心的AI可以在大规模范围内分析广泛可用的信息，并利用它推断出每位公民生活中最隐秘的细节——这是一种当前公民自由法律未曾设想的技术能力。所有这些都可能发生得非常快，或者非常隐蔽，因此必须主动加固民主国家对自由和公民自由的承诺。

以下是一些我们应该考虑的政策思路：

最后值得一提的是，在政府之外，我们也必须警惕那些试图利用AI夺权的实体。历史上不同时期（如美国的镀金时代或英国东印度公司时期），公司曾变得足够强大以至于俘获国家，或呈现出准国家的特征。AI很快就会变得如此强大，以至于我担心不能将其完全托付给政府或公司中的任何一方，必须对两者都进行制衡。

监管是制约公司的一种答案，但同样重要的是，AI公司应拥有比典型私营企业更多的分权和问责制。Anthropic的长期利益信托就是这样的一种结构，业界应继续探索更深入的机制。取得恰当的平衡——让公司和政府都能对彼此的权力进行有效的制衡——至关重要。

受互联网和电信业近期经验的熏陶，人们已形成这样一种本能直觉：在地缘政治上将新技术视为贸易政策的工具，目标是"将我们的技术栈推广到全世界"。但我坚信，AI是一种更深刻得多的存在，它将重置整块棋盘，未来的所有地缘政治战略都必须围绕它来塑造——它像核武器，但影响力可能更大。

如果AI真的很快将成为"数据中心里的一个天才之国"，或任何与之相近的存在，那么AI很可能成为任何国家军事和经济力量的主导来源。在一个拥有1亿天才的虚拟国度里，可以将1000万用于军事战略，1000万用于无人机制造，1000万用于武器研发，1000万用于情报收集与分析，1000万用于一般科学进步，以此类推。拥有强力AI的国家面对没有它的国家——甚至面对AI落后3年的国家——可能相当于二战海军陆战队面对中世纪的剑士军队。

此外，如果强力AI能够实现更深层次、甚至永久性的专制压迫形式，这就使得世界上主要大国必须是民主国家变得尤为重要——或者至少要存在强有力的保护措施来防范AI驱动的压迫。这也增加了制定聚焦的地缘政治战略的紧迫性。

民主国家应寻求建立一个以共同价值观为基础构建AI的全球联盟，通过让加入联盟变得越来越有吸引力，让留在联盟外变得越来越不划算，迭代式地吸引世界其他国家加入。该联盟应是将第1至4节讨论的AI政策理念进行国际协调，并努力锁定构建AI所需的关键供应链，在联盟内部共享，而对外部予以切断。一些原则和运作目标可能包括：

目标应该是让加入联盟变得尽可能有吸引力——并让留在联盟之外的代价变得清晰。该联盟将建立在主权国家协调的基础上，每个国家保留对其自身事务的完整管辖权。它可以迭代式地成长，从意识形态一致的民主国家开始（它们自然愿意加入），逐步欢迎那些虽然意识形态不那么契合，但准备达到联盟标准以换取成员资格巨大好处的国家。理想情况下，全世界最终都会加入。但即使这不可能，建立联盟也能让民主国家处于最强有利的态势，去遏制并与那些仍致力于压迫的政权竞争。

AI的指数级进步创造了一种紧迫感和政策制定过程通常难以适应的变化节奏。但它也创造了一个独特的机遇窗口。清晰的、迫在眉睫的AI风险证据、对AI创造经济价值和造成经济动荡的双重潜力的初步体验，以及公众对不受监管AI方法的显著反弹，这三者的汇合创造了一个局面：政策制定者对前瞻性行动的开放程度异乎寻常。树胡和他的森林正在醒来。

在AI行业圈子里，流行将这视为一个公关问题：声称AI需要"更好的营销"。我完全拒绝这种框架。人们担心AI，是因为他们正确地感知到了风险的真实性，而不是因为AI CEO们的宣传不够乐观。我认为，作为AI领导者，我有责任继续透明地揭示这些风险，而这种透明引发的公众关切，正是民主监督应有的运作方式。关键的挑战是将这种关切聚焦到建设性的解决方案上，而不是任由其沦为无差别的愤怒和暴力。

我对找到解决方案持乐观态度，因为其中的许多问题——从解决失业、模型发布前测试，到芯片出口管制，再到能源消耗等其他AI相关政策问题——在整个政治光谱中都拥有常识性的吸引力。在一个充满抱负但又现实可行的未来世界里，一场广泛的、无党派的联盟，基于对AI带来的挑战的直接认知，将推动理智且前瞻性的政策以前所未有的速度被采纳。我们越早这样做，就能越早共享AI令人难以置信的益处。