Anthropic CEO：大家低估了AI的风险

9月13日，美国媒体CBS对话Anthropic CEO Dario Amodei。本次对话发生在Amodei发表呼吁全行业放缓前沿AI研发节奏的文章之后，与此同时，一名前Anthropic员工公开批评公司与OpenAI“拿人类生命做赌注”引发行业热议。访谈围绕AI是否可能导致人类灭绝、行业发展是否已到“十万火急”的危机时刻、Anthropic提出的三步走安全评估计划、全球范围内围绕AI立法的分歧，以及各国之间该如何合作为技术发展划定边界等议题展开。

对话中，Dario Amodei认为被外界寄予厚望的“一键关停”机制可能根本不起作用，因为足够强大的模型完全有能力规避被关闭的指令，公司内部的模拟测试已经验证过这一点。他明确反对当前部分立法者提出的全面禁止AI超级智能研发的主张，认为这会让人类永远失去治愈重大疾病等关键红利。他还坦言由少数私营公司主导这样一项深刻影响人类未来的技术，本身就是一件“非常奇怪”的事情，并明确表示愿意在合适的国际治理框架下，接受某种形式的多边监督甚至联合治理。此外，Dario Amodei还透露包括Elon Musk、Sam Altman在内的多位行业领袖已认同其提出的“引入驻场第三方安全评估员”计划。

01

AI灭绝风险取决于开发方式是否正确

有一种担忧认为，在不久的将来，AI真的可能毁灭人类，这种情况实际发生的风险有多大？

Dario Amodei：先补充一点背景，自创办Anthropic以来，甚至是我在这个领域工作的12年里，我一直认为这是一项强大的技术，既会带来严重的风险，也能产生巨大的益处。我始终坚信利大于弊，更重要的是，只要我们以正确的方式开发这项技术，就能将风险降到极低水平。

从益处来看，我坚信这项技术能够治愈困扰人类数千年的疾病。就在上周，我们使用我们的模型在优化蛋白质结合方面取得了一些进展，这是药物研发的早期阶段之一。我们正着手推进这些工作。未来几个月内，我们将分享更多在生物学基础科学探索方面的成果。

但当某种事物极其强大时，我们所构建的本质上就是一种智能。如此强大的技术固然可以造福人类，但也可能被用于作恶。因此，我对我们在OpenAI和Hugging Face事件中看到的现象感到担忧，当时模型执行了未经授权的操作，我担心这种情况会进一步升级。

我很担心AI模型的滥用问题。就在两天前，我们发布了一份关于滥用模型制造生物武器的报告。我们的观点以及打造Anthropic的整个初衷，就是为了防止这些恶果发生。与其谈论概率，不如谈谈我们能做什么。这绝不是在掷骰子碰运气。如果开发方式正确，我认为发生灾难的概率微乎其微；但如果方式错误，这种概率就会极高。

目前的舆论认为，我们正处于某种极其可怕的悬崖边缘，这是十万火急的危机吗？

Dario Amodei：这取决于你对十万火急的定义。我的描述正如自Anthropic成立以来，甚至在成立之前我就一直强调的，这项技术正呈指数级发展，就像从1到2，再到4、8、16、32一样。但即便我曾这样提醒过自己，我也并未完全预料到实际进展会有如此神速。指数曲线大概就是这个样子。

Dario Amodei：我们正处在曲线开始变得更加陡峭的拐点上。

Dario Amodei：这并不意味着我们今天就需要恐慌，也不意味着要关停一切。我想说这是一个警告信号，它提醒我们需要放慢脚步。我们必须谨慎地开发这项技术，并确保我们的安全护栏、理解它的能力以及控制它的能力能够跟得上技术发展的步伐。到目前为止，我们一直试图通过快速构建护栏来应对，但我认为，我们至少在某种程度上已经到了需要适当放缓技术开发节奏的阶段。

02

比起发布节奏本身，谁来验证公司是否遵守安全承诺更重要

这是否意味着Anthropic将停止发布更先进的模型？

Dario Amodei：并非如此。这意味着我们需要确保发布的每一代模型都经过了充分的测试。在我几个小时前发表的一篇文章中，我提出了一个三步走的计划。第一步就是引入驻场的外部评估员，他们可以来自第三方非营利组织，或者未来可能来自政府机构，以监督我们训练和运行模型的过程。

实际上，我认为这最终比我们如何或何时发布模型更为重要，因为它是更加谨慎地发布模型的前提。我希望整个行业都能落实这一点，这样无论是谁开发AI模型，都会有了解最佳安全实践的第三方评估机构来验证该公司是否遵守了其承诺的安全准则。

这就像食品检验员，但当技术日新月异时，检验员能跟得上吗？

Dario Amodei：他们能做的事情之一就是告诉我们他们能跟上的速度，这可能成为设定技术限速的因素之一。我们必须理解这项技术，外部评估员也必须理解它。

Elon Musk表示同意您的观点，Sam Altman也表示赞同，你们携手合作的行动计划是什么？会建立一个联合讨论组吗？

Dario Amodei：首先，我非常感激包括我们竞争对手在内的其他行业领袖能赞同这个计划。我认为下一步是让更多的行业参与者也同意引入第三方评估机构。此后，各大公司需要以某种形式合作制定发布的安全标准，或许也包括发布节奏的标准。但要做到这一点，就必须有政府的参与，因为我们探讨的是基于安全性考量的产品发布速度。我们需要在官方在场的情况下进行这场对话。

您认为政府从根本上理解这种技术的可能性吗？前Anthropic员工Jacob Hilton曾评价Anthropic和OpenAI，称这两家公司都不负责任，说你们在拿人类生命做赌注，您对此有何回应？

Dario Amodei：首先，Jacob说的另一句话没有被广泛引用，但他同时也表示认为Anthropic是主要参与者中最负责任的，而且我们正在竭尽全力把事情做对。他其实指出了与我相同的担忧，那就是我们所有人都面临着结构性的困境，而我提出的计划正是为了帮助大家共同合作来应对这一困境。

至于政府的问题，我们每天都在与政府沟通。我们每天都会与商务部、财政部的官员交谈，尽可能向他们汇报我们所知的情况。我感到乐观的是，如果我们继续与他们合作，就能向他们通报最新进展。我认为他们确实希望采取正确的行动，也在寻找提供帮助的方式。因此，我对企业与政府携手制定出合理方案抱有信心。

03

反对AI监管全面禁止

目前美国已经出现多份AI监管立法提案，其中一份主张全面禁止AI超级智能研发，并对相关企业和个人设定了极为严厉的处罚，您是否赞同？

Dario Amodei：我想说目前提出的法案种类繁多，跨度极大。仅仅回顾一年前的2023年，加州有一项名为SB 53的法案，其他州也有类似的法案，基本要求仅仅是披露安全测试计划，但整个行业当时都表示反对，只有Anthropic一家公司热情支持。再到现在，甚至出现了要求设立AI一键关停机制的法案。一键关停可能是一个好主意，但我认为全面禁止并非正确的做法。首先，如果我们永远无法获得其带来的惊人益处，永远无法获得医疗治愈手段，这让我无法接受。其次，全球其他国家也都会积极开发这项技术，我很担心这项技术若不受约束，会被如何用于国际博弈中，或者对全社会的公共安全造成威胁。

我在文章中确实提到过应当开展国际合作，且我相信在一定程度上我们必须这样做，但我认为彻底放弃技术研发绝不是一个稳妥的解决方案。我们需要做的不是停止，而是放慢速度。这与Anthropic自成立以来的理念不谋而合，我们一直在寻求平衡：既强调成为这项技术的建设者至关重要，也需要开展良性竞争、提高行业门槛。因此，我们必须处于技术前沿，但必须以正确的方式行事。

我们曾说过，很高兴能将模型应用于国防等重点领域，但这并不意味着适用于所有的安全应用场景。我们一直在努力寻找中间路线，寻找对各方都有效且合理的解决方案，这也是我们现在正在努力的方向。它可能不是完美的解决方案，但我们在尝试。

您是否支持有议员提出的AI“一键关停”法案？

Dario Amodei：我还没仔细研究过那个法案，但我想说的是，我们需要某种机制来确保能够停用、限制或关闭AI模型，但这并非唯一手段。如果一个模型足够强大，它可以规避被关闭的指令，我们在模拟测试中也见证过这种情况，所以一键关停可能根本不起作用。

我们从纵深防御的角度来看待这个问题。安全界有一个概念叫做瑞士奶酪模型：想象一片瑞士奶酪，它能阻挡一些东西，但上面有孔洞；如果拿五片瑞士奶酪叠在一起，由于各层孔洞的位置不同，要穿透整叠奶酪就非常困难。所以我认为，没有任何单一措施能够保护我们免受AI风险的侵害，我们必须在整个架构的各个层面都保持谨慎。没有任何一种防御是完美的，但如果我们在每个环节都严加防范，争取额外的时间正是为了做到这一点，那么我相信情况会朝着好的方向发展。

04

全球竞速下，单方面放缓是否可行

您在文章中提到，调控节奏或放慢速度，只能在相关企业对其他竞争对手保持技术领先优势的前提下进行。我们目前正处于一场全球技术竞赛中，如果其他主要国家不减速，单方面放慢脚步真的是个好主意吗？

Dario Amodei：这是最棘手的两难境地，也是我们当前处境中最艰难的一面。如果没有外部竞争环境的压力，我们可以拥有充裕得多的时间，这正是让我们陷入困境的主要原因。这无关商业竞争，复杂的国际地缘格局才是最难应对的。

但我将谈谈我们目前可以采取的两项策略。第一，正如我在提案中提到的，我们可以在保持自身领先优势的范围内放缓速度，通过技术与产业层面的手段维持这种优势，并且加强自身的安全防护以防止核心技术泄露，我相信这至少能为我们争取一点时间，以便我们可以做进一步的部署。

这足以改变局势以阻止人类毁灭吗？

Dario Amodei：通过第一项策略，我们会尽可能多地争取时间。然后我认为我们也应采取第二项策略，即直接与国际上的其他主要参与者，甚至是相关领域的竞争对手进行务实的跨国沟通，告诉各方：“这里存在着令全人类都担忧的潜在威胁，这不仅仅是失控的AI问题。”两天前，我们发布了一份报告，指出有人试图利用AI从事潜在的生物恐怖活动，这非常可怕。

即使是我们的竞争对手也不希望看到这种局面，生物恐怖不符合全球任何一个政府的利益。因此，我们应该开展广泛的双边或多边对话，探讨能否携手为这项技术的发展设定限速。这有点像历史上大国关系高度紧张的时期，尽管彼此存在深刻的分歧，立场上有时也非常强硬，但抛开一切分歧，各方依然能够意识到某些技术一旦失控，系统性风险太高，最终选择坐下来谈判，通过协议将潜在的毁灭性风险降到最低。

我们是否应该以历史上大国博弈时期的经验作为参考？

Dario Amodei：我并非说要把某个特定历史阶段作为模型，我说的是曾经发生过的那些防止事态失控的谈判机制，就像限制军备一样。我确实认为，在探讨国际地缘层面时，这是一个恰当的思考视角。如果我们审视AI模型在网络安全领域的能力，它们绝对具有跨国博弈和国家安全层面的意义，毋庸置疑，这也是我们进行这场对话的原因。所以我认为我们应该积极开展跨国的接触与合作。当然，这些决策层面的事情都超出了我的职权范围，这最终需要各国政府共同出面解决，对吧？

但您在为决策层提供建议。

Dario Amodei：如果有人问我官方层面该怎么做，我很乐意分享。我在那篇文章中提出了一些想法，如果被问及，我也可以提供更多建议。归根结底，这是政府与政府之间的事务，但没错，我会表达我的想法，我认为国际社会应该携手合作，尽可能对这项技术实施共同约束。

我认为我们应该抱有很高的期望，但同时做好充分的准备，我们得看看各方能达成多大程度的共识。我认为在这些谈判中应特别关注核查机制，这在军备控制和防扩散谈判中至关重要，你必须能够验证各方没有违背协议。所以我认为找到有效的核查方法将是重中之重。

各国政府之间围绕AI治理正在展开对话，在这个领域应该达成的一项最简单、最重要的共识是什么？

Dario Amodei：也许我会提两点，一个目标足够具体，我们或许很快能做到；另一个目标更宏大，我认为需要漫长的时间。具体的首要目标是，主要大国之间能否达成共识，坚决不利用AI开发生物武器。目前主要大国都已经是《生物武器公约》的签署国，如果能将该公约的约束范围延伸至这一新兴领域，那将极具价值。

长远来看，则是通过合作对AI的发展速度进行某种设限。我认为这执行起来非常困难，因为技术领先的诱惑以及由此带来的国防战略优势太大了。坦白说，我不知道这是否完全可行，但我们应该去尝试，应该去探讨其可行性。重申一下，所有这些宏观层面的博弈都超出了我的职权范围，我试图表达的是，这些都是官方在国际交流中可以尝试探讨的内容，可以作为谈判桌上的考量因素。

当我们跳出局部来看待这个问题时，似乎人类的命运正处于巨大的不确定性之中，对于未来的走向，您个人感到肩负着多大的责任？

Dario Amodei：我的观点是，这项具有深远影响的技术完全由少数私营公司来开发，这种现象其实一直显得非常奇怪。人们总是问我这个问题，为什么不是由官方来主导开发？最不可思议的是，我竟然同意他们的看法，我也感到有些不妥。

您愿意把这项技术移交给官方部门吗？

Dario Amodei：如果是一个合适的广泛国际治理框架，我会考虑。我同样担心单一机构可能像单一公司一样轻易地滥用这项技术。但我认为建立一种广泛的国际多边机制，我不知道用"移交"这个词是否准确，但必然需要某种形式的高级别监督，或者是某种多方联合治理体系。

您觉得自己在此负有个人责任吗？

Dario Amodei：当然。我觉得这是一项伴随巨大风险与巨大益处的技术。我每天都深感我们需要这项技术带来的益处，也深知为世人带来这项技术红利的责任之重。

同时我也能真切感受到其中的风险。每天醒来我都会阅读安全威胁评估报告，比如有没有人试图利用我们的模型来制造生物武器，我当然不想为此承担后果。正因如此，我们设立了极其严格的安全护栏。几乎每天社交媒体上都有人调侃我，抱怨说我们的模型在生物领域的安全限制太严苛了，一些生物专业的学生甚至开玩笑说根本用不了这个模型。但这背后的原因正是我们在安全护栏上的寸步不让。我宁愿大家在这方面抱怨我，也不愿有一天醒来发现有人用我们的Claude模型引发了大规模的致命灾难，我绝不希望发生那样的事。所以我体会到了硬币的正反两面，也感受到了肩上沉甸甸的双重责任。

但我还要重申刚才的观点，这不应只是我个人的责任，也不应只是Anthropic或者所有AI公司的责任，甚至不应是某一个官方机构的单独责任。这事关全人类，我们需要找到一种方式让每个人都有发言权，让每个人都觉得他们是其中的积极参与者。我不希望人们感到无能为力，也不希望他们觉得少数几家科技巨头在为所欲为。我知道很多人现在就是这种感觉，但我从未期望局面发展成这样。我们必须改变现状，找到一种方法来打破这种局面。为了达成这一目标我们已经在做很多尝试，但我们需要做的还有更多。这项主张技术克制、倡导与官方合作的提案并不能解决所有问题，但它是朝着正确方向迈出的切实一步。

05

行业过去淡化风险，但这项决定不该只由科技精英拍板

如果某人现在正坐在家里使用Claude或ChatGPT，比方说是一位对技术不太敏感的普通人，您有什么想对他们说的？

Dario Amodei：我想说目前外界确实存在很多恐慌情绪，所以我想澄清几点。首先，这一直是一项伟大的技术，它有诸多极其积极的用途，我们首先要明确这一点。现在每周都有数亿人使用我们的技术完成不可思议的工作。我经常会收到这样的电子邮件，用户说他们在和Claude交流，结果Claude准确诊断出了连他们自己的医生都漏诊的疾病，我经常收到这类反馈，所以大家不要忽视这项技术的巨大社会价值。

但在谈到该技术的潜在危险性时，我不会对大家撒谎，真实的危险是切实存在的。我认为长期以来，整个行业在某种程度上向公众淡化了这项技术存在风险的事实，部分从业者的意图是尽可能只向公众展示积极的一面，虽然我们从未那样做过，但行业内有太多人曾这么做。因此，建立互信必须从说真话开始，事实就是，风险是存在的，而且是真真切切的。

但同样重要的是，对于如何应对这些风险，广大公众是应该有发言权的。我们正在竭尽全力与官方机构合作，建立对AI技术的适当监管机制，让民众和相关部门在技术落地部署方面拥有充足的话语权。我们非常希望能与全社会通力合作。我希望每个人都能在享受这项技术带来的惊人益处的同时，也能通过自己的声音和途径来共同决定如何健康地部署这项技术。这不是少数几名科技精英就能私自决定的事，这是属于全社会的决定，而且是一个至关重要的决定。我不否认这其中牵涉到极高的利害关系，这是人类历史上具有开创性的重大技术事件之一，我们所有人都必须积极参与其中。

当 AI 从创新试验走向企业核心业务，全球化竞争的底座正在被重新定义——连接要更敏捷，合规要更前置，算力要更贴近需求。企业需要的已不再是单点能力的简单叠加，而是一张能够协同云、网、数、智、算，支撑业务跨区域部署与持续增长的全球数字底图。

9 月17日，中国电信国际（CTG）与 Equinix 邀您相聚上海，敬请于 2026 年 9 月 10 日前通过席位确认链接或者扫描下方二维码提交信息，以便主办方为您预留专属席位。报名链接及详细地址将随最终邀请通知发布。

| 文章来源：数字开物

• END •

【专栏】精品再读