为AI设定发展节奏，无法解决治理缺口问题

1972年5月，经过多年就足以摧毁两国的武器进行的谈判，理查德·尼克松与列昂尼德·勃列日涅夫签署了被称为“第一阶段限制战略武器条约”（SALT I）的协议。

即便有相互毁灭作为合作的动因，双方仍不愿仅凭口头承诺相信对方。在苏联境内进行现场核查在政治上难以接受，因此协议转而依赖所谓“国家技术核查手段”：双方通过各自的技术手段（包括侦察卫星）来监视对方。

达成协议是有价值的，但核查才是不可或缺的。这正是我在阅读达里奥·阿莫代伊（Dario Amodei）《我们必须为前沿科技设定节奏》一文时，一直无法摆脱的一个区分。

阿莫代伊的文章值得认真对待。他所担忧的是，人工智能能力的发展速度已经超过了人类理解和控制它的能力，尤其是当AI已经具备构建下一代AI的能力时。他提出了一个三步方案。第一步，让独立评估机构获得类似员工级别的持续访问权限，进入前沿实验室核实其安全实践，Anthropic已表示将单方面承诺这样做。第二步，推动民主国家的领先实验室在共同的安全标准上达成一致，必要时由政府提供支持。第三步，就最危险的能力寻求国际协议，包括与中国达成协议。

我认同他大部分的判断。但我与他的分歧在于，第二步和第三步究竟能承担多大的分量。

竞争总会找到出路

放慢AI前沿发展的节奏，要求那些在巨大经济回报面前相互竞争的公司集体自我约束。独立核查要求企业更多地公开自己在做什么，而放慢节奏则要求企业少做一些。这是两种截然不同的经济命题。独立核查可以与一个奖励速度的市场共存，但集体自我约束却要求这个市场违背自身的激励机制运作。

在此之下还有一个更深层的问题。建造，正是科学家、工程师和企业家所做的事情。我们可以监管建造出来的东西，限制危险用途，并为越界行为设定后果。但要求整个技术领域压制自身推进能力的冲动，同时挑战的是经济力量和推动科学进步最古老的驱动力之一：如果某件事看起来可能实现，总会有人去验证它是否真的可行。

如果让竞争对手达成一致已属不易，那么让各国政府达成一致则更为困难。谁来决定AI发展的正确节奏？是美国？中国？欧洲？前沿实验室？还是某个国际组织？当受这些系统影响的人并非构建这些系统的人时，谁又有权参与划定边界？一旦达成协议，谁来判定是否有人越界，而当整个国家认为放慢脚步的代价超过了违反协议的风险时，又会发生什么？

这并不是反对国际协调的论点。我们应该去追求它。只是我们不应该把人类的安全寄托在它一定能成功之上，而阿莫代伊自己的文章也暗示，真正意义上的全球性放缓，恰恰是他所提出的各种结果中最不可能实现的一种。

这场争论几乎瞬间就分裂了

文章发表几天之内，业界就分裂成了三大阵营，而这种分裂本身就是有力的佐证。

第一个阵营很快表示支持。萨姆·奥特曼在文章发表后几个小时内就承诺，OpenAI将效仿Anthropic的嵌入式评估员承诺。埃隆·马斯克对这一更广泛的呼吁表示支持。谷歌DeepMind的戴密斯·哈萨比斯表示，这篇文章指出了正确的前进方向。欧盟委员会主席乌尔苏拉·冯德莱恩支持“为前沿科技设定节奏”的呼吁，并表示她将召集主要实验室，讨论欧洲如何支持这些努力。

第二个阵营认同问题诊断，却反对开出的药方。Meta的马克·扎克伯格拒绝了协同放缓的提议，他认为竞争、法律责任以及独立评估已经为实验室提供了足够的动力去安全地进行研发，不需要其他人来设定它们的节奏。投资人大卫·萨克斯（David Sacks）则提出了更为直接的质疑：如果那些呼吁放慢进度的公司真的认为这是必要的，它们完全可以自己先放慢下来。

第三个阵营则对背后的动机提出质疑。投资人迈克尔·伯里（Michael Burry）称放缓的呼声是在为自身利益服务，认为在位实验室可能借此应对日益激烈的竞争压力。

我们不需要判断这三大阵营谁的看法更正确，这才是关键所在。即便是在最善意的情形下——假设所有参与者都是本着诚意在争论——这个提议依然在短短几天内就让整个行业出现分裂。这种分歧出现的速度本身就说明了一个重要事实：协调也许可以成为安全策略的一部分，但它不能成为整个安全体系的根基。

“流程已经遵守”实际带来了什么

航空业常被拿来作为证明社会能够让极其复杂的技术变得安全的范例。它确实做到了这一点，但同时也给了我们波音737 MAX这个反例。

2018年和2019年，两架波音737 MAX客机接连坠毁，造成346人遇难。美国交通部监察长办公室调查发现，波音公司和美国联邦航空管理局（FAA）事实上都遵循了既定的认证流程。但流程本身还不够。FAA的相关指导意见导致业界对两起坠机事故中涉及的飞行控制软件产生了严重误解，而该机构对波音自身就该系统所做的安全评估的完整理解，也是在第一起坠机事故发生之后才逐渐建立起来的。

部分问题出在结构层面。通过“组织指定授权”（Organization Designation Authorization）项目，FAA将部分认证职能下放给了波音公司自己。即便是一个成熟的、涉及安全关键领域的监管体系，也可能在正式合规与对被监管系统的真实洞察之间出现裂缝。

这正是留给AI领域的教训。规则的有效性，取决于我们能否真正知晓复杂系统是否切实遵守了这些规则，而AI让这个问题变得更加棘手。

AI以机器的速度制造出核查难题

一架飞机已经极其复杂，而AI带来的是另一种性质的挑战：其行为会随情境变化而改变，其能力、可调用的工具、权限以及交互方式都可能迅速变化。智能体能够编写代码、调用API、与其他智能体交流，并以远超人类评估者事后复盘速度的效率执行动作。

METR发布的《2026前沿风险报告》指出了这一问题的另一面。Anthropic、谷歌、Meta和OpenAI向METR开放了对其最强内部模型的访问权限，包括原始的思维链数据，以及关于这些模型在内部如何被使用和监控的非公开信息。这确实是朝着摆脱“构建技术的公司同时也是判断该技术是否安全的唯一证据来源”这一局面迈出的实质性一步。

但仅有访问权限并不等同于独立性。谁来选择评估机构？评判标准由谁制定？评估机构能披露哪些信息？当评估机构与企业意见相左时又该怎么办？自愿性的评估是一种进步，但它与结构性的独立监督并不是一回事。

而即便是真正独立的评估，也会遇到规模化难题：人类根本无法以足够快的速度进行监看。

这已经不再仅仅是前沿实验室才面临的问题。德勤2026年一项针对24个国家超过3200名企业和信息技术负责人的调查发现，只有21%的组织为智能体AI建立了成熟的治理体系。IBM的研究发现，70%的技术高管表示，其企业内各团队部署技术的速度已经超过了IT部门的追踪能力，而只有11%的高管表示已经为大规模部署AI智能体做好了充分准备。

现有的企业层面证据表明，AI的部署速度已经超过了许多组织对其进行治理的能力。

治理必须跟上步伐

面对能力日益增强的AI，可扩展的应对方案不可能是不断增加人力去人工监看它。同样，这个方案也不能完全依赖各国政府就发展的正确速度达成一致，并成功地对每一家利益各异的公司和国家强制执行这一速度。如果AI的行动速度已经超过了人类审查或干预的能力，那么解决方案的一部分也必须以机器的速度运行。

这并不意味着由机器来决定什么是可以接受的，而是意味着人类必须明确划分各方的责任。

由人类设定合法边界。政府制定法律法规，各类组织确定可接受的风险水平、制定政策并设立越界后果。那些受这些系统影响的人，不应仅仅因为他们没有参与构建这项技术，就被排除在这些决策之外。

由独立机构进行核查。制定政策或销售AI系统的主体，不应成为判断这些系统是否合规的唯一裁判。评估机构、标准制定组织、监管部门、审计人员以及其他独立机构，需要获得切实的访问权限、技术能力以及公开报告发现结果的自由。

由机器速度的系统负责识别、评估、监控与执行。AI系统将越来越多地需要协助发现其他AI系统，追踪它们能够访问的内容，测试其行为，监控工作流程，识别违反政策的行为，采取预先设定的执行措施，并保存事件发生的证据。这样做的目的并非让另一个AI系统成为最终裁决者，而是将人类制定的规则自动化，使其在人类无法持续监督的情况下，也能实时得到执行。

由人类保持问责。问责并不要求每一项治理行为都由人工亲自完成，它要求的是必须有一个人、一个组织或一个公共机构，对相关规则、控制措施、例外情形以及产生的后果承担最终责任。

对企业而言，这意味着治理不能仍是在重大技术决策已经完成之后才附加进行的审查环节，而必须成为技术架构中与安全、身份、数据和可观测性并列的核心组成部分。

顺着激励机制去思考

眼下，全球范围内正上演着一场打造更强大智能的非凡竞赛。其中的激励因素显而易见：一些全球顶尖的工程师和巨额资本，都在集中精力让模型更强大、让智能体更自主、让AI更加实用。

对这些系统的治理理应获得同等的技术雄心：更完善的评估方法、独立核查机制、持续监控、可执行的政策、更强的标准，以及能够以AI速度运行的基础设施。

围绕如何解决这些问题，应该展开充分的竞争。任何单一公司、实验室或技术架构都不太可能拥有全部答案。有更多的研究人员、初创企业、标准制定机构和成熟科技公司投身治理领域的研究，这本身就是进步的标志，而非碎片化的表现。

而目前的激励机制却是失衡的。我们用投资、估值、客户以及地缘政治关注度来奖励能力上的突破，而治理往往是在产品部署之后才作为一项合规成本姗姗来迟。

要弥合这一差距，仅靠政策声明或治理软件是远远不够的。政府应在支持能力研究的同时，也支持关于评估、监控和执行方面的研究。标准制定机构和独立评估者需要获得访问权限和技术能力。企业应将可治理性作为架构设计和采购环节的硬性要求。整个行业应将治理视为一门工程学科，而不仅仅是一项合规职能。

如果竞争能够加速AI能力的发展，那么我们也应该创造条件，让竞争同样推动我们治理能力的提升。

设定节奏可以争取时间，但不能成为终点

阿莫代伊说得没错，AI能力与我们理解和控制它的能力之间确实存在真实的差距。

如果前沿实验室能够就特定能力阈值达成协调一致，这也许能为我们争取一些时间。各国政府就特别危险的应用达成的协议，也可能降低一些风险。而让真正独立的评估机构获得更深入的访问权限，也能让我们获得关于前沿系统究竟在做什么的更好证据。

这些方向都值得去努力推进，但都不应被误认为是能够独立支撑起整个安全体系的架构。

军备控制教会我们，能够被独立核查的协议才更加牢靠。航空业教会我们，即便是成熟的监管体系，一旦监管者无法看清所监管系统的内部情况，也会失效。而AI正在让我们面对另一个教训：以人类速度进行的治理，无法无限期地跟上以机器速度发展的智能。

竞争同样教会了我们一件事：激励机制是有效的。我们已经为让AI变得更强大创造了非凡的回报，我们同样需要为让AI变得可治理创造同等的回报。

一个可靠的AI未来方案，不能仅仅寄望于良好的意愿。我们不应该非得去判断某个前沿实验室的动机究竟是出于利他、出于商业利益，还是二者兼而有之。良好的治理，应当在各方利益出现分歧时依然能够发挥作用。

这意味着，我们需要针对当下真实存在的激励机制去进行设计，而不是寄希望于我们所期待的那种合作。

设定节奏也许能够争取时间，我们应该利用这段时间，让治理能力真正跟上发展的步伐。

Emre Kazim是Holistic AI公司联合创始人兼联合首席执行官，他为SiliconANGLE撰写了本文。

图片来源：GM

Q&A

Q1：达里奥·阿莫代伊提出的“为前沿科技设定节奏”方案具体包含哪些内容？

A：该方案包含三个步骤：第一，让独立评估机构获得类似员工级别的持续访问权限，进入前沿实验室核实安全实践；第二，推动民主国家的领先实验室在共同安全标准上达成一致，必要时由政府支持；第三，就最危险的AI能力寻求国际协议，包括与中国达成协议。

Q2：为什么波音737 MAX事故会被拿来类比AI治理问题？

A：因为该事故显示，即便波音公司和FAA都遵循了既定认证流程，事故仍然发生了。原因在于FAA的指导意见导致业界对关键飞行控制软件产生误解，说明仅有正式合规流程，并不能保证真正了解被监管系统的实际运作情况，这对AI治理同样是重要警示。

Q3：为什么说AI治理不能仅仅依靠人类监督？

A：因为AI智能体能够编写代码、调用API并与其他智能体交互，行动速度远超人类评估者事后复盘的能力，人类根本无法以足够快的速度持续监看。因此治理体系的一部分必须以机器速度运行，通过自动化系统来识别、监控和执行人类制定的规则。