"开源权重远非充分解决方案"：Dario Amodei回应AI权力集中争论

Anthropic首席执行官Dario Amodei表示，开源权重带给开发者的独立性存在根本性的算力天花板。

"AI在结构上是一种倾向于集中权力的技术，这与监管毫无关系，"Amodei在X平台与投资人Gavin Baker的公开交流中写道。他将这种集中归因于扩展定律，而非政府政策。

"开放权重对此有一定帮助，但远非充分解决方案，因为它只是将集中程度从少数企业转移到了那些拥有最多算力和芯片的人手中，"他补充道。

这场争论始于一个问题：监管究竟让AI更安全，还是让少数公司握有过多权力？最终留给开发者一个现实问题：当算力仍由他人掌控时，拥有模型权重是否真的意味着独立？

Atreides Management管理合伙人Gavin Baker将这场辩论框架化为一个选择：是将强大的模型集中在少数受监管的公司手中，还是在没有同等防护措施的情况下广泛分发？他援引Meta首席执行官马克·扎克伯格的论点：将AI集中在少数所谓负责任的组织手中，本身也会制造危险。

"认为AI如此危险以至于唯一安全路径是极度集中权力，这种观点本身就存在问题，"扎克伯格在Baker引用的声明中写道。

Baker认为，让更多模型广泛流通将分散权力，并提高人们使用符合自身价值观系统的可能性。他还表示，Amodei反复发出的AI风险警告可能会加剧对新建数据中心的反对，从而限制实现这项技术潜在收益所需的基础设施。

Amodei拒绝接受在监管与开放分发之间二选一的框架。

"我知道硅谷有一种简化的逻辑：监管等于监管俘获等于权力集中。但我一直认为这是对世界过于简化的描述，"他写道。

他认为，当监管要求基于客观标准时，监管本身能够约束强大的企业。Amodei表示，最好的制度应该"将权力赋予理念而非个人，从而实现权力的分散"。

开放权重允许开发者调整模型并将敏感数据保留在自己的环境中，但随着模型规模增大，这件事会变得越来越困难。尽管小型团队可以租用硬件，但他们仍然面临算力成本与可用性方面的风险。这一问题已有现实映证：近期五家欧洲公司已协议购买尚不存在的AI算力资源。

值得注意的是，Anthropic是为数不多未签署英伟达于7月24日组织的联名信的主要AI实验室之一。该联名信的签署方认为，开放权重通过为客户提供专有API的替代选择，能够促进竞争。

Amodei随后表示，Anthropic并不支持全面禁止开放模型。他将不具备危险能力的开放模型称为"公共产品"，但一旦模型能够帮助某人实施严重攻击，他的立场便会转变。现实中的安全失控案例已经表明，即便在权重发布之前，要控制一个能力强大的模型也极为困难。

一旦权重公开，原始开发者就无法收回每一份副本，也无法阻止用户移除其安全限制。Amodei希望达到该能力级别的模型必须经过强制性安全测试，无论以何种方式发布。Anthropic已将这一立场延伸至自身产品之外，近期呼吁最强大的AI实验室踩下刹车。

Amodei否认AI监管必然会保护Anthropic等现有巨头免受竞争的观点。他表示，Anthropic支持的监管框架对前沿实验室提出了更严格的要求，同时豁免规模较小的开发者。

"我们非常努力地提出那些会不利于（放慢）前沿AI公司、同时有利于规模较小竞争者的方案，"他写道。

Anthropic支持加利福尼亚州SB 53法案，该法案将前沿模型定义为使用超过10??次浮点运算进行训练的模型。年收入超过5亿美元的开发者须满足额外要求，包括发布说明其如何测试和应对灾难性风险的框架文件。

Amodei呼吁联邦政策采取类似区分方式。

"我们在美国AI标准与创新中心（CAISI）及白宫所倡导的测试流程，对前沿模型比非前沿模型要求更严格的测试，"他写道。他表示，这种方式可以给挑战者追赶的空间，同时放慢那些已在构建最强大系统的公司的步伐。

他还支持DeepMind首席执行官Demis Hassabis提出的建立类似FINRA机构的AI标准委员会的提案。在该框架下，模型在跨越定期更新的基准阈值后将被归类为前沿系统，同等规则适用于开放和闭源模型。

训练算力为开发者提供了可以预期的门槛，但可能无法捕捉通过微调或外部工具新增的能力。基准测试可以更直接地衡量这些能力，尽管其结果很少能提供清晰的分界线。

OpenAI已构建了一个不希望大多数人使用的模型，以及另一个在安全测试完成前不会发布的模型。这两者都让人提前感受到能力分类将会有多困难。

美国AI标准与创新中心发现，月之暗面的Kimi K3在初步网络安全评估中仍落后于最强大的闭源模型。然而在针对小型企业网络的模拟攻击中，它在10次尝试中有一次完成了全部32步攻击路径。

Kimi K3未能在41个ExploitBench样本中实现任何任意代码执行，而最强大的模型平均可实现约20个。发布前测试的版本在被开发者微调或接入外部工具后，表现也可能有所不同。DeepSeek则凸显了这一问题——其小型模型的表现超过了自家旗舰模型，说明模型规模本身并不是衡量能力的可靠指标。

Amodei的提案将使大多数小型开发者免受最严格规则的约束。监管机构仍需判断这些挑战者何时跨入了前沿领域，最好在其权重发布并被修改至超出原始开发者控制之前作出判定。

Q&A

Q1：Dario Amodei为什么认为开放权重不够解决AI权力集中的问题？

A：Amodei认为，开放权重只是将权力集中从少数AI公司转移到了那些拥有最多算力和芯片的人手中。随着模型规模增大，小型开发者即便获得了权重，也越来越难以脱离大型算力提供商独立运行，因此开放权重并没有从根本上解决权力集中的问题。

Q2：Anthropic对开放模型的态度是什么？

A：Anthropic并不支持全面禁止开放模型。Amodei将不具备危险能力的开放模型称为"公共产品"。但他认为，一旦模型能力达到可能帮助实施严重攻击的级别，就应该接受强制性安全测试，无论以何种方式发布，不能因为是开放模型就绕过这道门槛。

Q3：Amodei提出的AI监管框架如何区别对待大小公司？

A：Amodei支持对前沿AI公司设置更严格要求，同时豁免规模较小的开发者。加利福尼亚州SB 53法案将使用超过10??次浮点运算训练的模型定义为前沿模型，年收入超过5亿美元的开发者还须满足额外要求。这一框架旨在给小型竞争者追赶的空间，同时对已处于前沿的大型企业踩刹车。