当立法开始讨论「禁止超级智能」，真正缺失的可能不是智能边界，而是执行边界

来源：市场资讯

（来源：虎嗅APP）

本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs，原文标题：《当立法开始讨论「禁止超级智能」，真正缺失的可能不是智能边界，而是执行边界》

2026年9月，美国参议员Bernie Sanders与众议员Greg Casar对外披露了一项名为《Ban Artificial Superintelligence Act》的立法计划。按照目前公开的信息，这仍是一份宣布中的立法主张，而非已经生效的法律：它试图永久禁止人工超级智能的开发与部署，并在联邦层面建立起相应安全规则之前，暂停部分先进人工智能的进一步开发。

这显然是一项政治提案，它能否进入正式程序、"超级智能"究竟该如何定义，每个环节都存在争议。反对声音并不只来自产业界——一些长期呼吁强化AI安全监管的研究者同样认为，直接宣布永久禁止过于激进，等于用法律封存一个科学界尚未稳定定义的对象；而支持者的理由同样成立：如果人类真的造出了自己无法控制的系统，那时再讨论治理，可能已经失去了讨论的资格。

但如果把政治立场放到一边，这项提案真正值得被记住的地方，也许不是它想禁止什么，而是它无意之间暴露出的空缺。当人工智能开始从"回答问题"走向"完成任务"，从生成文本走向调用接口、改变状态，一个过去不必回答的问题被推到了台面上：

这两个问题看上去几乎相同，实际上分属两种治理哲学。前者关心一个系统能想到什么，后者关心它能让什么真正发生。

过去十年关于人工智能风险的讨论，几乎都围绕同一个对象展开——模型。模型是否携带偏见，是否产生幻觉，是否泄露隐私，是否会被越狱绕过限制，是否在误解指令后输出危险内容。再往深处走是Alignment：机器的目标是否与人的目标一致；如果有一天出现比人类更聪明的系统，它是否仍然愿意服从人类。

这些问题都极其重要。但把它们放在一起观察，会发现它们共享着一个未被言明的前提：风险主要来自"机器如何思考"。既然风险源自思考，治理自然落在思考本身——训练数据、参数规模、能力评估、安全对齐、推理过程、能力上限。整个安全议程被组织成了一套围绕"脑"的工程。

"禁止超级智能"仍站在这条延长线上，推理相当自然：如果一个系统强大到我们无法保证它始终可控，那么最稳妥的办法，就是不要让这种能力出现。作为预防原则，这并不荒谬。

问题在于，它可能只触及了风险的一半。因为把风险真正带进现实世界的，从来不是智能本身，而是智能获得了执行能力。一个系统想错了什么，和一个系统做成了什么，中间隔着一道被长期忽视的门。

设想两个人工智能系统。第一个非常聪明，能读遍全球市场数据、解析财报、预测价格，每天生成上千条交易建议，却没有任何账户权限：不能下单，不能转账，不能调用银行接口。即使它判断错误，风险链条上仍然存在一道天然断点——人必须决定是否执行。

第二个也许没那么聪明，甚至偶尔会理解错指令，但它能够直接登录交易系统、调用支付接口、操作云基础设施、修改生产数据库、控制设备状态。到这里，问题的性质已经改变。危险不再取决于"它到底聪明到什么程度"，而取决于"它能够让什么事情真正发生"。

我们习惯用能力衡量机器的危险程度，但现实系统的风险结构更接近另一个式子：风险等于智能能力、执行权限、自主程度、作用规模与作用速度的乘积。任何一个变量抬升都会改变整个风险轮廓，而把一次错误从"信息"变成"事故"的，是执行。模型可以生成一万次错误答案，只要没有执行能力，它们始终只是错误信息；而一个能力平平的模型，只需在生产环境里执行一次错误的删除命令，就足以造成不可逆的损失。

这意味着一件反直觉的事：远低于"超级智能"门槛的系统，完全可能拥有远高于其智力水平的执行风险。如果治理只盯着能力的天花板，就会系统性地漏掉今天正在发生的大多数事故。

三、我们可能正在用“限制大脑”的方式，解决“限制手脚”的问题

正因如此，这场讨论最值得深思的地方不在结论，而在本能。当一个系统可能失控时，人们第一反应总是：不要让它那么聪明。于是路径顺理成章地指向降低模型能力、限制训练、限制算力、限制参数规模。这些方法有其价值，但本质上都是在限制"脑"。

现实世界一直存在另一条路线：即使一个系统非常聪明，也不意味着它必须拥有无限执行权。人类社会对此并不陌生。我们不会因为一名员工足够聪明，就允许他独自调走一家银行的全部资金；不会因为一位工程师技术出色，就允许他毫无边界地改写整个生产系统；也不会因为CEO是最高负责人，就让重大资金、审计与法律程序对他完全失效。

现代组织治理的成熟之处，恰恰在于把两件事拆开：**能力与权力必须分离。**一个人能够做出正确判断，并不等于他应该拥有让所有判断直接成为现实的权力。这不是对个人的不信任，而是对系统的负责。

但在人工智能的工程实践里，我们正把这两个概念重新混合：一边训练越来越强大的智能，一边把API Key、数据库权限、云控制台权限、资金与设备控制权限不断交到它手里，然后通过提示词、策略文件或对齐训练告诉它——请正确地使用这些权力。

这是一种脆弱的安全结构，因为它隐含着一个危险假设：只要智能足够可靠，执行就可以被信任。而人类几百年的制度设计恰恰建立在相反的假设之上：无论一个主体多么优秀，都不应该拥有不受约束的最终执行权。

工程世界对此有更朴素的表述：可靠系统从不建立在"组件永远不会失败"的假设上。飞机不会因为飞行员受过严格训练就取消冗余，数据中心不会因为服务器优良就取消备份，金融机构不会因为员工通过背景调查就取消审计，核电站更不会因为控制软件测试充分，就假设它永远不会异常。

成熟工程的基本逻辑始终是：失败一定会发生。因此真正的问题不是"如何保证永远不失败"，而是"失败发生时，系统如何阻止它演变成灾难"。

今天的AI安全讨论正缓慢逼近同一个问题。一个具备自主规划能力的Agent，可能在数百个连续步骤中完成任务：第1步正确，第2步正确，第37步出现偏差，第38步基于错误状态继续推理，第39步调用真实接口，第40步改变现实世界。链条越长，某一步偏离就越接近必然。

于是我们要解决的已经不只是"让第37步不要犯错"——对任何复杂系统而言，这几乎无法长期保证。更现实的问题是：在第39步发生之前，系统是否还存在一道独立于模型判断之外的边界。这道边界之所以必须独立，是因为它一旦依附于模型自身的判断，就与错误共享了同一个源头。一个由犯错者自己看守的关口，等于没有关口。

五、未来AI治理的核心，也许不是“机器能不能想”，而是“机器能不能做”

顺着这条线索，AI治理需要完成一次重心迁移。过去我们习惯问：这个模型有没有危险能力。未来必须继续追问：它即使拥有危险能力，能够把这种能力转化成什么现实动作。

模型可以规划一笔支付，和模型可以完成一笔支付，不是一回事；模型可以生成删除数据库的命令，和数据库真的被删除，不是一回事；模型可以设计一次网络攻击，和它获得凭证、建立连接、真正改写目标系统，同样不是一回事。这三组对照之间，横着一个长期被软件世界忽视的层：从Intent到Execution。

意图不是执行，判断不是执行，甚至授权本身也不等于执行。真正改变现实状态的，永远是最后那个瞬间——钱被转走，服务器被关闭，权限被修改，设备开始运动，代码进入生产环境，交易被广播。现实世界的安全，最终都收敛到这个瞬间。

一旦承认这一点，就会得到一套截然不同的安全哲学：

前一种逻辑要求我们赢下一场可能没有终点的认知战争，后一种逻辑只要求守住一道可以被工程实现的关口。差别不在严格程度，而在可行性。

可行性正是两条路线最关键的分野。"超级智能"最大的治理难题之一是定义本身：什么时候算AGI，什么时候算ASI；超过人类平均水平算不算，超过最优秀的专家呢；是在所有领域超过，还是部分领域超过；现有Benchmark又是否真能稳定衡量这种能力。这也是反对相关立法者的核心质疑——如果监管对象无法被稳定定义，法律边界就很难被真正执行。

执行边界则完全相反，它天然是具体的。一笔支付最高允许多少金额，一天累计允许转移多少资产，哪些账户可以接收资金，哪个生产环境允许被修改，什么设备在什么状态下才可以启动，哪些动作需要第二主体共同确认，哪些命令超过时间窗口自动失效，哪些操作无论AI如何判断都不能完成。

这些问题不需要回答AI到底有没有意识，不需要回答它是不是超级智能，甚至不需要理解模型内部究竟如何思考。它只需要回答一件事：这个动作，此刻，能不能发生。

这可能是执行边界最重要的价值：它把一个高度抽象、甚至可能长期无解的哲学问题，转化成了可以被工程化、被审计、被验证的问题。我们不知道未来的AI会聪明到什么程度，但完全可以规定——无论它有多聪明，这笔钱不能这样转。

七、“关闭AI”与“拒绝一次执行”，是两个完全不同的治理尺度

具体与抽象之外，两条路线还有一个常被忽略的差别：治理的颗粒度。

如果治理对象是"模型"，可用的措施往往巨大而笨重——禁止训练，禁止部署，关闭系统，限制算力，暂停研发。它们要么不启动，要么代价高昂，中间几乎没有过渡态。而如果治理对象变成"执行"，控制就可以细化到每一个具体动作。

真正的边界不该是"AI可以运行"与"AI不可以运行"之间的二选一。AI可以分析，可以规划，可以建议，可以形成完整的Intent，甚至自由调用大量低风险工具；但当它走到真正的高风险执行点时，系统必须要求重新证明：这个主体是谁，这个动作是什么，目标对象是什么，当前状态是什么，证据是否完整，是否落在预设边界之内，以及最终要执行的动作是否仍与最初意图一致。

换句话说，未来真正成熟的AI治理，可能不是一个巨大的总开关，而是无数个极小的执行闸门。这个差别至关重要，因为文明极少通过"全面禁止一种能力"获得长期安全。更多时候，我们做的是另一件事：

电力、汽车、金融、航空、化工，无一不是沿这条路径被驯服的。我们没有禁止它们变强，只是让它们的每一次作用都必须穿过被设计过的关口。

八、我们真正缺少的，也许不是更听话的机器，而是“不需要机器永远听话”的系统

把权力关进结构，意味着安全不能再依赖对某个主体的信任。这恰恰是过去几十年计算机安全最重要的一次觉醒：逐渐放弃对"可信主体"的迷信。Zero Trust的核心并不是认定所有人都是坏人，而是不再把"这个人应该可信"当作安全机制本身。信任可以是一种判断，但不能是一道防线。

同样的道理会延伸到人工智能。未来AI安全真正成熟的标志，也许不是我们终于造出了一个百分之百确信永远服从、永远正确、永远善意的系统。这个目标值得追求，但一个成熟的社会系统不能把自身安全押在它之上——因为一旦押错，就没有第二次机会。

真正强大的系统，应该能够容纳一个更现实、也更谦逊的假设：AI会理解错误，会产生幻觉，会被攻击；策略会写错，SaaS会失陷，管理员会犯错，人类也会错误批准；甚至未来某一天，机器可能真的聪明到我们无法完全理解它在做什么。而即使以上全部发生：

这才是边界存在的意义。它保护的不是我们对机器的怀疑，而是判断失效之后仍然可以重来的余地。从"可信的人"走向"可信的结构"，是所有成熟制度走过的同一条路，人工智能不会是例外。

《Ban Artificial Superintelligence Act》最终会走向何处，现在远没有答案。截至目前，它仍是Sanders与Casar宣布准备推动的立法方案，而不是已经生效的美国法律，围绕它的争论也必然继续。有人认为这是面对潜在文明级风险时必须采取的预防原则；有人认为它会扼杀创新、削弱竞争力，并试图用法律定义一个科学界尚未清晰定义的对象。这些争论都有其合理之处，短期内也不会有共识。

但也许还有第三个问题值得被放到同一张桌子上：如果我们暂时无法决定智能的终点在哪里，至少应该开始决定执行的边界在哪里。

超级智能可能还在未来，Agent执行却已经发生在今天。AI正在接触代码仓库、账户体系、云平台、支付系统、企业流程，以及越来越多的现实基础设施。我们不能等到某个系统被正式定义为"超级智能"之后，才第一次认真追问：它究竟拥有什么权力。因为真正决定危险程度的，从来不只是一个系统知道多少、理解多少、能够推理多远，而是它最终能够让什么事情发生。

人类文明用了几百年时间，才逐渐学会一件事：不要把无限权力交给任何一个主体。无论它是国王、政府、企业、个人，还是未来某个比我们更聪明的机器。这条经验并非来自对人性的悲观，而是来自对复杂系统的诚实——判断会错，制度必须承接错误。

所以AI时代真正重要的安全问题，最终也许并不是我们能不能制造出一个永远不会犯错的智能。

本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4888886.html?f=wyxwapp