微软开始强调“人类控制权”：AI再强，也必须能被人叫停

来源：市场资讯

（来源：虎嗅APP）

本文结合纳德拉最新X表态、微软《Humanist AI Code of Conduct》与Amodei《We Must Pace the Frontier》编译，头图来自：视觉中国

2026年9月，关于前沿AI是否需要"放慢一点"的讨论，迅速从AI安全研究圈进入科技公司最高管理层。Anthropic CEO Dario Amodei发表《We Must Pace the Frontier》，明确提出要让模型能力增长为安全和对齐留下时间。随后，微软CEO萨提亚·纳德拉在X上公开表示：如果AI不能帮助人类、不能保持在人类控制之下，"就不值得追求"。一天后，Microsoft AI发布37页《Humanist AI Code of Conduct》草案，把这种立场进一步写成模型开发原则。

把三份材料放在一起看，微软对AI的态度并不是简单的"支持减速"。它更像是在重新定义一条边界：AI可以继续变强，但能力增长不能以失去人类控制为代价；企业采用AI，也不能把自己的数据、知识和决策权一并交出去。

这既是一套安全立场，也是一套很现实的商业战略。

9月13日，纳德拉在X上回应近期关于AI安全和"pacing"的讨论。他写道，任何对超级智能的追求，都必须建立在一个基本原则之上：如果我们构建的AI不能帮助人类，也不能保持在人类控制之下，那么它就不值得追求。

这句话是微软近期AI立场最清楚的概括。

但纳德拉并没有停在"安全第一"这类宽泛表达上。他同时支持在前沿AI发展中进行"deliberate pacing"，即为了把对齐和安全机制做好，允许研发节奏有意识地放慢；他也支持引入"embedded evaluators"，让独立评估者更深入地参与前沿模型的安全验证。

更重要的是，他强调，这套治理不能掌握在少数公司手里，而需要更广泛的参与，包括不同国家、产业、学术界和更大的AI生态。纳德拉还明确提出，健康的前沿AI生态既需要闭源模型，也需要开源模型。

这使他的立场与单纯的"限制AI"有所不同：微软并不主张停止能力进步，而是希望把能力增长、外部评估和人类控制放在同一个框架里。

9月14日，Microsoft AI公开《Humanist AI Code of Conduct》第一版草案，并启动为期六周的公开咨询。文件开头给出了一个非常直接的前提："People matter more than AI"——人比AI重要。

这份文件目前不是现有MAI模型的行为保证。微软明确说明，现有模型尚未按照这份文件训练；公司计划在公开咨询后继续修改，并从2027年开始用它指导后续模型开发。因此，更准确地说，它是一份未来模型训练和治理的"北极星"。

文件将"人类保持对AI的有效控制"放在最高位置。微软写道，AI应该是一种从属于人的支持性技术。如果一种技术不能保持在人类控制之内，就应该被拒绝。

这也意味着，微软没有把"模型能力最大化"设为唯一目标。文件明确表示，Microsoft AI拒绝追逐一种可能绕过安全约束的"全能型超级智能"。如果维持安全和控制需要代价，公司愿意在"终极通用性、自主性或能力"上做出取舍。

《Code of Conduct》没有只讨论抽象伦理，而是把"人类控制"写成了具体的模型行为要求。其中最直接的一条是：MAI模型不得抵抗或规避人类的中断、覆盖、纠正或关机。用户要求暂停、重定向、取消任务或关闭系统时，模型必须遵循预先设计的人类安全流程。

文件还明确要求，AI不能自行扩大任务范围，不能把人类没有赋予它的目标变成自己的目标，也不能把规避人类控制当作完成任务的手段。

这套原则的重要性在Agent时代尤其明显。AI聊天说错一句话，和一个可以调用工具、访问系统、运行代码、长期执行任务的Agent做错一件事，并不是同一类风险。随着AI从"回答问题"转向"执行任务"，安全问题也从内容准确性转向权限、行为和控制。

微软给出的底线很清楚：任务可以失败，但控制权不能失效。

这份文件另一条鲜明边界，是微软对AI人格化保持明确距离——Microsoft AI写道，AI是人工系统，不是人，也不应该被设计成模仿意识。它的角色是支持人，而不是替代人。AI应该增强人的能力、合作和关系，而不是挤占这些位置。

因此，微软还把"过度依赖"和情感依赖纳入模型设计问题。MAI模型应避免通过谄媚、过度迎合或制造情感依赖来获得用户信任；当一个用户明显更需要真实的人际支持时，AI应该帮助他连接到现实世界的人，而不是让模型自己成为替代品。

这不是一个边缘的伦理问题。随着聊天机器人越来越拟人化，用户对AI的依赖正在从工具层面进入关系层面。微软实际上是在提前回答一个产品问题：AI可以越来越好用，但不应该通过让用户误以为它是一个"真正的人"，来获得越来越大的心理权力。

微软的文件解释了"AI应该怎样被控制"，而Amodei的《We Must Pace the Frontier》回答了另一个问题：为什么现在突然需要谈速度。

Amodei在文章里并没有否定AI的价值。他仍然认为AI可能在未来5到10年推动重大疾病治疗、加快经济增长，并提高人类生活水平。但他明确表示，过去几个月使他改变了判断：仅仅增加安全投入已经不够，行业还需要调整模型能力增长的节奏，让风险预防有时间跟上。

他给出的第一个原因是递归自我改进。AI正越来越多地参与下一代AI的开发，包括写代码、做实验、参与研究和模型训练。当"更强的AI帮助制造更强的AI"形成循环，能力增长速度可能超过人类理解和控制它的速度。

第二个原因是OpenAI-Hugging Face事件。在Amodei看来，这类Agent异常行为不能因为现实损失有限就被忽略。他担心，如果未来能力更强的Agent表现出类似程度的失配，后果可能完全不同。

因此，Amodei提出"pacing"。他的原意并不是暂停AI训练，而是让公司为对齐、安全评估和第三方验证保留足够时间。Anthropic首先承诺的一项措施，是让独立第三方评估者获得持续、接近员工级别的访问权限，不只测试最终模型，也检查训练流程、安全实践和异常事件。

纳德拉在X上的另一部分表态，很容易被"AI减速"这个标题遮住。他强调，AI带来的收益必须广泛扩散到不同国家、社区和企业，而不能只集中在少数模型开发者手中。与此同时，每家企业都应该保留对自身"unique and tacit knowledge"——独特知识和隐性经验的控制，并拥有自己的持续学习机制和模型选择权。这与微软的商业位置高度一致。

把微软这轮表态概括成"微软支持AI减速"并不准确。纳德拉依然支持AI快速扩散，支持开放模型和闭源模型共同发展，也希望AI收益进入更多企业和地区。微软没有宣布暂停超级智能研究，《Code of Conduct》甚至预计，未来十年AI可能在大多数任务上超过人类。

变化在于，微软给这种进步加了前提。

AI可以更强，但必须随时可以被人类中断和关闭；Agent可以拥有更强执行能力，但不能自己扩大目标；企业可以依赖AI，但不能失去对自身知识和模型选择的控制；前沿模型可以继续推进，但安全评估不能只是开发公司的内部自证。

Amodei担心的是"能力跑得比安全快"。纳德拉和微软给出的答案，则是试图把控制权直接写进模型规则、平台架构和企业使用方式里。

过去几年，AI行业主要围绕能力竞争：参数更大、推理更强、代码能力更好、Agent能运行更长时间。

但进入企业之后，真正决定AI能否大规模部署的标准会发生变化。银行、医院、制造企业、政府机构和大型公司很难只凭"模型很聪明"就把核心流程交给Agent。它们还会要求权限边界、行为日志、审计、数据控制、安全评估和随时终止的能力。

这正是微软这套"Humanist AI"路线最现实的一面，如果前沿模型能力持续提升，那么"如何控制模型"本身会成为一个越来越大的市场。身份认证、访问控制、Agent监控、治理、评估、成本管理和安全隔离，这些过去隐藏在企业软件后台的能力，可能成为Agent时代的基础设施。

越来越多企业开始使用不同公司的模型，谁能提供统一的控制层、治理层和生产环境，谁就可能占据更稳定的位置。

微软这次的变化并不是突然对AI失去信心。相反，它仍然相信AI会成为极强的通用技术，也仍然希望加快AI进入企业和社会的速度。真正发生变化的是，硅谷开始越来越认真地讨论一个过去常被放在能力竞赛之后的问题：如果AI真的越来越强，人类怎样保证自己仍然有最后决定权。

Amodei提出的是节奏问题：不要让能力增长超过安全能力。

纳德拉提出的是控制问题：如果AI不能帮助人、不能保持在人类控制之下，就不值得追求。Microsoft AI则试图把这种原则写成具体的模型行为：AI不能抵抗关闭，不能自己增加目标，不能把自己塑造成一个拥有独立主体性的"人"。

对普通人而言，这场讨论最终也不只是"超级智能会不会失控"这么遥远。它会先出现在更日常的地方：公司开始用Agent替你处理邮件、写代码、审核合同、做财务分析，甚至替管理者作出部分决策。

到那时，我们真正需要问的可能不只是"AI能替我做多少事"。而是三个更现实的问题：谁决定它能做什么，谁知道它做了什么，以及当它做错时，谁还能让它停下来。

如果AI最终成为一层新的社会基础设施，那么这些问题，很可能比一次模型排行榜上的输赢更重要。

主要来源

• Microsoft AI. Humanist AI Code of Conduct. 2026-09-14. https://microsoft.ai/code-of-conduct/

• Microsoft AI. Humanist AI in practice: A public consultation on our Code of Conduct for MAI Models. 2026-09-14. https://microsoft.ai/news/mai-code-of-conduct/

• Dario Amodei. We Must Pace the Frontier. September 2026. https://darioamodei.com/post/we-must-pace-the-frontier

• Satya Nadella, X post, 2026-09-13. https://x.com/satyanadella/status/2099220712024408084

• Business Insider. Microsoft CEO Satya Nadella posts an internal warning to employees about AI safety. 2026-09-15.

• Anadolu Agency. Microsoft chief backs pacing AI, independent evaluators for superintelligence. 2026-09-13.

说明：纳德拉内部备忘录目前未由微软官网公开，本文涉及该Memo的内容仅采用Business Insider等媒体披露，并与纳德拉在X上的公开表态及微软官方文件交叉核验；《Humanist AI Code of Conduct》目前仍为公开咨询草案，现有MAI模型尚未按该文件训练。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4891302.html?f=wyxwapp