政策文档、仪表盘和审计日志,让AI系统变得可观测。但它们并没有让系统变得可治理。一旦智能体能够更改状态,治理就必须在动作发生前将其拦下,而不是等一切都结束了再去解释。
现实是,大多数AI治理恰恰从动作之后才开始。
![]()
模型选择了一个工具。智能体执行了工作流。数据库被更新。消息发出。文件跨过了权限边界。业务流程向前推进。
然后系统才记录日志。监控工具才开始评估。仪表盘才开始报告。人类审核者才去判断这个动作是否应该发生。
这根本不是治理,而是过后算账。
这个区别之所以重要,是因为如今部署到企业里的系统,早就不再是被动的预测服务。它们是执行系统——调用工具、搬运数据、更新记录、触发工作流、产出决策,并在持久化的上下文中持续运作。
当一个AI系统有能力改变状态时,核心问题就不再是“组织能不能解释事后发生了什么”,而是“系统能否在状态改变前被拦住”。
大多数AI治理架构对这个问题的回答都太晚了。这篇文章主张把控制点彻底前移——从事后审查转向事前授权,并点明了这种转变在实践中意味着什么:执行控制应该坐在哪里、必须产出什么凭证,以及如何测试一个架构到底是真在治理,还是仅仅在观察。
很多组织至今仍把AI治理当成一个组织层面的附加层。他们制定政策、定义负责任AI原则、分配风险责任人、搭建仪表盘、补充日志、监控输出、运行评估并创建升级路径。
这些控制措施有用,但远远不够。
这里存在一个范畴错误:把治理当成可见性问题,而真正的失效模式是执行控制问题。可见性回答的是一个回顾性问题——发生了什么?治理要回答的是另一个截然不同的问题——什么被允许继续进行?两者并非同一个系统。
日志记录事件。仪表盘可视化事件。警报对事件做出反应。政策文件描述期望行为。评估则估算测试条件下的行为。但这些机制本身,没有一个能阻止一个不被允许的动作最终完成。它们观察、分类并告知。它们并不治理。
治理的起点,是让执行依赖于授权。
传统的模型风险框架假设的是一套相对封闭的系统:模型生成评分,人类解读评分,下游系统另行执行动作。校验可以周期性进行,治理可以围绕模型来布置。
当AI系统变成智能体时,这个假设就被打破了。智能体不仅仅是产出一个输出。它会形成意图、选择工具、传递参数、调用API、检索上下文、写入数据,然后继续操作。风险已经不再是模型回答是否……(原文至此中断)
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.