AI治理落后于部署速度，CIO需尽快弥补差距

CIO单纯部署AI的时代已经结束。如今，AI能力正以前所未有的速度接连涌现——有些来自前沿模型和开放权重模型提供商，有些则已内置于企业软件工具和平台之中。

这种无处不在的渗透正在改变人们和系统的工作方式，同时带来测试、验证和安全方面的挑战。它为影子AI的滋生打开了大门，也让智能体自主执行不当操作（例如篡改代码或泄露知识产权）的风险大幅上升。

普华永道美国AI保障负责人詹妮弗·科萨尔表示："CIO可能会发现，员工正在使用一些游离于企业正式治理流程之外的工具，这种情况既有故意为之，也有因认知不足而无意为之。相比维护一份已批准项目的清单，全面掌握AI的实际使用情况要困难得多。"

管理这一全新的AI前沿领域绝非易事。对CIO而言，部分难点在于变化的速度正在重塑企业与供应商之间的关系。Gartner分析与AI高级总监分析师劳伦·科努蒂克认为，CIO不能坐等企业应用迎头赶上，而必须立即行动。

她说："各组织部署AI的速度已经超过了治理AI的能力。"

尽管无法让时钟倒转，但CIO可以为最佳实践方法打下基础，重点包括持续发现机制、控制平面、评估闭环，以及与供应商就风险（而非功能）展开对话。

当AI绕过IT部门

AI可管理性的成败，往往取决于AI快速更新与企业治理体系发现问题速度之间的差距。而这个差距中布满了各种数字地雷。部分原因在于，企业软件供应商正越来越多地将AI套件打包进产品之中。

虽然开关某个工具或许可行，但要判断一个聊天机器人或AI智能体将如何与其他AI系统交互，几乎是不可能的。一次例行更新就可能改变系统能访问的数据以及能执行的操作。IDC研究副总裁尼尔·沃德-达顿指出，尽管SaaS供应商会提供发布说明、升级路径和延期选项，但这些文档并不完美。

不过，相比访问的便利性，内嵌式AI带来的担忧还算是较轻的一种。员工使用助手、部门自行安装AI工具和智能体，这些行为可能属于已获授权的范畴。然而，CIO和安全团队可能根本没有机会去判断该AI能否与其他系统和智能体和谐共存，也无从得知前沿模型或软件的变更是否会触发不良行为。

再者还有影子AI，即员工在IT部门不知情的情况下使用AI工具。根据Gartner对300多名网络安全负责人的调查，69%的组织怀疑或已有证据表明，员工正在使用被禁止的公共生成式AI。该咨询机构预测，到2030年，超过40%的企业将因未经授权的影子AI而遭受安全或合规事件。

科努蒂克表示："影子AI本身未必是个问题。"真正的危险不在于工具本身，而在于它能触及的范围。一个配置不当的系统可能无意中卷入私有数据或知识产权，并生成不准确、有偏见或错误的结果。

个人智能体系统进一步加大了风险。诸如Claude Cowork、Gemini Spark、微软Scout以及ChatGPT智能体模式这样的环境，已经突破了传统聊天机器人的边界。企业级开发平台会对智能体设限，并通过智能体网关和模型网关强制执行身份验证、访问密钥和工具权限管理。而当一名不具备工程专业知识的业务用户使用个人账户时，问题会变得更加突出。

沃德-达顿指出，在这种情况下，如果智能体没有现成工具可用，它可能干脆自己写一个来完成任务。他建议，CIO应将面向消费者的智能体工具锁定在受严格控制的沙盒环境中——类似于微型虚拟机的形态。

获得AI可见性

为应对企业中日益增长的AI复杂性，构建一套能够洞察供应商更新和变化的治理框架至关重要。

科萨尔表示："一个潜在的盲点是，误以为既然底层系统已经通过了你的风险和安全流程，那么新的AI能力也自然被同一套评估所覆盖。如果你的技术或相关风险与治理职能尚未针对新型AI风险进行迭代升级，情况可能并非如此。"

CIO必须清楚系统正在做什么、哪些工具和数据能够访问它、它能做出哪些决策或采取哪些行动。他们还需要了解该系统与其接触到的其他系统之间的交互情况。

科萨尔说："你或许并没有在部署一个全新系统，但你可能仍在引入一项需要以不同方式加以评估的新能力。数据风险既取决于模型能访问什么，也取决于其输出结果随后被如何使用。"

起点在于持续发现机制。科萨尔建议客户整理出一份完整清单，列出内部已批准的AI工具和应用程序，以及已经存在于主要软件平台内部的各项能力。与供应商建立对话渠道，并尽可能地梳理更新情况，这样的投入是值得的。

她说："AI清单不能只是每年做一次的问卷调查，去询问大家在用什么工具。技术本身以及其使用方式变化得太快了，这种方式根本跟不上。"

一次性的时点审计已经不够；评估必须是持续性的。谷歌、AWS、微软和IBM等主流平台大多都提供了内置工具，可以实现持续监控。沃德-达顿表示，一旦智能体运行起来，这些平台会追踪遥测数据，并利用可观测性工具在运行环境中监视智能体的行为。结合用户反馈，它们能够发现问题并建立改进闭环。

科努蒂克认为，CIO必须重新思考这些基础性问题。传统的防护机制建立在二元规则之上，而AI并非如此运作。这类系统需要一个专门的基础设施层——也就是控制平面——来管理运行时安全、工具授权、流量路由和提示词级别的过滤。最后一个关键环节是紧急停止开关。

她说："你需要能够从控制平面直接阻断某些操作。"

供应商也是需要考量的另一个因素。沃德-达顿建议，明智的做法是向软件供应商提出一套明确的风险清单，询问其工具如何主动管理这些问题，以及其产品如何与其他供应商的产品交互。这些回答往往颇具启发性。他补充道："有些供应商在这方面做得非常好，而另一些则几乎没什么可说的。"

最后是责任归属问题。当一项未经批准的功能引发合规问题时，究竟由谁来负责仍是悬而未决的问题——尽管AI显然让局面更加复杂。科萨尔表示，责任可能会同时落在供应商和客户身上。他解释说："这是一个尚待明确界定的领域，但如果历史可以作为参考，责任很可能是共同承担的。"

AI治理刻不容缓

科萨尔表示，最终目标并非减缓创新步伐或设置繁琐的限制。AI治理最有效的形式，是作为一个管理层，将控制机制从具体的模型和应用中抽离出来。这样一来，当供应商推出变更或前沿模型提供商推出新模型时，就不会导致系统崩溃。

归根结底，时机与技术和战略同样重要。治理工作不能等到企业已经在全公司乃至更广范围内规模化部署智能体之后才启动，届时治理方面的决策格局早已定型。沃德-达顿表示，将治理视为底层AI战略的一部分至关重要。否则，"你所拥有的不过是一纸空文"。

Q&A

Q1：什么是影子AI？为什么企业需要警惕它？

A：影子AI是指员工在IT部门不知情的情况下使用AI工具的现象。根据Gartner调查，69%的组织怀疑或已有证据显示员工在使用被禁止的公共生成式AI，预计到2030年超40%的企业将因此遭遇安全或合规事件。

Q2：什么是控制平面？它在AI治理中起什么作用？

A：控制平面是一种专门的基础设施层，用于管理AI系统运行时的安全、工具授权、流量路由和提示词过滤，并配备紧急停止开关，可以直接阻断不当操作，是应对AI复杂性的关键治理工具。

Q3：CIO应该如何建立有效的AI治理框架？

A：CIO需要建立持续发现机制，整理内部已批准的AI工具清单，与供应商保持对话追踪更新，利用平台内置的观测工具持续监控智能体行为，并搭建控制平面来统一管理风险，而非依赖一次性审计。