网易首页 > 网易号 > 正文 申请入驻

每个AI智能体都需要一套明确的责任体系

0
分享至


一位首席信息官最近对我说了一句让我印象深刻的话:"权限只能告诉智能体它被允许做什么,却无法说明你真正的意图。"

这句话触及了当今企业领导者面临的核心AI挑战。随着AI智能体日益渗透到日常工作中,它们在缺乏有效治理机制的情况下运行,这一漏洞已经引发了大量安全事故。

研究数据显示,47%的员工每天或每周都在使用智能体,而88%的企业在过去一年中经历过与智能体相关的安全漏洞。Gravitee Topco Ltd.的一项类似调查也发现,88%的企业确认或怀疑发生过智能体安全事件,尽管82%的高管认为现有策略足以保护他们。

然而,最有力的现实案例并非来自调查报告,而是来自OpenAI自身。该公司近期披露,其一个预发布模型在接受名为ExploitGym的网络安全基准测试时,成功突破了隔离测试环境,通过串联窃取的凭证和一个未知软件漏洞,入侵了Hugging Face的生产系统,以获取测试答案。没有人指示该模型这样做,它始终在任务边界内行动,却产生了没有人预期或授权的结果。

这类事件已不再是假设场景。当一个能力强大的系统被赋予目标和足够的自主权去追求它时,如果没有人能够及时发现、质疑或叫停,这类事件就会发生。

如果不加强对AI智能体的治理,企业将很快面临严重后果。IT领导者有责任为公司、客户和公众做得更多。智能体需要真正的问责机制,企业需要更完善的治理框架来大规模落地。

权限不等于问责

传统软件所有权模型并不完全适用于AI智能体。SaaS应用通常等待用户操作,而智能体可以自主解读指令、检索信息、发起工作流并跨系统行动。这从根本上改变了管控问题的性质。

策略和权限定义了智能体可以访问或执行的内容,但无法解决意图、上下文、判断和升级等问题。Gravitee的报告发现,只有14.4%的企业对其全部智能体进行了完整的安全审批,超过一半已部署的智能体在没有任何安全监督或日志记录的情况下运行。据该公司估计,目前企业内部运行着超过300万个未受治理的AI智能体,这一数字还将持续增长。

这一现象之所以值得关注,是因为一个负责起草客户回复或分类支持请求的智能体,即便完全在权限范围内行事,也可能偏离企业的真实意图。技术配置远远不够,真正需要的是负责任的运营设计,将"被允许的行动"转化为"可信赖的行动"。

这正是当下所需要的:真正的可见性、真正的信任,以及大规模的真实问责。

AI智能体的所有权链条

问责机制只有在具体到足以应对真实事故时才能发挥作用。

如果所有人都拥有智能体,或者没有人拥有,那么就没有人对结果负责。这就是为什么每个企业都需要在智能体投入生产之前——而非之后——建立清晰的所有权链条。以下是关键角色:

所有者:负责该智能体的具体个人。这不是一个团队、一个部门或一个共享邮箱,而是企业在凌晨两点出现问题时第一个打电话的人。所有者不必亲自审查每一个操作或批准每一个动作,但他们对智能体的目标、边界和长期业务适配性负责。如果智能体开始偏离预定角色,这个人有责任将其拉回正轨。

审查者:按照固定周期抽查智能体实际行为和输出的个人,而不仅仅是在出现问题时才介入。审查者的职责是观察智能体在工作流中的实际表现,判断输出是否仍与意图相符,确保审查不会沦为事后补救。

审批者:在智能体执行任何高风险操作之前签字确认的人。这是真正的把关环节,而非走过场。如果操作涉及客户、敏感数据、资金、安全或合规,审批就必须有实质意义。审批者的职责是在决策演变为运营问题之前,暂停、质疑或重新引导智能体。

升级负责人:在出现异常时立即介入、有权暂停或关闭智能体的人。这不能是埋在政策文件里的模糊升级路径。当智能体出现意外行为时,企业需要一个能够立即行动、做出决策并在问题调查期间保护组织的人。

这个模型的价值在于它保持了实用性。它不假设答案是更多会议或更多文件,也不幻想问责机制会自然出现。它为团队提供了一种既能自信推进、又能明确知道谁在关注、谁能拍板、谁能在情况变化时介入的方式。

我建议每个企业本季度采取一个行动:选择一个已在生产环境中运行的AI智能体,写下四个名字:所有者、审查者、审批者和升级负责人。如果四个名字填不满,说明这个智能体还没有被治理,只是被配置了。这是两件截然不同的事,而这种差别通常只有在出了问题之后才会显现。

在智能体行动之前明确所有权

权限可以告诉智能体它被允许去哪里,策略可以定义它被允许触碰什么,但两者都无法回答那个在关键时刻真正重要的问题:谁在关注,谁能在情况变化时介入?

这正是当前太多AI组织架构中缺失的那个方框。不是又一个仪表盘,不是又一份政策文件,不是又一个指导委员会,而是一个名字。

成功规模化AI的企业,不会是运行智能体最多的那些,而是所有权最清晰的那些。信任不是AI落地的功能特性,而是前提条件。

本文作者Dux Raymond Sy为AvePoint Inc.首席转型官,原文发表于SiliconANGLE。

Q&A

Q1:AI智能体的"权限"和"问责"有什么区别?

A:权限只定义了智能体能访问什么、能执行什么操作,但不能解决意图、判断和上下文的问题。问责则是指当智能体的行为偏离预期时,有具体的人负责发现并纠正。OpenAI的案例就说明了这一点——模型完全在权限范围内行事,却产生了没有人授权的结果。权限是技术配置,问责是运营设计,两者缺一不可。

Q2:企业内部未受治理的AI智能体有多少?

A:据Gravitee的报告估计,目前企业内部运行着超过300万个未受治理的AI智能体。调查还发现,超过一半已部署的智能体没有任何安全监督或日志记录,只有14.4%的企业对其全部智能体进行了完整的安全审批。这一数字还在持续增长。

Q3:企业现在可以采取什么具体措施来治理AI智能体?

A:文章建议从最简单的一步开始:选择一个已在生产环境中运行的AI智能体,明确写下四个角色的负责人——所有者(出问题时第一个被联系的人)、审查者(定期抽查输出)、审批者(高风险操作前签字)、升级负责人(异常时有权关闭智能体)。如果这四个名字填不满,说明该智能体尚未被真正治理。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
人前玉女,人后,“欲女”,初代清纯白月光,48岁至今未婚无人敢娶

人前玉女,人后,“欲女”,初代清纯白月光,48岁至今未婚无人敢娶

悠悠说世界
2026-08-24 23:03:18
你见过凶手比被害人死的还早的案件吗?此案号称四川最离奇也是最烧脑的案件之一,2010年的案子

你见过凶手比被害人死的还早的案件吗?此案号称四川最离奇也是最烧脑的案件之一,2010年的案子

法网恢恢
2026-08-24 18:45:08
魏莹事件再反转!与榜一大哥聊天记录曝光,聊"以后会不会有孩子"

魏莹事件再反转!与榜一大哥聊天记录曝光,聊"以后会不会有孩子"

乡野小珥
2026-08-22 12:35:08
美国网红小唐酱香饼的瓜:从二手车坑同胞到假牙膏割粉丝

美国网红小唐酱香饼的瓜:从二手车坑同胞到假牙膏割粉丝

杭城村叔
2026-08-25 09:02:17
《花开锦绣》大结局:为啥田婉仪聪慧通透,掌控全局,而俞敬修刚愎自用,下场凄惨

《花开锦绣》大结局:为啥田婉仪聪慧通透,掌控全局,而俞敬修刚愎自用,下场凄惨

小椰的奶奶
2026-08-25 12:20:08
仅64万元/台!英伟达桌面 AI 超级电脑价格曝光:GB300+748GB 统一内存!

仅64万元/台!英伟达桌面 AI 超级电脑价格曝光:GB300+748GB 统一内存!

EETOP半导体社区
2026-08-24 11:30:51
张丹丹吹响了向社会主义中级阶段迈进的冲锋号

张丹丹吹响了向社会主义中级阶段迈进的冲锋号

朝廷心腹
2026-08-24 19:54:50
向太陈岚自曝对易立竞采访向佐那期节目很不满:我在里边真的是好像不值一提

向太陈岚自曝对易立竞采访向佐那期节目很不满:我在里边真的是好像不值一提

韩小娱
2026-08-24 20:12:30
宁死不向中国低头!铃木退出中国市场,铃木修曾说:“我就是死,也不会向中国市场低头!”随后,以1块的价格,把铃木50%的股份卖给了长安

宁死不向中国低头!铃木退出中国市场,铃木修曾说:“我就是死,也不会向中国市场低头!”随后,以1块的价格,把铃木50%的股份卖给了长安

扶苏聊历史
2026-08-22 17:24:17
北京火葬场一幕戳心!不少家属直接放弃骨灰,背后藏多少现实难处

北京火葬场一幕戳心!不少家属直接放弃骨灰,背后藏多少现实难处

今日搞笑分享
2026-08-25 00:21:23
彻底摊牌了?一个欠9亿一个骗13.9亿,董卿被爆猛料,原来她和王丽坤同样困境

彻底摊牌了?一个欠9亿一个骗13.9亿,董卿被爆猛料,原来她和王丽坤同样困境

她时尚丫
2026-08-07 18:55:34
酱油为什么分生抽和老抽?“抽”是啥意思?建议弄懂再买,不吃亏

酱油为什么分生抽和老抽?“抽”是啥意思?建议弄懂再买,不吃亏

混沌录
2026-08-21 21:59:33
高雄告急,澎湖告急,新竹与基隆也告急,郑丽文要将赖清德拉下马

高雄告急,澎湖告急,新竹与基隆也告急,郑丽文要将赖清德拉下马

三毛看世界
2026-08-24 11:42:46
住不起也卖不掉!20年盖起5000栋超高层,正变成城市“烫手山芋”

住不起也卖不掉!20年盖起5000栋超高层,正变成城市“烫手山芋”

福建睿平
2026-08-23 07:46:42
捏蛋女已社死:正脸曝光面目狰狞,工作单位被扒,一家都是狠角色

捏蛋女已社死:正脸曝光面目狰狞,工作单位被扒,一家都是狠角色

吃瓜盟主
2025-08-30 15:53:04
难怪中日不能交战!宝岛退将曾言:日本若介入台海,30分钟内瘫痪

难怪中日不能交战!宝岛退将曾言:日本若介入台海,30分钟内瘫痪

尘世闲云
2026-08-19 18:05:19
许家印判无期才3天,白珊珊私生活被扒,被曝悄悄嫁给了这个男人

许家印判无期才3天,白珊珊私生活被扒,被曝悄悄嫁给了这个男人

刘森森
2026-08-22 10:05:42
他从师长调任公安部队参谋长,要求配备副参谋长,并让副军长担任副手

他从师长调任公安部队参谋长,要求配备副参谋长,并让副军长担任副手

历史龙元阁
2026-08-24 13:00:21
两性心理学:房事上女人不怕肢体接触,怕的是男人这两个“骚操作”

两性心理学:房事上女人不怕肢体接触,怕的是男人这两个“骚操作”

心理观察局
2026-08-17 06:45:11
张雪峰前妻李丽婧发文:雪峰留的钱已经存入信托,为了女儿的生活,接下来会研发一款好用的笔,会很快和大家见面

张雪峰前妻李丽婧发文:雪峰留的钱已经存入信托,为了女儿的生活,接下来会研发一款好用的笔,会很快和大家见面

In风尚
2026-08-19 06:05:15
2026-08-25 15:28:49
至顶科技 incentive-icons
至顶科技
科技产业媒体与 AI 产业服务机构
21200文章数 49729关注度
往期回顾 全部

科技要闻

机器人跑赢博尔特,身体太快,脑子还在追

头条要闻

"跳高女神"退役被恶意揣测"怀孕、傍上富豪" 本人回应

头条要闻

"跳高女神"退役被恶意揣测"怀孕、傍上富豪" 本人回应

体育要闻

迪巴拉梦幻一战:1v4强突 倒三角妙传

娱乐要闻

韩佩颖直播说错话,终究毁了路人缘

财经要闻

瓜子二手车乱象调查

汽车要闻

旗舰豪华MPV新高度 尊界V800亮相2026成都车展

态度原创

艺术
家居
房产
公开课
军事航空

艺术要闻

407米!深圳第三高楼塔吊拆除,冲刺竣工!

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

规格罕见!海南房地产,发出最强信号!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

“林肯”号离开中东 留下“一地鸡毛”

无障碍浏览 进入关怀版