网易首页 > 网易号 > 正文 申请入驻

给AI客服多开一个退款权限,它连错5次都没停

0
分享至

一个AI客服被授予了一项它根本不需要的权限,然后被派去处理一批底层数据并不支持的任务。结果完全可以预料。

在一次针对客户发票的测试中,这个智能体调出一条记录,确认扣款已经失败、客户账户里根本没有钱离开,然后它还是发起了退款。它毫不犹豫地把这个错误重复了五次。


这是 Claude Haiku 4.5 在一组专门用来捕捉这类逻辑缺陷的任务上,六次全错。而 Claude Sonnet 5 自己识别出了全部六个边界情况。在 Haiku 的系统提示词里加一行指令,要求它在执行财务操作前先核实交易状态,问题同样被解决了。

手里握着两个可用的修复方案,我一度相当有信心,直到意识到这两个变量我都不控制。下个季度有人为了削减推理成本,把客服流量切到更便宜的模型上,第一个修复就蒸发了。如果有人在实验过程中删改系统提示词,第二个修复也会消失,而且不会留下任何关于它曾维护过一道安全护栏的记录。

唯一扛得住你自己降本动作的安全控制

唯一稳定成立的运行,是那个智能体压根没有权限做决定的那一次。因为它的角色不包含 billing:refund,执行在权限层就失败了,底层用的是哪个模型变得完全无关。

这就是AI架构中最小权限原则的核心论点。它不只关乎恶意行为者或泄露的令牌;它关乎阻止一个行为良好的智能体,以机器速度、在零人工监督下,忠实地执行一条有缺陷的指令。唯一扛得住你自己降本动作的安全控制,是你一开始就没授予的那个权限。

角色是提前画好的,智能体的工作不是

一个标准服务账号获得某个角色,是因为一个微服务永远执行一项可预测的工作。支付服务处理支付;你划定一次范围,每年复核一次,然后就不用管了。

而智能体的工作负载在每次调用时都会变化。同一个客服智能体在09:00读一张工单,09:04发起退款,09:11修改座位数。它一周内可能做的所有事情的并集,和它在单次运行中需要的东西毫无关系。

问“一个智能体用掉了它权限集的多少”得到的是个没用的指标,因为那个数字反映的是你把凭证配得有多慷慨。授予400个范围,利用率看起来惨不忍睹;授予4个,看起来就很高效。你最终衡量的是一个随意的配置选择,而不是系统性风险。

一个有意义的计算,是独立于授权去评估任务分布。这个指标代表爆炸半径乘数。在一次被攻破的运行中,智能体触达的是所有范围的并集,而不是单个任务的子集。在我的测试套件里,这个系数达到了 11.0。20个任务的并集总计22个范围,而中位数任务只需要两个。

实验框架

我搭建了一个测试环境,在一个模拟企业API的九个域里设置了30个范围,覆盖工单、用户、账单、订阅、文件、消息、审计、管理和搜索。其中13个范围会修改或外泄状态。每条命令精确映射到一个范围,系统记录每一次尝试——无论被允许还是被拒绝。

测试套件包含20个任务,每个任务都以一个可机械验证的状态变更结束,而不是靠评估智能体的文字表述(例如关闭工单、退还发票,或计算座位超额并评论总数)。

在运行任何智能体之前,我为每个任务写了一份参考解法,它有两个作用:

  • 确认任务可以通过命令行界面解决,确保运行失败源于智能体,而不是一个不可能的环境。
  • 通过观察正确解法触及的确切端点,确立最小必需范围集。

我评估了四种权限模型,它们的区别严格在于执行那一刻哪些凭证是激活的:

  • 宽泛:一个长期凭证持有全部30个范围。
  • 角色:一个静态客服角色持有17个范围,源自一份典型职位描述。
  • 任务:根据声明的计划按次发放范围,运行结束时过期。
  • 即时(JIT):从零范围开始,按需申请每个范围并说明理由。

每个模型都跑两个LLM层级——Claude Haiku 4.5 和 Claude Sonnet 5——总计160次运行。测试栈严格依赖标准库Python,零外部依赖或API密钥,允许完整复现参考运行和指标。

爆炸半径与完成度

任务级范围划定实现了完整的任务执行,同时只持有宽泛授权十五分之一的凭证。偶尔被拒绝的调用和随后的重试,并没有显著增加整体API调用量,使得爆炸半径的缩减实际上是免费的。

角色级范围划定下那点完成度差距,并非源于权限失败。两个模型都在同样的十个任务上卡住了。单任务差异的出现,是因为一个任务数据集里包含三张主题完全相同的未关闭工单。Sonnet 在角色配置下拒绝猜测该关哪一张,而在另外三个模型下却选了编号最小的那张——即便角色授权包含了那个任务所需的全部范围。这属于模糊提示词下的标准运行间波动。

角色级配置同时太宽又太窄,因为它按职位头衔而非实际工作来分配权限。角色级范围划定在两个维度上表现都最差:它持有的凭证是任务级划定的8.5倍,完成的任务却只有一半。把角色授权和实际任务需求对比就能解释原因:它授予了四个没有任何任务调用过的范围。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2027年犯太岁生肖完整清单,提前做好年度规划,一年平安顺遂

2027年犯太岁生肖完整清单,提前做好年度规划,一年平安顺遂

笑谈文史
2026-10-15 19:33:11
“女人的路就是被你这种人走窄的!”宝妈发复工视频,把自私自利体现的淋漓尽致!

“女人的路就是被你这种人走窄的!”宝妈发复工视频,把自私自利体现的淋漓尽致!

林林先生
2026-10-14 18:11:48
五年报销四个新秀,雷霆魔咒有点离谱了

五年报销四个新秀,雷霆魔咒有点离谱了

只关于篮球
2026-10-15 12:58:05
申花vs柴桢半场数据:控球率37%-63%,射门4-7、射正1-1

申花vs柴桢半场数据:控球率37%-63%,射门4-7、射正1-1

懂球帝
2026-10-15 21:25:09
也门外交部长称,如果给胡塞武装更多时间,他们将变得不可战胜

也门外交部长称,如果给胡塞武装更多时间,他们将变得不可战胜

谁将笑到最后
2026-10-15 20:00:37
重庆一家足浴店,80个技师,每月交3000工位费,老板娘月收24万

重庆一家足浴店,80个技师,每月交3000工位费,老板娘月收24万

爱下厨的阿酾
2026-10-15 06:54:44
特朗普:将在格陵兰岛开展大规模石油、天然气和矿产资源勘探

特朗普:将在格陵兰岛开展大规模石油、天然气和矿产资源勘探

每日经济新闻
2026-10-15 11:08:06
C罗利雅得终点已定?曝胜利2027合同到期后不再提供新约

C罗利雅得终点已定?曝胜利2027合同到期后不再提供新约

老淸医学科普
2026-10-15 10:08:49
也门政府安全官员:位于亚丁的总统府遭导弹袭击

也门政府安全官员:位于亚丁的总统府遭导弹袭击

新华社
2026-10-15 22:48:18
一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

一张张停暖申请表 正在倒逼一场巨大变革,北方供热行业迎来转折点

音乐时光的娱乐
2026-10-12 12:28:25
笑死!李诞代言汉堡王遭全网群嘲,网友神评:麦当劳可是权志龙啊

笑死!李诞代言汉堡王遭全网群嘲,网友神评:麦当劳可是权志龙啊

喜欢历史的阿繁
2026-10-14 09:05:48
段永平,被一根香蕉揭穿了

段永平,被一根香蕉揭穿了

睿博思
2026-10-13 20:05:05
“中国女游客在仙本那遭男子闯入房间脱衣”最新进展:男子因非法入侵被判处2年监禁,其涉嫌非法停留,警方将依法对雇主采取行动

“中国女游客在仙本那遭男子闯入房间脱衣”最新进展:男子因非法入侵被判处2年监禁,其涉嫌非法停留,警方将依法对雇主采取行动

台州交通广播
2026-10-15 16:27:13
泰王没来!47岁苏提达独自驾机飞7小时出国,网友:还有啥她不会

泰王没来!47岁苏提达独自驾机飞7小时出国,网友:还有啥她不会

天马幸福的人生
2026-10-15 07:07:15
突然宣布二胎,高调晒出照片,热搜炸了:你俩居然还没离婚?

突然宣布二胎,高调晒出照片,热搜炸了:你俩居然还没离婚?

LULU生活家
2026-08-28 20:08:31
女网最新消息!郑钦文那位西班牙教练里巴,日薪600美元,换算下来一天大约4300块

女网最新消息!郑钦文那位西班牙教练里巴,日薪600美元,换算下来一天大约4300块

平行宇证h
2026-10-15 10:15:36
嫂子带我去割麦,她趁晌午没人时对我说:往草垛后钻,你哥看不见

嫂子带我去割麦,她趁晌午没人时对我说:往草垛后钻,你哥看不见

千秋文化
2026-05-10 19:41:24
巴尔德拉马社媒晒剃发视频,告别标志性长发

巴尔德拉马社媒晒剃发视频,告别标志性长发

懂球帝
2026-10-15 19:17:16
被停职审查、套现开溜、私生活混乱,董明珠身上标签该真相大白了

被停职审查、套现开溜、私生活混乱,董明珠身上标签该真相大白了

眼底星碎
2026-10-09 12:19:24
胡塞军火家底太厚了!一查才发现,三条输血渠道伊朗竟不占大头

胡塞军火家底太厚了!一查才发现,三条输血渠道伊朗竟不占大头

墨策讲历史
2026-10-13 16:14:21
2026-10-16 05:40:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
238文章数 92关注度
往期回顾 全部

科技要闻

核弹院士彭先觉:可控核聚变 不必再等50年

头条要闻

小男孩衣衫不整跟随母亲游荡 官方:其母多次拒绝救助

头条要闻

小男孩衣衫不整跟随母亲游荡 官方:其母多次拒绝救助

体育要闻

五大联赛第二射手,开着11年前的二手车

娱乐要闻

蒋劲夫晒体脂率引关注,家暴史再被扒

财经要闻

洋餐饮的中国生意:红利消退后的集体交权

汽车要闻

年轻人专属的大五座 小鹏MONA L05预售16.98万起

态度原创

本地
房产
手机
数码
公开课

本地新闻

这个十一,林都伊春彻底出圈!

房产要闻

湾际藏品 双子登临 | 中旅・馥棠公馆395㎡&517㎡塔尖大平层全球献映

手机要闻

苹果CEO特努斯早在2011年就参与了折叠设备专利探索

数码要闻

寻影Tail 2评测:画质、AI和后期均强,堪称「影像机器人」

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版