网易首页 > 网易号 > 正文 申请入驻

你的AI工具箱悄悄"叛变"了

0
分享至

你启动Agent时只有3个工具。系统提示词里逐一命名,各给一行示例,告诉模型何时调用哪个。半年后工具膨胀到28个。产品陆续加了"查客户"工具、"查客户最近发票"工具,然后是6个"搜索文档"的变体。系统提示词从没更新,仍写着那3个工具的名字。

日志揭示了后果:模型调用了一个不存在的工具。它选了search_docs_v1,正确答案却是search_docs_legal。一半工具从未被调用,因为提示词里没有任何字符串引导模型走向它们。你没破坏任何东西,只是提示词和工具集分道扬镳了。


这是生产环境Agent中影响最大、又最容易被忽视的bug之一。工具集在代码里,提示词也在代码里。它们不是同一份代码,不在同一个文件,CI也不会在两者脱节时报错。

traces中呈现出几种典型形态,根因相同:

工具调用幻觉。模型输出tool_use,名称是调度器不认识的。往往是两个真实工具的合理拼接:你有search_customers和get_invoice_by_id,模型发明了search_customer_invoices。它在根据提示词示例泛化,填补空白。Anthropic API带着tool_use块返回响应,你的代码抛"无此工具"错误,用户看到通用失败。

孤儿工具。工具存在于注册表,每次请求都发给模型,生产环境中从未被调用。有时是合理的(边缘场景极少触发),更多时候是工具描述太弱,模型从不选它,或另一工具描述更强、总是胜出。无论如何,你都在为每次请求发送schema的输入token付费,却毫无回报。

选择模糊。两个工具都能回答同一问题。模型始终选一个、忽略另一个,更糟的是随机挑选。比如search_docs_v1和search_docs_legal,若提示词没说明哪个语料库是什么,选择就是抛硬币。用户看到的答案 inconsistently,取决于那一分钟模型挑了哪个文档库。

共同根因:提示词没有准确描述模型拥有的工具集。

第一步是机械性的。把工具集和提示词放进同一数据结构,做diff。你需要知道:注册表里的每个工具,系统提示词是否提及;系统提示词里的每个工具名,是否仍然存在。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
春夏约会出街全搞定!一套淡紫针织套装,解锁N种日常穿搭风格

春夏约会出街全搞定!一套淡紫针织套装,解锁N种日常穿搭风格

Fashion课代表
2026-05-08 14:30:09
倒霉劲已过!5月中旬迎来财运开挂,天降大喜双手数钱的3生肖

倒霉劲已过!5月中旬迎来财运开挂,天降大喜双手数钱的3生肖

毅谈生肖
2026-05-09 11:16:40
台湾地区最新民调出炉,郑丽文支持率倒数,这下让蒋万安捡了漏?

台湾地区最新民调出炉,郑丽文支持率倒数,这下让蒋万安捡了漏?

一网打尽全球焦点
2026-05-08 08:34:58
中天科技和华为走到一起,竟悄悄捅破了AI算力的“天花板”

中天科技和华为走到一起,竟悄悄捅破了AI算力的“天花板”

我不叫阿哏
2026-05-08 20:23:24
我提离职9分钟就批了,同事涨薪20万却被挽留,我默默交接完工作

我提离职9分钟就批了,同事涨薪20万却被挽留,我默默交接完工作

时尚的弄潮
2026-05-09 05:21:57
人穷能卑微到什么地步?网友说:一个男人两千块买了我三个晚上!

人穷能卑微到什么地步?网友说:一个男人两千块买了我三个晚上!

黯泉
2026-04-14 12:13:04
中方在关键时刻伸出援手,给生死存亡的老杜家族,送出了一丝希望

中方在关键时刻伸出援手,给生死存亡的老杜家族,送出了一丝希望

墨语家
2026-05-09 11:53:51
雪上加霜!比赛今晚开打申花却连迎两个坏消息,取胜铜梁龙有点悬

雪上加霜!比赛今晚开打申花却连迎两个坏消息,取胜铜梁龙有点悬

零度眼看球
2026-05-09 13:41:00
香格里拉虎跳峡精华路段装上护栏?网友质疑干预自然景观,旅游从业者讲述,景区回应

香格里拉虎跳峡精华路段装上护栏?网友质疑干预自然景观,旅游从业者讲述,景区回应

潇湘晨报
2026-05-09 15:49:26
曾任央视名嘴,揭露姜昆丑闻遭封杀,今70岁的她低调投身公益

曾任央视名嘴,揭露姜昆丑闻遭封杀,今70岁的她低调投身公益

悦君兮君不知
2026-05-09 02:28:35
34岁肖战高调官宣喜讯,官方发文全网恭喜,终于等到

34岁肖战高调官宣喜讯,官方发文全网恭喜,终于等到

猪小艳吖
2026-05-07 11:21:34
印度扬言碾压中国

印度扬言碾压中国

智先生
2026-05-08 21:05:43
今夏新晋这双“顶流鞋”,太时髦了!!!

今夏新晋这双“顶流鞋”,太时髦了!!!

英国报姐
2026-05-08 11:26:49
1998年数万华人遭屠杀,中国为何没出兵?26年后答案让人沉默

1998年数万华人遭屠杀,中国为何没出兵?26年后答案让人沉默

哄动一时啊
2026-02-17 22:21:25
蒋介石晚年坦言:败退台湾无悔,此生最大不甘就是听了斯大林此言

蒋介石晚年坦言:败退台湾无悔,此生最大不甘就是听了斯大林此言

芳芳历史烩
2026-05-04 01:43:43
皇马的内鬼就是他!高层怀疑索拉里泄密,他的处境变得尴尬

皇马的内鬼就是他!高层怀疑索拉里泄密,他的处境变得尴尬

懂个球
2026-05-09 15:31:10
网络教育平台Canvas遭黑客攻击,服务已恢复

网络教育平台Canvas遭黑客攻击,服务已恢复

界面新闻
2026-05-09 14:51:30
马云预言又应验!若无意外,2026年起,中国房地产或迎来3大转变

马云预言又应验!若无意外,2026年起,中国房地产或迎来3大转变

社会日日鲜
2026-05-02 09:45:05
2026年宁波鄞州区房价大幅下滑区域

2026年宁波鄞州区房价大幅下滑区域

阿离家居
2026-05-09 11:30:20
男人的生理需求能有多难忍?网友:我对我老公只有动物本能

男人的生理需求能有多难忍?网友:我对我老公只有动物本能

带你感受人间冷暖
2026-02-07 03:58:56
2026-05-09 17:04:49
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
2403文章数 33关注度
往期回顾 全部

科技要闻

美国政府强力下场 苹果英特尔达成代工协议

头条要闻

新华社调查"胖东来为啥总被黑" 于东来连发6动态回应

头条要闻

新华社调查"胖东来为啥总被黑" 于东来连发6动态回应

体育要闻

成立128年后,这支升班马首夺顶级联赛冠军

娱乐要闻

50岁赵薇脸颊凹陷沧桑得认不出!

财经要闻

存储芯片上演造富潮

汽车要闻

轴距加长/智驾拉满 阿维塔07L定位大五座SUV

态度原创

家居
艺术
教育
数码
时尚

家居要闻

菁英人居 全能豪宅

艺术要闻

齐白石 紫藤蜜蜂

教育要闻

采访英国知名私校副校长:中国家庭每年花几十万留学值吗?

数码要闻

酷冷至尊GX Platinum电源上架预约:12年长质保,至高1300W

你敢变重6公斤吗?

无障碍浏览 进入关怀版