网易首页 > 网易号 > 正文 申请入驻

为什么AI代理一动工具,就成了“执行面”,再也不能只靠提示词管住?

0
分享至

最初,它只是帮你读日志、总结工单、给个部署建议。一切看上去都很安全,毕竟就多一个辅助输入而已。但没过多久,事情就开始“膨胀”——AI代理被拉着去更新工单状态、发起部署请求、重启 worker,甚至直接查询运维系统深处那些从来不对外开放的接口。这个时候,它已经不是一个聊天机器人了,它变成了一个实实在在的执行面。

很多团队到了这一步,仍然把所有精力都投在提示词工程上。提示词当然重要,但它已经不是最强的控制点了。一旦代理通过工具动起手来,工具访问就等同于生产访问。你不可能再靠几句自然语言描述来守住安全底线。


到底应该由谁来回答这些问题:谁在请求这次工具调用?工具是不是已经被注册并且有意暴露出来的?有没有一条不可被绕过的策略把它拦住?调用者的角色有没有对应的权限范围?参数是否合法?这个动作是只读、可逆、高风险还是破坏性的?需不需要人工审批?系统自己能不能原生的把整个过程审计留痕?当你把这些列在一张表上,你会发现,仅靠大模型理解工具描述来决定是否调用,太软了,根本没法上生产。

最容易被误用的就是工具描述。它只是帮模型判断“这件事该不该用这个工具”,从来不是一个权限边界。打个比方,一个叫 infra_tool 的东西,描述里写着“帮助检查和运维基础设施”。对本地 demo 来说够用,但一到生产环境就崩了。“运维”到底是读日志、重启一个 worker、发起部署,还是直接删资源?而且每次操作到底授权给谁?单凭一句模糊描述,等于把大门钥匙交给了猜谜语的人。

安全的设计必须把工具选择和授权彻底解耦。模型可以提议调用某个工具,但最终是否放行,是由一套确定性的策略层说了算。一个最小可用的架构大致就是这样:代理的请求先经过可信的注册表查询,同时捞到风险元数据;然后硬碰硬地被静态风险策略挡一次;接着做角色与权限范围的匹配;再严格校验参数;需要人工拍板的就走审批关卡;最后才轮到真正的工具执行,而且每一步都原原本本写进审计日志。关键的一点是,代理从来不直接调工具,它只是发起一次调用请求,治理层才握有最终执行的决定权。

这个模式并不复杂,甚至有离线参考实现放在 GitHub 上。它用一个确定性的 Python 包完成一件很窄但很明确的事:在真正执行前,把不安全的路径直接卡死。比如最底层的角色权限映射,看起来甚至有点“无聊”:“viewer”只能读日志,“operator”额外能请求重启 worker,“admin”再加一个部署请求的能力。但正是这种毫无脑筋急转弯的硬映射,才让每一次工具调用都有确切归属,而不是让模型靠文字描述去揣测自己能干什么。

当角色、范围和破坏性动作被明确挂在代码里,而不是藏在提示词的措辞里,你才真的开始回答最初那个问题:到底什么时候,AI代理需要权限边界?答案是:从它第一次被允许调用工具的那一刻起。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
深圳峰会已敲定,泽连斯基却傻眼了:凭啥普京能参加,我也要去!

深圳峰会已敲定,泽连斯基却傻眼了:凭啥普京能参加,我也要去!

盼叶落归根
2026-07-29 14:34:46
利好突袭!美科技巨头,刚刚飙涨!

利好突袭!美科技巨头,刚刚飙涨!

证券时报
2026-07-30 20:02:08
正式退役!才32岁,这就不想打了...

正式退役!才32岁,这就不想打了...

左右为篮
2026-07-31 01:06:07
特朗普:俄乌冲突每月致25000人死,这不可接受,我告诉泽连斯基要尽快结束战争

特朗普:俄乌冲突每月致25000人死,这不可接受,我告诉泽连斯基要尽快结束战争

鲁中晨报
2026-07-30 10:44:28
前无古人!詹姆斯打破了大谷翔平保持的纪录,成功登顶全体育历史榜首

前无古人!詹姆斯打破了大谷翔平保持的纪录,成功登顶全体育历史榜首

小七说篮球
2026-07-30 11:31:20
康佳创投发展(深圳)有限公司原经理郭奕绵被查

康佳创投发展(深圳)有限公司原经理郭奕绵被查

界面新闻
2026-07-30 12:26:06
16GB+1TB翻新MacBook Pro仅399.99美元,比新平板便宜

16GB+1TB翻新MacBook Pro仅399.99美元,比新平板便宜

全栈遛狗员
2026-07-30 17:05:04
沉默45年,中国第二轮"严打"终于来了!目标改变总体战正式打响

沉默45年,中国第二轮"严打"终于来了!目标改变总体战正式打响

细说职场
2026-07-30 16:31:15
29岁《海滩救护队》女星豹纹深V装翻车,胸部意外滑出忙遮挡,本人喊冤:我真不是故意的

29岁《海滩救护队》女星豹纹深V装翻车,胸部意外滑出忙遮挡,本人喊冤:我真不是故意的

追星雷达站
2026-07-30 01:49:43
“遇上体育生,你女儿这辈子就完了”,母女合照心酸,网友直言

“遇上体育生,你女儿这辈子就完了”,母女合照心酸,网友直言

世界圈
2026-07-30 08:51:31
善恶有报!背刺中国、出卖“孟晚舟”的真凶挖出,下场是大快人心

善恶有报!背刺中国、出卖“孟晚舟”的真凶挖出,下场是大快人心

乐天闲聊
2026-07-30 18:01:52
“刮骨疗毒”喊疼了!晋江整条街鞋厂在搬厂,楼顶有铁皮的全部拆除,有网友哭诉很多人没班上了

“刮骨疗毒”喊疼了!晋江整条街鞋厂在搬厂,楼顶有铁皮的全部拆除,有网友哭诉很多人没班上了

火山詩话
2026-07-30 09:42:17
保护血管的5种食物,洋葱只排第五,第一名就藏在常吃的水果中!

保护血管的5种食物,洋葱只排第五,第一名就藏在常吃的水果中!

九哥聊军事
2026-07-30 19:28:08
晚年朱可夫吐露真相:德军从莫斯科撤退那一夜,并非苏军打赢了,而是斯大林下了一道密令。这道命令是什么?为何在战后几十年里没人敢提?

晚年朱可夫吐露真相:德军从莫斯科撤退那一夜,并非苏军打赢了,而是斯大林下了一道密令。这道命令是什么?为何在战后几十年里没人敢提?

人生录
2026-07-30 00:05:08
中国电信:8月1日起第三方互联网渠道不再办理号卡

中国电信:8月1日起第三方互联网渠道不再办理号卡

大象新闻
2026-07-30 17:59:02
法庭上杀人犯当场质问法官:“我明明杀了四个女人,你们为什么说我杀了3个?”

法庭上杀人犯当场质问法官:“我明明杀了四个女人,你们为什么说我杀了3个?”

落纸生花创意手工
2026-07-19 12:06:31
发现一个奇怪的现象:兄弟姐妹中,那个最大方、最宽厚、最不斤斤计较的人,往往日子过得更好,孩子一般也很优秀

发现一个奇怪的现象:兄弟姐妹中,那个最大方、最宽厚、最不斤斤计较的人,往往日子过得更好,孩子一般也很优秀

心理观察局
2026-07-16 06:45:13
暴跌40%,又土又贵还开遍机场,曾经的中产标配,彻底卖不动了!

暴跌40%,又土又贵还开遍机场,曾经的中产标配,彻底卖不动了!

青眼财经
2026-07-19 17:14:17
1057 公斤黑市价值千万!福建海关查获走私“海柳”,想伪装过关

1057 公斤黑市价值千万!福建海关查获走私“海柳”,想伪装过关

万象硬核本尊
2026-07-30 19:04:58
欧盟事前预判出现严重误判,美日反应亮了!

欧盟事前预判出现严重误判,美日反应亮了!

有态度的何总
2026-07-29 20:10:14
2026-07-31 01:47:00
野生运营
野生运营
懂点产品,懂点AI,正在努力给平淡日子搞点新花样。
472文章数 78关注度
往期回顾 全部

科技要闻

小米澎程N90 Max预售价29.99万

头条要闻

陕西"公公强奸儿媳案"维持原判 女方精神鉴定结果公布

头条要闻

陕西"公公强奸儿媳案"维持原判 女方精神鉴定结果公布

体育要闻

曝皇马将签罗德里!转会费6000万签约4年

娱乐要闻

周星驰用态度打破快餐式宣发

财经要闻

中共中央政治局:提升资本市场韧性和信心

汽车要闻

FREELANDER神行者8下线 8月10日开启预售/海外版同步推进

态度原创

艺术
房产
手机
时尚
军事航空

艺术要闻

她眼里藏着一整片海,看一眼就让人溺死:摄影大师镜头下的"迷离",是这世上最贵的奢侈品

房产要闻

这个大平层,彻底打破了海口核心资产认知!

手机要闻

三星高管暗示Galaxy S26 FE手机将至,有望亮相2026年IFA展会

细品赞达亚的红毯妆造,每一套都有彩蛋!

军事要闻

美国一液化天然气船遭袭 特朗普放狠话考虑“升级”

无障碍浏览 进入关怀版