网易首页 > 网易号 > 正文 申请入驻

模型返回了合法JSON,为什么还不能直接执行?

0
分享至

一个AI应用只要具备“动手”能力——查记录、改工单、退款项、发消息——每一次模型返回就都进入了安全敏感的工作流。最常见的错误设计,是把模型的输出直接当成决策本身。

有两句话值得贴在每个AI工程师的显示器上:模型返回不等于授权;一次合法的工具调用,也不等于这个动作就该执行。围绕这两句话,可以拆出一整套网关该管什么、不该管什么的边界。

网关擅长的是“请求形状”的问题

网关夹在应用和模型提供方之间,它真正擅长处理的是请求层面的问题,大致分三类:

  • 身份与密钥:一个集成密钥替代散落在各服务里的提供方凭证;密钥放密钥管理器、绝不提交进代码库、每个工作负载一把、归属变更就轮换、权限收到最窄的可用范围、工作负载下线就吊销、永远不打印进日志。
  • 请求策略:速率与预算限制、护栏、路由,按可读的顺序施加,每个控制项有唯一负责人和唯一可观测的失败模式。
  • 证据留存:请求ID、模型与路由、状态、用量、延迟、护栏与校验结果——留元数据,而不是把原始提示词囤进日志管道。

网关不该碰的是“业务判断”

这个用户能不能碰那条记录?这笔退款是否在政策范围内?这个工具到底允不允许改变状态?这些判断依赖租户数据和业务规则,只存在于应用里。所以应用要把每一次工具调用都当作不可信输入,按固定顺序处理:

  1. 这个工具对该用户是否允许?
  2. 参数是否符合工具的schema?
  3. 该动作的风险等级是否需要人工审批?
  4. 只有以上都过了才执行——任何会改变状态的操作都要带幂等键,因为重试会重复副作用。

工具应当放在一张显式注册表里,按风险分级:只读查询在最底层,破坏性动作在最顶层,需要审批和二次认证。模型不能自己发明工具名,也不存在一个能直连数据库的通用工具。

合法JSON只是可解析,不是可信

结构化输出能被解析,不代表它可信。要校验必填字段、枚举值、数值范围、长度、严格schema下的未知字段、租户标识,还要校验业务规则。授权必须放在schema校验之后,因为一个格式完美的标识符,并不能证明调用方拥有那条记录。

拒绝集要主动去测:缺字段、编造的枚举值、越界数字、多余属性,以及那种完全合法、却属于另一个租户的返回。每当提示词、模型或路由规则变动,就把这些测试样本重放一遍。

从小处起步

先从一个低风险、只读的工作流开始——分类、查询。接上密钥和一张小注册表,校验参数和最终JSON,检查元数据。再逐步扩展到经过批准的写操作。网关给这些控制项一个干净的边界和一份能区分“密钥被拒”“提示词被拦”“动作未授权”的日志;它替代不了控制本身,诚实的设计会把这句写清楚。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国造AH-4又被缴获了!也门海岸防御崩盘,胡塞抢下10000平方公里土地,要变天了?

中国造AH-4又被缴获了!也门海岸防御崩盘,胡塞抢下10000平方公里土地,要变天了?

军武次位面
2026-11-17 17:48:54
名单没日本,高市早苗不来深圳APEC?别误会

名单没日本,高市早苗不来深圳APEC?别误会

爱下厨的阿酾
2026-11-17 06:16:19
中超升班马巨变?韩国功勋主帅率队冲超后下课!50岁本土教练接任

中超升班马巨变?韩国功勋主帅率队冲超后下课!50岁本土教练接任

我爱英超
2026-11-17 10:06:11
卡萨诺:看到小罗以这样的方式重返球场,我感到很心疼

卡萨诺:看到小罗以这样的方式重返球场,我感到很心疼

懂球帝
2026-11-17 06:12:14
保安景树仁转发讨薪网帖一审获刑4年背后:公安局长批示远端布控合力打击;辩护律师绝望到当庭自首

保安景树仁转发讨薪网帖一审获刑4年背后:公安局长批示远端布控合力打击;辩护律师绝望到当庭自首

追月数星
2026-11-17 19:09:40
中国U19男足2-1击败韩国U19男足夺冠,赛后评分:中国队7号排第一

中国U19男足2-1击败韩国U19男足夺冠,赛后评分:中国队7号排第一

侧身凌空斩
2026-11-17 21:27:15
假哭别演正剧!《伟大的长征》结局李乃文用鼻涕横流的哭戏,把张国焘哭成了历史的笑柄

假哭别演正剧!《伟大的长征》结局李乃文用鼻涕横流的哭戏,把张国焘哭成了历史的笑柄

娱乐故事
2026-11-16 21:08:06
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
“华系车”赢麻!鸿蒙大涨139%,极狐涨112%,小米大跌11%

“华系车”赢麻!鸿蒙大涨139%,极狐涨112%,小米大跌11%

大厂财经社
2026-11-17 12:19:08
最近降薪裁员真的很严重。

最近降薪裁员真的很严重。

老陆不老
2026-11-17 19:40:11
9天时间,足球门将的膝盖,撞死2个前锋

9天时间,足球门将的膝盖,撞死2个前锋

起点人文
2026-11-16 21:31:19
离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

川渝视觉
2026-11-17 19:57:30
0-5惨败!就在刚刚,斯诺克资格赛爆大冷:世界第108位横扫世界第82!18岁希望新星一轮游回家,中国军团5胜6负

0-5惨败!就在刚刚,斯诺克资格赛爆大冷:世界第108位横扫世界第82!18岁希望新星一轮游回家,中国军团5胜6负

篮球热嗖
2026-11-17 09:14:58
极目深度丨“老中医墓碑刻满52个药方”背后:她曾看一个病人收2角钱,攒钱支援抗美援朝,后代有16人学医,85岁儿媳仍在坐堂问诊

极目深度丨“老中医墓碑刻满52个药方”背后:她曾看一个病人收2角钱,攒钱支援抗美援朝,后代有16人学医,85岁儿媳仍在坐堂问诊

极目新闻
2026-11-17 19:43:14
特斯拉即将推出 2026 年度大更新,重磅新功能来了!

特斯拉即将推出 2026 年度大更新,重磅新功能来了!

XCiOS俱乐部
2026-11-17 20:45:14
卫星实拍!克里米亚大桥受损情况堪忧,卫星图像显示桥面与桥拱出现明显损毁

卫星实拍!克里米亚大桥受损情况堪忧,卫星图像显示桥面与桥拱出现明显损毁

军迷战情室
2026-11-16 23:35:52
36岁女子只因拿不出五百房租,就被房东赶出房间,被朋友做局欺骗,负债百万,如今身上五十块都拿不出,在路边崩溃大哭!

36岁女子只因拿不出五百房租,就被房东赶出房间,被朋友做局欺骗,负债百万,如今身上五十块都拿不出,在路边崩溃大哭!

捣蛋窝
2026-11-16 15:56:18
泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

麓谷隐士
2026-11-17 00:05:04
明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

明年开始,若房价继续下跌,中国50%的家庭或要面临3个问题

云霄纪史观
2026-11-17 04:14:58
油价,闪崩!

油价,闪崩!

业翔民安
2026-11-17 11:21:41
2026-11-17 22:28:49
固件更新中
固件更新中
有态度网友ytd
228文章数 89关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
健康
亲子
时尚
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

情绪真能让健康人"伤心至死"?

亲子要闻

宝宝气人但是聪明的4个行为

自骂“烂人”的黄仁勋,冤不冤?

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版