一个AI应用只要具备“动手”能力——查记录、改工单、退款项、发消息——每一次模型返回就都进入了安全敏感的工作流。最常见的错误设计,是把模型的输出直接当成决策本身。
有两句话值得贴在每个AI工程师的显示器上:模型返回不等于授权;一次合法的工具调用,也不等于这个动作就该执行。围绕这两句话,可以拆出一整套网关该管什么、不该管什么的边界。
网关擅长的是“请求形状”的问题
网关夹在应用和模型提供方之间,它真正擅长处理的是请求层面的问题,大致分三类:
- 身份与密钥:一个集成密钥替代散落在各服务里的提供方凭证;密钥放密钥管理器、绝不提交进代码库、每个工作负载一把、归属变更就轮换、权限收到最窄的可用范围、工作负载下线就吊销、永远不打印进日志。
- 请求策略:速率与预算限制、护栏、路由,按可读的顺序施加,每个控制项有唯一负责人和唯一可观测的失败模式。
- 证据留存:请求ID、模型与路由、状态、用量、延迟、护栏与校验结果——留元数据,而不是把原始提示词囤进日志管道。
网关不该碰的是“业务判断”
这个用户能不能碰那条记录?这笔退款是否在政策范围内?这个工具到底允不允许改变状态?这些判断依赖租户数据和业务规则,只存在于应用里。所以应用要把每一次工具调用都当作不可信输入,按固定顺序处理:
- 这个工具对该用户是否允许?
- 参数是否符合工具的schema?
- 该动作的风险等级是否需要人工审批?
- 只有以上都过了才执行——任何会改变状态的操作都要带幂等键,因为重试会重复副作用。
工具应当放在一张显式注册表里,按风险分级:只读查询在最底层,破坏性动作在最顶层,需要审批和二次认证。模型不能自己发明工具名,也不存在一个能直连数据库的通用工具。
合法JSON只是可解析,不是可信
结构化输出能被解析,不代表它可信。要校验必填字段、枚举值、数值范围、长度、严格schema下的未知字段、租户标识,还要校验业务规则。授权必须放在schema校验之后,因为一个格式完美的标识符,并不能证明调用方拥有那条记录。
拒绝集要主动去测:缺字段、编造的枚举值、越界数字、多余属性,以及那种完全合法、却属于另一个租户的返回。每当提示词、模型或路由规则变动,就把这些测试样本重放一遍。
从小处起步
先从一个低风险、只读的工作流开始——分类、查询。接上密钥和一张小注册表,校验参数和最终JSON,检查元数据。再逐步扩展到经过批准的写操作。网关给这些控制项一个干净的边界和一份能区分“密钥被拒”“提示词被拦”“动作未授权”的日志;它替代不了控制本身,诚实的设计会把这句写清楚。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.