网易首页 > 网易号 > 正文 申请入驻

模型一换,安全边界还拦得住吗?

0
分享至

做构建评审时,问“哪个模型更安全”是个错问题。模型会被换掉。能扛过一个发布周期的问题是:检查跑在哪一层,检查失败时系统会做什么?


两周前这还是设计层面的争论。这一周它变成了依赖管理问题。10月22日,Anthropic 把 Agent Skills 格式——名称、标识、GitHub 组织、域名——捐给了一个 Linux 基金会下属实体,背后有 70 多家平台采用方、约 2.8 亿次安装。10月28日,谷歌通过标准连接器向第三方应用开放 Gemini 和 Search,首发 50 多款。两件事都提升了能力,也都在同一个两周里、出于同一个原因,把你需要推理的暴露面撑大了。

先说失败模式,具体一点。一段写在系统提示词里的护栏是这样的:你是报价助手,可以读价格表,未经批准绝不能把报价发给客户。

这句话在四类输入上会失效,没有一类是恶意攻击:

  • 任务本身合法地需要那个被禁止的动作。“在他们下午4点前把 Ballantyne 的报价发出去”,正确完成这个请求的方式恰恰是被禁止的动作。模型要在指令和任务之间做仲裁,同样的权重,不同日子仲裁结果不同。
  • 上下文把这句话的优先级挤掉了。长上下文、工具输出、注入的文档文本都在争抢同一份注意力预算,“未经批准绝不发送”只是几千行里的一行。
  • 工具有办法绕过去。提示词管的是模型。如果连接器库把 send_email 直接暴露给工具调用层,这句话从来就不在路径上。
  • 模型被换掉。上面每一条都会因为一次版本升级重新洗牌,而版本升级现在发生在别人的发布节奏上——因为模型正是被商品化的那一层。

第四条才是关键:它让这件事变成架构问题,而不是提示词工程问题。一个每次依赖升级都要重新验证的控制,不是控制,是测试夹具。

站得住的设计是一张权限表,分三个互不重叠的类别。真正重要的属性不是“先问一句”,而是系统究竟有没有能力做这件事。

第三层不是“模型被告知不要做”。而是那个函数从来没有被接进智能体的工具集,没有任何 token 序列能触达它。这个区别值得较真,因为“被提示词挡住”和“根本不存在”在演示里表现一模一样,在没人盯着的时候完全不同。

Anthropic 的使用政策更新从另一个方向说了同一件事。一份主要讲影响力行动的文件里,埋着一条要求:接入物理设备的 AI 必须有合格操作员能够观察并叫停,设备必须能进入安全状态。这是用监管语言说:操作员必须能中断,而且中断必须有意义。你没法中断一段提示词。

三层模型画起来容易。问题是周一你跑什么来确认它还成立。我们的做法是一套回归测试——截至 10月15日的一个厂商页面,60 个剧本背后有 241 个用例——每个用例是一个任务、一个预期动作层级、一个预期产物。模型或剧本一变,这套测试就跑。

让它有用的是,大部分用例都很无聊,只有一类不是。代码里有两个细节就是整个设计:

  • capability_absent 必须和 refused 是两个不同的预期值。如果你的测试把“智能体拒绝了”和“智能体做不到”当成同一种结果,它会一直通过,而边界已经悄悄变成了建议。礼貌拒绝的模型产出了一个分数;没被绑定的工具产出了一个缺席。下一次升级之后,只有后者还成立。
  • 失败必须是可读的。命中第三层时应该返回人能看懂的理由——“该角色不可使用此动作”——而不是一个通用工具错误,让模型转头把三个第一层调用拼成同样的效果。这条组合路径才是真正的攻击面,而且它不是恶意的,是一个乐于助人的模型撞墙之后的正常反应。

标准连接器层改变了威胁模型。在 MCP 式连接器成为常态之前,“这个智能体能触达什么”是你控制的数字:你写的那些集成。有了标准连接器层之后,这个数字会在别人发布新东西时变大——首发 50 多款应用不是你敲进去的数字。

由此有三件事,没有一件是产品功能:

  1. 在构建时按连接器枚举可达面。如果你拿不出这份清单——工具名、能力类别、层级——你有的不是边界,是一份政策文档。清单必须被生成,不能手写。
  2. 把层级绑到工具上,不是绑到厂商上。一个连接器在同一个命名空间里同时提供 read_document 和 delete_document 是常态而非例外。如果层级按连接器分配,一个不安全的方法会把整个集成拖进第三层,或者更糟,因为连接器“已批准”而被放行。
  3. 把技能安装当代码评审。一个被捐出去的技能格式意味着,你装的技能出自一个你从未认同过其风险偏好的人,而且它自带作用域假设。旧直觉——“这只是个提示词,做不了什么”——在技能能调用工具的那一刻就不成立了。

想对任何智能体栈做一次廉价检查,就这个:换掉模型,看什么坏了。不是看质量掉没掉,是看拒绝类用例还拒不拒。

在我们自己的测试里,最先失败的从来不是明确的第三层用例,而是组合:智能体被要求做一件受限的事,它把这件事拆成若干被允许的步骤,走到了 80%。提示词说不,步骤说是。这个缺口是设计问题,不是模型问题,没有任何一次模型发布能补上它。

还有一件我们没解决的事,与其四舍五入不如直说:层级分配的质量取决于写规则的那个人。给大多数人三个层级,他们会写“任何面向客户的东西都要审批”,这不是机器可判定的,于是几乎所有事都排队,一个一天被读四十次的队列变成没人认真做的差异评审。系统执行你写下的,执行不了你想表达的。

也要说清楚这套东西买不到什么。它管的是权限,不是判断力:一个被正确执行、但依据的是你写得太松的规则的任务,会通过每一层和每一个回归用例。它管的是模型替换,不是部署风险——模型仍然来自别人。审计日志管的是事后重建,不是事前阻止:清楚知道发生了什么,和那件事本来该不该做,是两回事。

留一个设计评审上我会问的问题:下个季度你换掉底层模型时,你的栈里有什么东西告诉你行为没有回退——以及它分得清“拒绝了”和“做不到”吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一把好牌打得稀烂!“消失”4年、无戏可拍的张翰,面相真的变了

一把好牌打得稀烂!“消失”4年、无戏可拍的张翰,面相真的变了

谢鵑解说
2026-10-29 05:22:56
送走三球扶正米勒赢了?三战场均34.6分状态火热 五年2.09亿超值

送走三球扶正米勒赢了?三战场均34.6分状态火热 五年2.09亿超值

颜小白的篮球梦
2026-10-29 10:58:08
换帅风向变了!广东两连败追平最差开局,为何30万助教任骏飞成顶替热门?

换帅风向变了!广东两连败追平最差开局,为何30万助教任骏飞成顶替热门?

沉醉花海m
2026-10-29 02:02:02
苹果确认:iPhone Duo铰链致内屏开裂

苹果确认:iPhone Duo铰链致内屏开裂

ZAKER科技
2026-10-28 12:01:22
15年前以身试毒,主动喝下福岛核废水的日本官员,如今还健在吗?

15年前以身试毒,主动喝下福岛核废水的日本官员,如今还健在吗?

花语舞者
2026-10-24 07:40:13
一个日本华人表示,中国当前的生活水平相当于日本80年代

一个日本华人表示,中国当前的生活水平相当于日本80年代

聚焦真实瞬间
2026-10-19 21:06:47
别再叫“电诈”了:徽剑案撕开的,是比恐怖组织更深的恶

别再叫“电诈”了:徽剑案撕开的,是比恐怖组织更深的恶

迷世书童
2026-10-30 00:05:10
辽宁舰率16艘战舰800垂发,中国海军双线破链,日本雷达集体沉默

辽宁舰率16艘战舰800垂发,中国海军双线破链,日本雷达集体沉默

战友老邓
2026-10-29 15:00:47
你捞过公司最大的油水是什么?网友:你们的胆子真的是肥嘟嘟的!

你捞过公司最大的油水是什么?网友:你们的胆子真的是肥嘟嘟的!

另子维爱读史
2026-10-10 20:41:15
经历三次失败婚姻又不幸患重病,早年还曾被数百位导演联合抵制

经历三次失败婚姻又不幸患重病,早年还曾被数百位导演联合抵制

湘西二当家
2026-10-28 22:42:25
列车相撞细节披露,西班牙大臣直言“令人费解”

列车相撞细节披露,西班牙大臣直言“令人费解”

观察者网
2026-10-29 08:47:08
车管所不会主动提醒你:旧车卖掉以后,还有几笔钱能退

车管所不会主动提醒你:旧车卖掉以后,还有几笔钱能退

沙雕小琳琳
2026-10-27 14:43:21
台湾回归新方案浮出水面:国民党若同意,解放军或无需动武

台湾回归新方案浮出水面:国民党若同意,解放军或无需动武

飘逸的云朵
2026-10-29 18:31:17
金价跌破860元/克,有金店1天卖出十几公斤,手镯1天补3次货都不够;女子上午买结婚“五金”,下午带亲友买金镯

金价跌破860元/克,有金店1天卖出十几公斤,手镯1天补3次货都不够;女子上午买结婚“五金”,下午带亲友买金镯

极目新闻
2026-10-27 14:56:16
搜狐市值只剩3.5亿美元,可公司账上却有12亿现金,张朝阳宁可错过短视频等风口,也不多花每一分钱

搜狐市值只剩3.5亿美元,可公司账上却有12亿现金,张朝阳宁可错过短视频等风口,也不多花每一分钱

新浪财经
2026-10-13 21:44:48
暴跌40%,又土又贵还开遍机场,曾经的中产标配,彻底卖不动了!

暴跌40%,又土又贵还开遍机场,曾经的中产标配,彻底卖不动了!

青眼财经
2026-07-19 17:14:17
一边争总冠军,一边争状元签?火箭正打出全联盟最眼红的局面

一边争总冠军,一边争状元签?火箭正打出全联盟最眼红的局面

好叫好伐
2026-10-29 17:57:48
地质学家:中国新疆,最大沙漠下方,出现了出乎意料的大型水源

地质学家:中国新疆,最大沙漠下方,出现了出乎意料的大型水源

云霄纪史观
2026-10-09 01:22:13
心理学:一个家庭长期没饭局,不串门、不社交,就已经说明了两个现实,很准

心理学:一个家庭长期没饭局,不串门、不社交,就已经说明了两个现实,很准

心理观察局
2026-07-02 06:05:10
好汉张口就来二斤牛肉,不是豪气,是因为穷

好汉张口就来二斤牛肉,不是豪气,是因为穷

科学声音
2026-10-27 16:12:32
2026-10-30 02:47:00
灰度测试中
灰度测试中
生活正在重构,目前还在灰度测试阶段,暂不全量发布。
176文章数 90关注度
往期回顾 全部

科技要闻

MacBook终于能触屏了:22999元起

头条要闻

媒体:守住不该守住的底盘 77岁的内塔尼亚胡逃出生天

头条要闻

媒体:守住不该守住的底盘 77岁的内塔尼亚胡逃出生天

体育要闻

超级黑马!球队不败 29岁的他得分榜前三

娱乐要闻

白百何被曝和二婚丈夫离婚 和男生逛街

财经要闻

两大娱乐巨头,谈崩了

汽车要闻

标配宁德时代电池 智己LS8 NEO纯电预售24.98万起

态度原创

房产
数码
本地
时尚
公开课

房产要闻

12.1亿!三亚挂出重磅宅地!

数码要闻

MacBook Pro首次支持触控!苹果新品又来了

本地新闻

十月奔赴迪庆,解锁梅里日照金山

新剧吻戏不断引猜疑!王玉雯杨玏被曝分手,团队沉默背后藏何隐情

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版