网易首页 > 网易号 > 正文 申请入驻

最快的大模型调用是永不调用?这条规则在安全线上翻车了

0
分享至

“最快的大模型调用,是你永远不会发出的那一次。该生成时才生成,能决策时就决策。”Chinmay Goyal 用这句话给他关于决策模型的文章收尾。

这条规则不错,于是我花了一个晚上试着把它拆掉。它在“建议”场景里站住了,在“护栏”场景里塌了——而且塌掉的证据,就藏在他自己给出的数字里,只是没被点名。

裂缝早就在那张图里

他写那个后续排序器时提到:“当某一轮什么都没显示时,58% 的情况并不是主动选择:排序用的大模型超时了,或者返回了一个我们没法用的答案。”

停一下。一轮“什么都没显示”,正是这条规则想要的目标状态。但它同时,大多数时候,是一次悄悄失败的调用。规则把两者算成同一个结果,因为它的胜利条件就是“没有发出调用”。而用户的体验其实是两件不同的事,被贴上了同一个标签:一个是决定不显示,一个是时间预算耗尽。

这就是从指标视角写出来的规则长什么样。延迟和成本在图上,那个“缺席的决策”不在图上。因为它是缺席,所以看起来像胜利。

他后来修好了排序器。规则熬过了这次修复,并且开始推广到教会它的那个案例之外。

同一条规则,越过安全线之后

他的护栏设计是:一道快速初筛检查所有内容,大模型只复核被初筛标记出来的部分。然后他说:“什么都不显示,往往好过一个弱建议。”

对建议来说,这是对的。一个弱的下一步就是噪音,没有下一步也没关系。

对筛查来说,什么都不显示就是放行。闸门开了。一道默认沉默的护栏,就是一道自带允许按钮的护栏。

他知道需要兜底:“遇到超时或坏答案,我们保持今天的行为。”

在建议场景里,“今天的行为”就是界面之前怎么做还怎么做。在护栏场景里,“今天的行为”恰恰是这道护栏存在的意义所要替换掉的东西。

那个反例

一份初筛没见过的文档,里面藏着提示注入。决策模型返回注入路径的分数是 0.49,低于 0.50 的阈值,于是它什么都不显示。时间预算在别的东西跑起来之前就耗尽了。按这条规则,完整的大模型永远不会被调用。闸门报告“干净”,因为在日志里,干净和未知是同一条线。

最便宜的失败,是那种从头到尾没人问过问题的失败。它也不留下任何记录,让你事后能把它数出来。

哪些站得住

他的诊断方法是对的,我会保留它。“输出能不能被提前列出来?”这个问题能告诉你,决策模型到底该不该出现在这一步。规则的后半句才需要加一个从句,因为“能决策时就决策”没有说清楚:当决策根本没到达时,会发生什么。

替换版本,更严格,也不更长:

  • 最快的那次调用,是它的缺席依然可见的那一次。
  • 只有当默认结果是“拒绝”时,才跳过调用。
  • 当默认结果是“放行”时,把调用发出去,并为它付钱。

我不是在说他的部署不安全。我没见过那套部署,而且他测试集上 91% 的精确率是个实打实的数字。我的说法更窄:这条规则是在建议案例上写出来的,却被同时套用到两个场景,而这两个场景的默认值正好相反。

从指标里学来的规则,会继承指标的盲区。他自己的文章在规则被写出来之前,就已经把这个盲区展示了两次。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
骑士126-115击败公牛!米切尔末节20分,二轮秀立大功,哈登的正负值亮了

骑士126-115击败公牛!米切尔末节20分,二轮秀立大功,哈登的正负值亮了

篮球大视野
2026-11-17 10:51:24
很遗憾!上海刚需已错过抄底时机

很遗憾!上海刚需已错过抄底时机

魔都财观
2026-11-17 07:42:08
五千万啃光!马蓉从阔太沦落澳洲超市夜班,出门捂脸不敢见人

五千万啃光!马蓉从阔太沦落澳洲超市夜班,出门捂脸不敢见人

皮蛋儿电影
2026-05-14 09:59:14
三天连发三款王炸!大众9.99万起,激光雷达下放,660km续航全有

三天连发三款王炸!大众9.99万起,激光雷达下放,660km续航全有

音乐时光的娱乐
2026-11-17 14:27:29
高市专机还未落地!日本又准备找麻烦,提的要求,一个比一个离谱

高市专机还未落地!日本又准备找麻烦,提的要求,一个比一个离谱

关权教授聊经济
2026-11-16 22:11:04
砸下12亿,耐克终结阿迪达斯26年欧冠合作

砸下12亿,耐克终结阿迪达斯26年欧冠合作

体育产业生态圈
2026-11-17 14:49:42
英国如今恐怕急得夜不能寐:中方在联合国公开带头追索107万亿美元,仅英国就背负着24万亿殖民掠夺旧账,面对这笔账,西方集体选择了沉默

英国如今恐怕急得夜不能寐:中方在联合国公开带头追索107万亿美元,仅英国就背负着24万亿殖民掠夺旧账,面对这笔账,西方集体选择了沉默

人生录
2026-10-25 00:10:08
土耳其人:这么贵的东西中国人天天当水喝?真是羡慕中国人!

土耳其人:这么贵的东西中国人天天当水喝?真是羡慕中国人!

抽象派大师
2026-11-10 18:27:26
1946年解放军神枪手被敌人诱出战壕,瞬间十余射手对准他猛烈狙击!

1946年解放军神枪手被敌人诱出战壕,瞬间十余射手对准他猛烈狙击!

南书房
2026-11-17 11:40:16
互相逆袭!甲乙升降级附加赛次回合,定南赣联和贵阳竞技迎生死战

互相逆袭!甲乙升降级附加赛次回合,定南赣联和贵阳竞技迎生死战

实事球是
2026-11-17 16:46:36
刷到路人偶遇抓拍的蔡少芬素颜照,不少人感慨看着老了好多

刷到路人偶遇抓拍的蔡少芬素颜照,不少人感慨看着老了好多

旧时光老师
2026-11-01 21:15:06
安德列娃收到俄罗斯总统普京的特别贺词

安德列娃收到俄罗斯总统普京的特别贺词

网球之家
2026-11-17 13:33:11
兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

兵败如山倒!国产新能源或已证明:中国其实不需要二线豪华品牌

铭记历史呀
2026-09-20 16:15:46
伊总理放话,会把欠中国的工程款立即结清,但向中方提了一个要求

伊总理放话,会把欠中国的工程款立即结清,但向中方提了一个要求

军机Nova
2026-11-17 00:31:16
美国政府正在调查新加坡某公司,指控其涉嫌非法向中方转运英伟达的芯片,外交部回应

美国政府正在调查新加坡某公司,指控其涉嫌非法向中方转运英伟达的芯片,外交部回应

吉刻新闻
2026-11-17 21:26:16
官媒亲宣!何超琼正式上任,职务不一般,与郑邵康恋爱早有真相

官媒亲宣!何超琼正式上任,职务不一般,与郑邵康恋爱早有真相

一盅情怀
2026-11-17 12:19:47
从白衬衣到“响当当、硬邦邦、嗷嗷叫”:理性透视王忠林落马后的舆情回响

从白衬衣到“响当当、硬邦邦、嗷嗷叫”:理性透视王忠林落马后的舆情回响

欧亚地理札志
2026-11-17 14:33:49
小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小米开启清仓:2399 降到 1614,16+512GB+50MP 长焦

小柱解说游戏
2026-11-17 02:50:42
受贿数额特别巨大,中核集团原党组副书记、总经理顾军被提起公诉

受贿数额特别巨大,中核集团原党组副书记、总经理顾军被提起公诉

每日经济新闻
2026-11-17 21:42:17
54岁陶虹变化真大:常年吃素、又胖又老,穿灰色大衣打扮很低调

54岁陶虹变化真大:常年吃素、又胖又老,穿灰色大衣打扮很低调

小疯子耶
2026-11-15 07:30:45
2026-11-17 22:19:00
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
208文章数 87关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

手机
本地
旅游
房产
公开课

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

本地新闻

乌兰察布:以前种土豆,现在种Token

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

房产要闻

6.6亿!海口卖地!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版