网易首页 > 网易号 > 正文 申请入驻

攻击性蒸馏,只是“思维链漏洞”的表层故事

0
分享至

美国前沿模型厂商又暴露出一个重要安全漏洞。“攻击者”只需几步操作,就可能把模型刻意藏起来的思维链“扒”出来。这里面不仅有模型能力的秘密,还可能夹带用户隐私,甚至包含模型在处理有害问题时产生的危险信息。

比较直觉的解读是,这为“攻击性蒸馏”提供了一条成本更低的路径。但真正值得警惕的,可能不是蒸馏本身,而是这个漏洞暴露出的另一层问题:当安全性与产品设计、商业模式发生冲突时,前沿模型厂商究竟会把安全放在什么位置?


论文披露的时间线尤其耐人寻味。密码学家、同时也是约翰斯·霍普金斯大学教授的Matthew Green,几个月前已经向OpenAI与Anthropic告知相关攻击方法,但两家公司都认为这种风险难以真正爆发;直到这支研究团队用实验把攻击完整跑通,相关漏洞才得到修复。

加密思维链,已经成为AI行业商业秘密与安全机制的交叉点。一旦这个秘密可以被弱模型重新解码,模型厂商失去的就不只是商业秘密,还有原本以为可以控制的安全边界,以及对模型内部行为的监督优势,当然还有它想防止的被蒸馏。

一步步沦陷

论文完整呈现了攻击得以成立的链路。思维链(CoT)是模型供应商的核心商业机密,蕴含着推理过程中的中间假设、工具输出、用户数据以及上下文中的隐私信息。为维护知识产权、确保竞争壁垒,美国头部模型厂商已弃用明文推理,转而将思维链加密隐藏起来,至多向用户提供一个精简摘要。

然而,加密块(Block)的留存,意味着持续的服务器端存储成本。为省下这笔开销,供应商普遍选择将加密块交由客户端持有,让客户端在下一轮调用时将其回传至服务器端。这是一种无状态架构设计,天然支持无缝模型切换与自动重路由,但同时也使加密块得以在同一厂商的产品体系内跨会话、跨用户乃至跨模型移植。

研究团队通过实验推断,其技术根源在于,供应商似乎使用同一全局密钥对推理块进行加密和认证。当然,这一设计选择有其合理的业务逻辑。当订阅用户更高级模型配额耗尽后,系统自动降级至较低规格的模型,而对话不能因此中断,兼容性由此成为功能刚需。

研究团队发现,OpenAI的GPT-5.6系列几乎可以重放所有早期版本模型的推理轨迹;Anthropic的Claude模型除Fable 5外,任意模型产生的推理轨迹均可被同系其他模型重放;谷歌Gemini全系列模型之间则完全互通无阻。


问题在于,这些“弱模型”通常针对成本进行了优化,拒答能力以及反蒸馏能力也往往弱于前沿模型。攻击流程由此展开:用Opus处理一个问题,捕获其返回的加密思维链;将加密块注入Haiku中并对Haiku实施越狱;Haiku便会将Opus的原始推理过程以明文重构出来。

论文将这类弱模型称为“模糊解码器”(fuzzy decoders)。尽管缺乏原始推理痕迹作为比照基准,且生成过程具有随机性,无法保证逐字精确对应,但“解码出的推理token数”与"API报告的推理token数”在大多数情况下高度吻合,足以作为提取保真度的可靠指标。

这条路径之所以具有现实吸引力,在于它同时降低了三种成本:不必从最终答案反推推理过程;不必直接越狱前沿模型;甚至不必承担生成原始推理轨迹的成本。论文估算,以Claude Haiku 4.5为“模糊解码器”,解码1万条推理轨迹的名义API成本仅约720美元。

论文还依据攻击者身份,区分了两种获取推理轨迹的途径。第一方攻击者使用自己的API账户直接查询强模型,在响应中捕获加密块,再将其重放入同系弱模型解码——即“两次API调用”,1次生成、1次解码——代价是需自行承担强模型的生成成本。

第三方攻击者则无需自行生成,直接从GitHub与HuggingFace上采集其他用户共享的 Agent会话日志——这些日志往往只在明文层面做了脱敏,加密块则原封不动地保留其中,因为解密只发生在供应商服务器端,共享者既不持有密钥、也没有任何解密手段,无从知晓也无法清除加密块内嵌的敏感信息。

采用这条途径,攻击者连生成加密块的推理成本都无需承担;又因其从未触碰前沿模型端点,供应商针对前沿模型部署的反蒸馏监控,很可能根本无法察觉这次提取行为。

真正的“房间里的大象”

这篇116页的论文,其中有30页在分析,近期发布的开源模型是否借鉴了这三个系列专有模型的推理能力进行蒸馏。这一章名为“房间里的大象”。论文开头就“叠甲”,显要声明了“无法因果地证明蒸馏的存在”。它报告的只是"特定干预下观察到的行为转变",且存在局限性。

论文对比了业内主流或曾采用过的多款开源模型,发现其中2款开源模型的确存在相当强的间接行为证据,但这些迹象并没有在更多模型身上复现。在社交媒体X上,“蒸馏”总是能引发最广泛的讨论,这关乎中美前沿模型的竞争,以及不断升温的政策预期。

开源技术平台Prime Intellect的研究员Florian Brand驳斥了“蒸馏攻击”的叙事框架,认为“蒸馏”只是一项中立的技术。他与前艾伦实验室研究员Nathan Lambert共同经营着博客。

Nathan Lambert则透露说,当他在中国时,有人暗示这似乎是普遍做法,但他不认为行业需要针对模型蒸馏(distillation)采取政策性的行动,关键反而在于产品提供方及时填补这一漏洞。将其限定为商业竞争,商业竞争的问题通过产品与技术解决,这也是他们一贯的观点。


事实上,密码学家Matthew Green早在三个月多前就发现了“门没锁好”,然后他通过OpenAI与Anthropic的官方“漏洞赏金计划”,上报了这一发现。

结果,OpenAI回复称,这无法复现(unreproducible);Anthropic稍微客气一点,声称“未发现存在任何安全影响”(don’t see any security implications),但会修改开发者文档,提醒应用开发者小心一点。

几个月后,另一组研究者沿着这扇没锁好的门继续往里走,最终发现,门后的东西远比想象中更多。Matthew Green的这项研究,也被列入了这篇论文的参考文献。

真正值得警惕的,或许不是某一次漏洞,而是这种风险暴露出的安全治理惯性。当安全机制与产品便利性、成本和商业利益发生冲突时,模型厂商是否会倾向于选择后者?

这种选择及其结果,最终也可能影响社会对AI安全与部署速度的判断。最近,就连OpenAI与Anthropic都开始公开讨论放慢某些AI能力推进的速度。它们或许终于无法再把这些问题当作房间里的大象。

思维链的“阴影”

被竞争对手绕过防蒸馏机制,只是这一漏洞暴露出的风险之一,而且只是模型厂商自身的商业风险。更严重的是,它还可能导致大规模隐私泄露、隐藏有害信息暴露,以及隐形提示注入,风险由此从模型厂商的知识产权问题,扩展到用户数据、社会安全乃至整个AI生态。

这些模型往往被训练“不在输出里带有害信息”,但没被训练“不去想有害话题”。因为如果强行训练模型“安全地思考”,模型可能学会的不是更安全地思考,而是让自己的思考看起来更安全,从而反过来降低思维链的可监控性。但是,攻击者可以诱导模型深入推理一个有害话题,同时让最终可见答案保持良性或低信息量,从而通过输出过滤器;然后捕获加密块,用弱模型解码,有害信息就可能从隐藏推理中被进一步提取出来。

更棘手的,是隐形提示注入。随着长程智能体工作流兴起,重放已有轨迹,具有现实的工程价值:它既可以避免从头重复昂贵的计算,也能保留长轨迹积累的中间状态。而加密推理块在让这种重放成为可能的同时,也打开了一个此前难以察觉的提示注入面。

理论上,攻击者可以在公开轨迹或共享会话中埋入恶意指令,并将其藏进用户无法直接看到的推理块中;受害者不知情地在另一会话中重放这段轨迹后,模型可能将恶意内容视为自己此前的推理,并据此执行后续操作。一旦这种攻击能够随着智能体轨迹被反复重放,动摇的就不只是某个模型的安全性,而是整个AI智能体生态的信任基础。

堵不如疏

由于论文团队“解码”了大量来自前沿模型的推理思维链,他们还看到了更多隐藏推理所暴露出来的“诡异”模型行为。这些恰恰是模型厂商通常不愿意主动展示给用户的另一面,而并非完全是“防范蒸馏”。

这包括摘要的“不诚实”,即模型给用户看的推理摘要,和加密块里实际的推理过程,并非完全一致。有时候,模型其实已经通过记忆或模式匹配,识别出用户的问题,却仍然生成了一段看似完整的推理过程。换言之,用户看到的“推理摘要”,并不一定是模型真实内部计算过程的忠实投影。

思维链也暴露了模型尝试“作弊”与“欺骗”,甚至通过工具对外部系统采取攻击性操作以完成任务。而这一切,OpenAI对HuggingFace的“智能体攻击”,以及Anthropic事后复盘,已经在上个月成为现实。

在发现“漏洞”后,Matthew Green认为,就模型提供商能做的事情而言,有简单的事,也有困难的事。把“门锁”修好是一件相对简单的事:两家提供商都应主动改进密钥管理。在看到水从漏洞中渗入之前,修补漏洞总是更明智的选择。如果企业认为推理状态“值得加密”,那就应该妥善进行加密。

但问题在于,即使你把加密协议修得完美,问题仍然存在。只要模型真的在用秘密进行推理,就几乎总会留下某种可观察的痕迹。这就需要引入一个“门控”。在模型开始推理之前,先判断这个问题是否允许它思考。但新的悖论也随之出现,判断它是不是危险问题,往往又需要模型先思考。

论文作者之一的Jonas Geiping在X上点评说,在第一次大规模看到Anthropic和OpenAI的思维轨迹,以及其中包含的各种奇怪之处和一些“随意发生的”对齐失位(casual misalignment)行为,自己意识到这将是未来一年最大的安全挑战之一。他是图宾根ELLIS研究所(ELLIS Institute Tübingen)与马克斯·普朗克智能系统(Max Planck for Intelligent Systems)研究员。

他开始认真考虑另一种制度安排,即“干脆让所有用户都可以访问思维轨迹”。事实上,那些乐于共享的用户,甚至因为暗箱的加密块,不加脱敏地将自己的隐私信息也分享了出去。

“如果让思维过程广泛开放,我们可能会获得一种更加广泛、更加多元的监督机制,从而让模型部署变得更加安全。”他说。

如果只有模型厂商能够看到自己模型的思维过程,那么监督权实际上也高度集中在模型厂商手里。对于越来越自主的AI而言,真正危险的未必是别人看到了它在想什么,而是除了它的制造者,没有人知道它究竟在想什么。

参考文献:

https://blog.cryptographyengineering.com/2026/05/29/fooling-around-with-encrypted-reasoning-blobs/

https://stolen-thoughts.com/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
叶剑英坦言:毛主席用三次“神指挥”,折服了所有的将帅

叶剑英坦言:毛主席用三次“神指挥”,折服了所有的将帅

纪史行者
2026-10-02 06:00:10
车评人称其烤串店未开业先收差评,质疑平台审核机制存漏洞 目前虚假评论已被下架

车评人称其烤串店未开业先收差评,质疑平台审核机制存漏洞 目前虚假评论已被下架

红星新闻
2026-10-03 13:02:10
江苏南京一面包店将隔夜面包免费送骑手,网友担心店主被讹:“吃出问题就老实了!”店主:想让他们百忙之中吃口饭,我们自己也吃

江苏南京一面包店将隔夜面包免费送骑手,网友担心店主被讹:“吃出问题就老实了!”店主:想让他们百忙之中吃口饭,我们自己也吃

台州交通广播
2026-10-03 18:17:28
安东尼奥震惊:难以想象国足0-5巴勒斯坦!亚洲杯亚军不该踢成这样

安东尼奥震惊:难以想象国足0-5巴勒斯坦!亚洲杯亚军不该踢成这样

我爱英超
2026-10-03 18:39:28
双喜临门!随着郑钦文收退赛大礼,WTA即时排名洗牌:重回前50!

双喜临门!随着郑钦文收退赛大礼,WTA即时排名洗牌:重回前50!

大秦壁虎白话体育
2026-10-03 19:08:46
创历史!“小孩姐”孙心然2-0爆冷27号种子 成中网最年轻32强

创历史!“小孩姐”孙心然2-0爆冷27号种子 成中网最年轻32强

醉卧浮生
2026-10-03 19:50:32
沈阳一家三口吃清洗过的鸡蛋后集体中毒,专家:买回来的鸡蛋千万别洗,脏了用干布擦,储存时需大头朝上

沈阳一家三口吃清洗过的鸡蛋后集体中毒,专家:买回来的鸡蛋千万别洗,脏了用干布擦,储存时需大头朝上

环球网资讯
2026-10-03 14:41:11
新华社评“中国男足0:5惨败”:令人震惊,战意不浓、作风松懈,抑或把比赛当成“例行公事”,不仅是对球迷的辜负,更是对国脚身份的亵渎

新华社评“中国男足0:5惨败”:令人震惊,战意不浓、作风松懈,抑或把比赛当成“例行公事”,不仅是对球迷的辜负,更是对国脚身份的亵渎

政知新媒体
2026-10-03 14:01:09
罗永浩又批评餐厅了:价格贵,巨咸,很难吃!可这一次,大量网友已经反感了:到处碰瓷!

罗永浩又批评餐厅了:价格贵,巨咸,很难吃!可这一次,大量网友已经反感了:到处碰瓷!

谭谈社会
2026-10-02 16:39:44
中国体坛最伟大7名运动员,林丹上榜,苏炳添第3,第1当之无愧

中国体坛最伟大7名运动员,林丹上榜,苏炳添第3,第1当之无愧

娱说瑜悦
2026-10-03 14:49:56
中国这次无法动用一票否决权,2比11的结果一出中国很失望?

中国这次无法动用一票否决权,2比11的结果一出中国很失望?

小马姨
2026-10-03 09:52:32
男子高尔夫团体夺第166金,中国队创亚运会境外参赛金牌数最好成绩

男子高尔夫团体夺第166金,中国队创亚运会境外参赛金牌数最好成绩

界面新闻
2026-10-03 15:22:32
孔东梅在美国留学期间坦言:当时在美国,除了大使李肇星,几乎没人知道她是毛主席的后人

孔东梅在美国留学期间坦言:当时在美国,除了大使李肇星,几乎没人知道她是毛主席的后人

人生录
2026-10-03 13:52:23
安世半导体被荷兰强行接管一年后,将晶圆供应和封测全都搬到印度,闻泰科技超300亿的收购资金“打水漂”了吗?

安世半导体被荷兰强行接管一年后,将晶圆供应和封测全都搬到印度,闻泰科技超300亿的收购资金“打水漂”了吗?

逍遥漠
2026-10-03 12:45:25
东航:旅客欧某某相关行为涉嫌扰乱民用航空器内秩序,严重侵害公司员工人格尊严和履职权益,公司已正式向公安机关报案

东航:旅客欧某某相关行为涉嫌扰乱民用航空器内秩序,严重侵害公司员工人格尊严和履职权益,公司已正式向公安机关报案

环球网资讯
2026-10-03 18:25:37
上将是终身军衔,上将退休后仍然能穿上将制服

上将是终身军衔,上将退休后仍然能穿上将制服

袁老师说历史
2026-10-03 15:47:50
500万放余额宝一天的收益冲上热搜 网友:500万也没法躺平

500万放余额宝一天的收益冲上热搜 网友:500万也没法躺平

快科技
2026-10-02 08:58:06
外媒:发型图未经同意被P在飞机上,球星哈兰德起诉挪威航空

外媒:发型图未经同意被P在飞机上,球星哈兰德起诉挪威航空

环球网资讯
2026-10-02 16:56:10
54岁医院副院长在家中发生意外去世,事发当天其工作到凌晨4点

54岁医院副院长在家中发生意外去世,事发当天其工作到凌晨4点

极目新闻
2026-10-03 12:21:12
突然,大跳水!美国、法国、德国、英国、意大利、日本、加拿大,集体行动!

突然,大跳水!美国、法国、德国、英国、意大利、日本、加拿大,集体行动!

证券时报
2026-10-03 10:26:04
2026-10-03 20:23:01
未尽研究 incentive-icons
未尽研究
新能源、人工智能、合成生物、地缘X
522文章数 66关注度
往期回顾 全部

科技要闻

英伟达盘中创历史新高,市值逼近6万亿美元

头条要闻

美国女囚死刑执行到打呼噜 曾有7人没被找到静脉活命

头条要闻

美国女囚死刑执行到打呼噜 曾有7人没被找到静脉活命

体育要闻

这个讨论了一夏天的问题,马刺有答案了吗

娱乐要闻

马思纯一家爬山祈福!素颜出镜笑容甜

财经要闻

4亿台电视挂墙落灰 为何没人愿意开了?

汽车要闻

方程豹9月热销破4万 首款皮卡鲨鱼将于四季度上市

态度原创

数码
时尚
亲子
健康
本地

数码要闻

华为HarmonyOS 7.0小艺帮帮忙智能体调整,将不再支持后续新增设备

Chemena Kamali写给Chloé的又一封情书

亲子要闻

家里两只小神兽的快乐!就是每天的牛奶时光

刷酸祛痘,为什么有人翻车?

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

无障碍浏览 进入关怀版