网易首页 > 网易号 > 正文 申请入驻

当模型的"大脑"被拆开之后,各个碎片还能拼回原来的样子吗?

0
分享至


你有没有想过这样一个问题:如果你把一台复杂机器拆成一千个零件,每个零件单独测试都正常,那把它们装回去,这台机器就一定正常工作吗?

这不是一个无聊的哲学问题。它正是威斯康星大学麦迪逊分校的研究团队在2026年这篇论文里追问的事。他们研究的对象,是现在AI可解释性领域最火的工具之一:稀疏自编码器。

**稀疏自编码器**:一种神经网络工具,能把大语言模型内部复杂纠缠的激活信号,拆解成一组组稀疏、相对独立、人类能看懂的"特征",比如某个特征专门对应"说法语",另一个专门对应"数字比较"。

这玩意儿这几年火到什么程度?几乎所有想研究大模型内部到底在想什么的团队,都会用它来给模型activations做"解剖"。拆出来的每个特征看起来都很整洁,你可以给它贴标签、画热力图、写论文说"我们发现了负责某种行为的神经回路"。问题是,这些被拆开的特征,加在一起,真的等于模型的整体行为吗?

这篇论文的答案是:不一定,而且往往不是。

**核心的矛盾在哪**

稀疏自编码器的解码过程在数学上是线性的,这意味着从数学角度看,几个特征的贡献确实可以直接相加。但模型真正做决策的地方,不是在这个解码层,而是在后面还要经过很多层神经网络的计算。这些后续计算完全可以是非线性的,特征之间完全可能相互增强、相互抵消、甚至相互依赖。

打个比方。你有一个菜谱,上面写着"糖3克会让甜度增加1分,盐2克会让咸度增加1分",这是线性的、可加的描述。但如果你把糖和盐同时放进去,让它们经过烹饪这道"非线性"的工序,最后尝到的味道可能完全不是简单的"甜度加1咸度加1",可能产生出一种全新的、意想不到的鲜味,也可能互相抵消变得寡淡。稀疏自编码器给你的,正是那份"单独测试"的菜谱数据,但模型真正的行为,是经过完整烹饪之后的味道。

如果不去验证这件事,会发生什么?所有基于SAE特征拼出来的"电路图"、"联合解释"、"多特征干预方案",都可能建立在一个脆弱的假设上:特征效果可以简单叠加。而这篇论文想做的,就是把这个假设摆到桌面上,用严格的实验手段去检验它到底成不成立。

怎么测一个特征的效果是不是"可加"的

研究者设计了一个挺巧妙的实验框架。对每一个输入的句子,他们先找出激活程度最高的16个SAE特征,这些特征被认为是和当前这句话最相关的"解释候选"。

然后他们做的事情,有点像拆家具:保留其中一部分特征的贡献,把另一部分特征的贡献从模型激活里抹掉,其余所有内容原封不动。这样一来,哪些特征在、哪些不在,就成了一个可以自由组合的"子集"问题。对于16个特征,理论上一共有2的16次方种组合方式,每种组合都对应模型最后输出的某个具体行为分数,比如预测下一个词的对数概率。

**SAE加性残差**:论文提出的核心度量指标,缩写为SAR,用来衡量"只看单个特征效果"这件事,能解释掉模型整体行为变化的多大比例,剩下解释不了的部分就是残差。

如果一个特征子集的整体效果,总能被"每个特征单独的效果加起来"完美预测,那SAR就是0,说明这组特征是完全可加的。如果不能,SAR就会是正数,数值越大,说明这些特征之间的相互作用越强,单独看每个特征是完全不够的。

研究者没有止步于一阶(只看单个特征),他们还往上加了一层,看成对特征(两个特征放一起的交互效果)能不能把剩下的残差进一步解释掉。于是就有了一个关键的派生指标:成对项能挽回多少残差的比例,论文里叫做ρ2。这个数字如果接近1,说明残差大部分来自特征两两之间的互动,不需要更复杂的三阶、四阶交互;如果很低,说明残差来自更深层、更复杂的交互方式。

这个度量在数学上到底靠不靠谱

这里有一个让我觉得挺扎实的地方。研究者没有满足于"设计一个听起来合理的指标",而是证明了一个定理:在特征子集独立随机抽样的前提下,这个SAR残差,恰好精确等于某个阶数以上所有交互项的能量总和,用一个专门的数学工具(类似傅里叶分解里的沃尔什基)可以把这个关系严格推导出来。

这意味着什么?意味着SAR不是一个拍脑袋设计的启发式分数,它背后站着一套可以完全写清楚的数学结构。更进一步,论文还证明了SAR能给出一个理论上限:如果你用某个阶数以下的模型去预测"哪个特征组合效果更好、哪个更差"的排序,排序出错的概率是有严格上界的,这个上界就是SAR本身。换句话说,SAR小,不仅意味着数值拟合得好,还直接意味着你用这个简化模型去做决策排序时,犯错的概率也低。这对后续想用SAE特征做"选哪个方向去干预模型"这类实际应用的人来说,是个很有用的保证。

学出来的坐标系,真的比随机坐标系更"可加"吗

这是整篇论文我觉得设计得最聪明的一个对照实验。

单纯说"SAE特征不完全可加"其实不算一个特别有冲击力的结论,因为你可能会反驳:会不会任何一种坐标系描述同一片激活空间,残差都差不多?也就是说,不可加性可能根本不是SAE学出来的那套坐标系的锅,而是模型后续计算本身就是非线性的,不管你怎么切分都一样。

研究者想到了一个很干净的办法来排除这种可能性:拿同一片被选中的激活子空间,做一次保持总和不变的随机旋转,换一套坐标系,再测一遍SAR。

**正交旋转**:一种数学变换,可以把一组坐标轴整体转个角度,但保持向量长度和总和不变,相当于换一个观察角度去描述同一个空间,但空间本身没变。

这就好比你有一箱总价值不变的现金,原本是按面值100、50、20、10分开摆放的,现在你把它们混在一起按别的某种随机规则重新分组,总金额没变,但每一组摆放的方式变了。如果不做这个对照,你永远无法分辨:是SAE的分类方式本身比较合理,还是随便怎么分都这么乱。

实验结果很干净:在三个主力模型(Gemma-3 4B、Mistral-7B、Llama-3.1 8B)横跨六种行为任务,一共18组对照实验里,SAE学出来的坐标系的一阶残差,全部低于随机旋转坐标系。差距还不小,比如Mistral模型上做主谓一致任务时,SAE的残差中位数是0.0218,随机旋转坐标系的残差中位数是0.1196,差了5倍多。

这说明一件事:SAE学到的特征分解方式,确实比随便换一套坐标系更接近"可加"的理想状态,这不是空间本身决定的,是学习算法学出来的分解方式本身带来的好处。

但这里有个很重要的转折,研究者没有停在"SAE更好"这个结论上沾沾自喜,他们紧接着指出:即便SAE比随机旋转好,它依然远远没有做到完全可加。换句话说,SAE赢了对照组,但没有及格线上的满分。

加上"两两配对"之后,预测能力提升多少

既然单独看每个特征效果不够,那加上特征两两之间的交互项,能不能把缺口补上?

论文给出的答案相当肯定。在全部18组模型和行为的组合里,加入成对交互项之后,用来预测"哪个特征组合效果更好"的排序能力(他们用了一个叫Spearman秩相关的统计量来衡量,数值从0.9782提升到了0.9959),行为加权的排序错误率也明显下降,从平均0.0272降到了0.0051,选择出"最优特征组合"时犯的错误(选择遗憾)也在每一组实验里都变小了。

这还不是最有说服力的部分。研究者还设计了一个"参数量匹配"的对照:保留同样数量的参数,但不是用两两配对的交互项,而是随机挑选等量的三阶交互项(也就是三个特征一起互动的那种更复杂的组合)去填充模型。结果发现,有目的地加入成对交互项的模型,表现始终优于随机挑选高阶交互项的对照模型。

这意味着成对交互不是"参数多了自然就准"这种凑数效果,而是确实抓住了模型行为里真实存在、且相对集中在"两两互动"这个层级上的结构。打个比方,这就像你发现一道菜的味道偏差,不是因为少放了某种特定调料的随机组合,而是糖和盐这两种味道本身就存在某种固定的相互作用规律,抓住这个规律,比瞎试配方管用得多。

把这套方法用到"操控模型行为"的场景里

前面的实验都是在分析模型本来就有的激活信号,研究者还做了一个更贴近实际应用的测试:用在**特征导向干预**上。

**特征导向干预**:也叫steering,指的是在模型推理过程中,人为地往某一层的激活里加入某个方向的向量,目的是让模型朝着某种期望的行为方向偏移,比如让回答更谨慎,或者更倾向某个领域的知识。

研究者用了16个已经公开发表、专门用来提升模型在MMLU-Pro这个1400道题的综合知识测试上表现的导向特征。他们测试了1024种不同的特征组合方式,用同样的一阶和成对两种模型去预测这些组合的最终测试准确率表现。

结果相当显著:排序预测能力(秩相关系数)从0.5874一口气提升到0.7790,排序错误率从0.1444降到0.0606,残差估计从0.6424降到了0.3891。

这个结果的意义在于,它把"特征不完全可加"这个发现,从一个纯分析性质的观察,变成了一个有实际后果的问题。如果你真的拿着一堆单独测试过的导向特征去组合使用,指望它们的效果简单叠加,很可能会得到一个和预期相去甚远的结果,而加上成对交互的建模,能明显缩小这个偏差。

重建质量好,不代表特征行为就更可加

论文最后还做了一个容易被忽略但很扎实的对照:重建质量和行为可加性,到底是不是同一件事?

**重建保真度**:论文里用FVUx来衡量,指的是SAE把原始激活压缩再解压之后,和原始信号相比丢失了多少信息,数值越低代表重建得越精确。

研究者在Gemma-3 1B的同一个位置,比较了六个不同配置的SAE(字典大小和稀疏程度各不相同),发现一个挺反直觉的结果:SAR和行为预测出错的概率(符号错误率、选择遗憾)呈正相关,但重建质量FVUx和这些行为指标之间几乎没什么关系,甚至在某些情况下是负相关的。

这说明重建得精不精确,和特征组合起来行为预不预测得准,根本不是同一回事。一个SAE可能在"把激活还原回去"这件事上做得很漂亮,但它拆出来的那些特征,组合起来预测模型实际行为时,照样会出大偏差。这对那些单纯追求重建误差最小化来评判SAE好坏的做法,是个值得警惕的提醒。

Q&A

Q1:SAE加性残差(SAR)是什么?

A:这是论文提出的核心指标,用来衡量只看单个SAE特征的效果,能解释掉模型整体行为变化的多大比例,数值越高说明特征之间互动越强,单独叠加越不靠谱。

Q2:学出来的SAE坐标系真的比随机坐标系更可加吗?

A:是的。论文用保持总和不变的随机旋转做对照实验,发现在18组模型和行为组合里,SAE坐标系的一阶残差全部低于随机旋转坐标系,但依然没有做到完全可加。

Q3:这个研究对实际用SAE做模型行为干预有什么影响?

A:在导向特征组合实验里,加入成对交互建模后,排序预测能力从0.5874提升到0.7790,说明简单叠加单独测试过的导向特征效果并不可靠,需要考虑特征间的交互作用。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
法院批准交易,谷歌1000万美元收购精神航空数据过关

法院批准交易,谷歌1000万美元收购精神航空数据过关

IT之家
2026-11-20 17:47:09
冷知识!全世界最不该统一的国家,居然成了世界第四人口大国!

冷知识!全世界最不该统一的国家,居然成了世界第四人口大国!

墨策史
2026-11-12 01:05:03
小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

西府赵王爷
2025-03-22 15:47:18
杨瀚森出战12分钟!开拓者124-114击败雄鹿!利拉德爆发创纪录

杨瀚森出战12分钟!开拓者124-114击败雄鹿!利拉德爆发创纪录

篮球大视野
2026-11-20 12:25:35
面对铺天盖地的指控,高市早苗一气之下,在网上说了句中国的名言

面对铺天盖地的指控,高市早苗一气之下,在网上说了句中国的名言

梦在深巷aqa
2026-08-27 07:53:27
娃哈哈董事长许思敏被曝已正式辞职

娃哈哈董事长许思敏被曝已正式辞职

财视传播
2026-11-20 14:07:02
原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

原来梁文锋很早就开始做准备了:DeepSeek成功避开英伟达垄断风险

互联鱼
2026-11-21 00:10:08
06年男子打工借宿同学家,被同学母亲一眼看中,意外改变了他一生

06年男子打工借宿同学家,被同学母亲一眼看中,意外改变了他一生

小月文史
2025-03-11 18:44:56
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
英伟达被查!涉嫌「干预芯片走私调查」

英伟达被查!涉嫌「干预芯片走私调查」

云头条
2026-11-21 00:40:55
-9℃!江苏最新气候预测

-9℃!江苏最新气候预测

句容发布
2026-11-20 17:17:54
港姐季军吴文忻去世,终年51岁,生前已办追思会,被骗走毕生积蓄

港姐季军吴文忻去世,终年51岁,生前已办追思会,被骗走毕生积蓄

乡野小珥
2026-11-20 11:20:26
新爆料:赵丽颖携友人现身惹哭网友,冯绍峰发文:她究竟是爱我,还是仅想控制我?

新爆料:赵丽颖携友人现身惹哭网友,冯绍峰发文:她究竟是爱我,还是仅想控制我?

默默有话说
2026-11-20 12:15:25
插旗不等于占领!乌军司令宣布好消息:俄军的进攻已经大幅放缓

插旗不等于占领!乌军司令宣布好消息:俄军的进攻已经大幅放缓

子桑说
2026-11-18 10:44:18
450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

450亿援乌贷款,还款条件写着“等俄罗斯赔钱”:四国当场掀桌,默茨翻脸了

浯江孤舟
2026-11-20 15:21:39
大量“洋垃圾”旋屏本流入闲鱼!十代i5才卖699元,轻至940克

大量“洋垃圾”旋屏本流入闲鱼!十代i5才卖699元,轻至940克

科技拌饭
2026-11-18 17:35:09
给脸不要脸!三次警告全当耳旁风,中国直接清空展馆霸气走人

给脸不要脸!三次警告全当耳旁风,中国直接清空展馆霸气走人

小莜读史
2026-09-05 18:55:01
三打刻赤,为何铁路桥难以摧垮?

三打刻赤,为何铁路桥难以摧垮?

书生论剑
2026-11-20 07:05:00
武汉商学院原党委书记刘志辉被“双开”

武汉商学院原党委书记刘志辉被“双开”

界面新闻
2026-11-20 14:35:34
OpenAI自曝递归自我提升!智能体指数级爆发,人类已成瓶颈

OpenAI自曝递归自我提升!智能体指数级爆发,人类已成瓶颈

新智元
2026-11-19 22:15:20
2026-11-21 03:51:00
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10651文章数 573关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
本地
房产
公开课
军事航空

《GTA6》PS5版被曝频繁闪退 液金散热或是元凶

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版