网易首页 > 网易号 > 正文 申请入驻

稀疏自编码器到底要喂多少数据才够?答案可能颠覆你的直觉

0
分享至


你有没有遇到过这种情况:攒钱买了顶配电脑,结果发现日常用的软件,其实中配机器就能流畅运行,那些多花的钱,买的是心理安慰,而不是真实需求。

机器学习圈子里正在发生一件类似的事。

训练稀疏自编码器,这个听起来很专业的东西,大家默认的做法是砸几亿到几十亿个数据token进去,越多越好,仿佛数据量就是正义。但华盛顿大学和IBM的研究者们做了一件挺反常识的事,他们认真测试了一下,这些海量数据,真的都有必要吗?结果发现,答案是"看你要干什么",这个回答本身就很有意思。

先搞懂稀疏自编码器在解决什么问题

稀疏自编码器

SAE,全称Sparse Autoencoder:一种神经网络结构,能把语言模型内部复杂纠缠的激活信号,拆解成一组稀疏的、相对独立的特征

要理解这篇论文,得先明白为什么需要SAE。

大语言模型内部有个麻烦事,叫多义性。一个神经元可能同时对好几个毫不相关的概念有反应,比如它既对"猫"敏感,又对"法律文件"敏感,还对某种数学符号有反应。这就像公司里一个身兼数职的员工,你永远搞不清楚他现在到底在忙哪件事,想单独评估他某项工作的表现,根本无从下手。

SAE的出现就是想解决这个问题。它学一个编码器,把模型内部那团纠缠的激活信号,映射到一个更大、但更稀疏的特征空间里,每个特征尽量只对应一个清晰的概念。再学一个解码器,把这些稀疏特征还原回原始的激活信号。如果做得好,你就能像拆积木一样,看清模型内部到底在表达什么。

这套方法现在已经被用到GPT-4、Claude 3这类前沿模型上了,训练规模也跟着水涨船高,从几亿到几十亿个激活token不等。但没人真正系统地问过一个基础问题:这么多数据,真的都用得上吗?

这篇论文做的,就是把这个被忽略的问题,认认真真测了一遍。

两种"收敛",一个是假象,一个是真相

研究者提出了一个关键的区分,这个区分是整篇论文的骨架。

功能收敛和特征收敛

功能收敛:SAE在重建误差、下游任务表现等各项指标上,是否已经接近用海量数据训练出的"参考答案"

特征收敛:SAE学到的具体特征,是否和参考答案里的特征能一一对应上,即便指标表现相近,学到的"东西"是不是同一个

这个区分听起来有点抽象,打个比方。两个学生参加同一场考试,都考了95分,你会说他们"学得一样好"。但如果仔细看答题过程,一个是真正理解了知识点,另一个是蒙对了选择题、押中了大题方向,实际掌握的内容完全不是一回事。分数相同,不代表脑子里装的是同一套知识体系。

SAE的功能指标,比如重建损失、稀疏探测准确率,就像那张卷子的总分。而特征层面的一致性,才是真正检验这两个SAE是否"学到了同一套概念"的东西。

研究者为什么要做这个区分?因为SAE存在的根本意义,不只是把激活信号重建得漂亮,而是希望挖出来的每一个特征,都是真实、可复现的"概念单元",可以被反复拿来做科学分析。如果今天训练出的某个特征,换一批数据训练就消失了或者变了样,那这个特征到底算不算真实存在?这事关SAE作为研究工具的可信度。

为了让这个问题不只是靠实验直觉,研究者先搭了一套理论框架。

理论先行:数据少了,特征还能对上吗

论文给出了一个定理,大致意思是:如果两次训练用的架构、预处理、损失函数完全一致,并且训练数据量都足够大、优化过程都收敛到位,同时这个问题本身有"可识别性"——也就是说最优解是唯一确定的、和其他可能的解有明显区分度——那么无论你用全量数据训练,还是用一个随机抽样的子集训练,最终学到的特征系统,在数学意义上会趋于一致。

这个定理本身不算惊天动地,更像是把直觉严格化了。但它真正有价值的地方在于一个推论:即便编码器和解码器两边各自算出来的"最佳匹配"是同一个参考特征,这也不代表这两个特征方向真的高度相似。换句话说,两个系统"选中了同一个对象",和这两个系统"长得一模一样",是两件不同的事。

这就好比两家猎头公司,都给你推荐了"最适合这个岗位的人",巧的是推荐的是同一个人。但这只说明两家公司的筛选标准都指向了这个人,不代表这两家公司对"什么是好候选人"的理解完全一致。如果换一个岗位,他们可能就会分道扬镳,推荐出完全不同的人选。

Hungarian匹配

匈牙利算法,一种用来求解最优一对一分配问题的算法,这里用来把两个SAE各自学到的特征,按余弦相似度两两配对找出最佳对应关系

有了这套理论打底,研究者就可以放心去做实验了,他们知道自己要观察的是两件不同的事:功能表现趋同的速度,和特征本身趋同的速度。

实验怎么做的

研究者选了三个语言模型:Gemma-2-2B、Pythia-160M、Qwen3-8B,外加四种SAE架构:BatchTopK、Matryoshka BatchTopK、JumpReLU,还有最经典的ReLU版本。

训练数据量从500万token一路拉到5亿token作为参考基准,中间设了几个档位,只保留每次激活流中1%、5%、10%或100%的数据喂给模型。

这里有个细节值得一提,他们用的是在线训练设置,文本流经一个冻结的大模型,激活信号被缓冲、抽样、训练,用完就扔,不会重复使用。这保证了数据量的减少,确实只是"看到的数据少了",而不是别的什么因素在起作用。

评估指标用的是SAEBench,这是目前业内比较公认的SAE评测基准,涵盖重建效果、稀疏探测、特征吸收、自动化可解释性、虚假相关性剔除、目标探针扰动、RAVEL解耦测试、遗忘能力等八项指标。

功能指标:小数据量早早就追上了

先说结论:重建效果,基本上5000万token就能摸到5亿token参考答案的边,再往上加数据,收益非常有限。

以Gemma-2-2B上一个16k潜在维度的BatchTopK SAE为例,500万token时的损失恢复分数是0.979,到了2500万和5000万,分别是0.985和0.985,而用满5亿token训练出来的参考模型是0.987。差距已经小到可以忽略。

这事其实不算特别意外。重建任务本质上是在学"激活信号的大致分布长什么样",这种统计规律,往往用不了太多样本就能摸清楚,就像你想知道一个城市的平均气温,采样一个月的数据和采样十年的数据,得出的均值其实差不了太多,前提是你抽样方式没问题。

稀疏探测

Sparse Probing,检验某个概念是否能被单个或少数几个SAE特征准确识别出来,衡量概念是否被"定位"到了具体的特征单元上

稀疏探测的表现也类似,各个数据量档位之间的差距不算大,有些情况下小数据量甚至反超了大数据量的参考模型。特征吸收这个指标更有意思,衡量的是本该被某个主特征捕捉的概念,有没有被其他特征"偷走"一部分。结果发现,数据量多少和这个问题的严重程度,并没有稳定的正相关关系,反而小数据量训练出来的SAE,经常在这项上表现更好。

自动化可解释性

AutoInterp,让另一个语言模型根据某个SAE特征被激活的样本,猜测这个特征代表什么语义,再用这个猜测去预测该特征在新样本上是否会激活,以此衡量特征的语义清晰度

这个指标是整篇论文里波动最大的一个,它和数据量之间几乎没有单调关系,有时候数据量越多分数反而越低。这说明一个特征的语义是否清晰,和这个特征是否"重建得准",压根不是一回事。

其他几个指标,像是虚假相关性剔除、目标探针扰动、RAVEL解耦,表现也都呈现出类似的非单调、配置敏感的特点,遗忘能力这个指标的波动尤其剧烈。研究者专门做了配对统计检验,结果进一步印证了这种"功能指标对数据量不敏感"的整体趋势。

这里要提一个很实际的信号:数据选择方式,比单纯的数据量更关键

研究者还测了另一个变量,同样的数据预算,挑不同的数据子集,结果会不会不一样。他们对比了两种抽样策略。

随机抽样和最远点抽样

随机抽样,RS:不考虑激活值大小,随机保留一部分激活信号,理论上会保持原始数据分布的样貌

最远点抽样,FPS:每次优先挑选和已选集合距离最远的激活信号,主动追求几何多样性

结果很清楚:随机抽样更擅长保住重建效果和那些涉及"干预"的指标,比如虚假相关性剔除、目标探针扰动、RAVEL解耦,这些指标下随机抽样普遍表现更好,有时甚至超过了500万token全量参考模型。

而最远点抽样在自动化可解释性上几乎是碾压式的胜利,在所有架构、模型、预算的组合里,有79%的情况下FPS的AutoInterp分数都比随机抽样高。

这背后的原因,研究者用L2范数分布做了验证。随机抽样选出来的子集,激活值的分布和原始数据流几乎完全一致,KL散度低到0.0003比特以下,几乎可以认为是"无偏采样"。而最远点抽样会系统性地偏向高范数激活,子集越小,这种偏移越明显,5万token时的平均范数比原始分布高出近29%。

这个现象其实不难理解。打个比方,一家公司招聘时如果追求团队多样性,优先录用背景差异大的候选人,确实能让团队视角更丰富,讨论问题时更容易碰撞出有意思的想法,这对应着AutoInterp分数高,特征的语义解释更清楚。但如果你的目标是准确复刻整个行业的平均薪资水平,那种刻意追求差异化的招聘策略反而会让统计结果偏离真实情况,因为你系统性地排除了"普通"样本,这对应重建效果的下降。要哪头,取决于你到底想干什么。

特征层面:指标达标,不代表学到了同一个东西

重建效果追上了,各项功能指标也大差不差了,是不是说明小数据量的SAE和大数据量的SAE已经"一样好"了?

研究者接下来做的分析,给出了一个相当重要的否定回答。

他们用Hungarian匹配,把小数据量SAE的编码器特征和解码器特征,分别和500万token参考模型的特征做一一配对,然后设定一个阈值τ=0.7,只有编码器和解码器两边的余弦相似度都超过这个阈值,才算真正"复现"了同一个特征。

结果相当扎心。对Gemma-2-2B上的BatchTopK SAE,500万token时,编码器和解码器各自独立计算出的最佳匹配,有66.6%的特征选中了同一个参考特征,这个数字看起来还不错。但如果用严格的τ=0.7标准去检验,真正复现出来的特征,只有2.2%。

这两个数字放在一起,揭示的正是前面理论部分提到的那个推论:一对一匹配能对上,不代表特征本身足够相似。两者差距巨大,66.6%对2.2%,说明绝大多数被"匹配上"的特征,其实只是方向大致接近,远没有达到可以被认为是"同一个概念"的程度。

好消息是,这个数字会随着数据量增加而稳步提升。50万token时,编码器解码器一致匹配率升到83.47%,严格复现率也从2.2%涨到了28.86%。这个趋势在ReLU架构、在其他两个语言模型上都一致存在。

研究者还找了几个具体案例做定性分析。在低相似度区间,500万token SAE学到的一个特征被描述为"与average一词及周围数学/统计表达相关",而参考模型里被匹配上的对应特征却是"数学格式、LaTeX代码、变量下标等表达"。两者听起来有点沾边,但显然不是同一个东西。而在高相似度区间,两边的特征描述几乎一字不差,都是"比较级形容词和副词,常后接than"。这种定性案例,直观地印证了量化结果:弱匹配对应着语义上说不清道不明的相似,强匹配才是真正意义上的"同一个特征被复现出来了"。

这里就触及了整篇论文最核心的判断:功能相似,不等于特征可复现

这个结论听起来有点像一句正确的废话,但它其实指出了一个长期被忽视的风险。如果你只看重建误差或者下游任务指标,很容易误以为自己用更少的数据,训练出了一个"差不多"的SAE。但如果你打算把这个SAE里的某个特征,当作一个科学研究对象去深挖,去讨论"这个特征代表了模型对某个概念的理解",那你就得格外小心,因为这个特征,换一批训练数据可能根本就不复现。

这就像两份简历,工作经历栏写的内容几乎一样,但深入面谈后才发现,一个人的"项目管理经验"是真刀真枪带团队打磨出来的,另一个人的"项目管理经验"只是挂了个名,实际没参与多少决策。表面信息吻合,不代表内核一致。如果招聘时只看简历关键词匹配,不做深入面谈,就可能把后者当成前者来用,这个代价在正式上岗后才会暴露。

这篇论文想传达的,正是这种"别只看表面指标"的提醒。

写在后面

读完这篇论文,我最大的触动是那个2.2%的数字。

一个看起来"功能上没问题"的SAE,拿去做特征级别的科学分析时,真正能站得住脚的特征,可能连3%都不到。这个数字如果放在医学检测场景里,大概相当于告诉你"这个化验结果大体正常",但如果深究到细胞层面,真正符合预期的样本只有百分之二点几,剩下的绝大多数,看起来正常,细究起来却经不起推敲。

另一个让我反复琢磨的地方,是那个"最远点抽样提升AutoInterp但损害重建"的发现。这其实暗示了一个更普遍的道理:任何追求"多样性"的数据策略,本质上都是在用牺牲代表性来换取覆盖面。这事不只发生在SAE训练里,机器学习里的主动学习、数据增强,甚至人类社会里的"刻意追求团队多元化",可能都面临类似的取舍,多样性带来视角上的丰富,但也会让你偏离真实世界的分布。这篇论文算是用一个很具体的实验场景,把这个权衡量化了出来。

还有一点论文里没有明说,但我觉得值得多问一句:如果连随机子采样都会导致特征复现率大幅下降,那SAE训练过程里的随机种子、初始化方式、优化器选择,会不会带来更大的不确定性?论文引用的另一项研究已经发现,同一批数据、不同随机种子训练出的SAE,学到的特征也会有相当程度的不一致。这两个发现摆在一起,会不会意味着SAE这个工具本身,在"特征可复现性"这件事上,还有相当长的路要走?

这个问题,这篇论文没有回答,但它把问题问得足够清楚了。

Q&A

Q1:稀疏自编码器SAE的训练数据量是不是越大越好?

A:不一定。论文发现重建效果和多数功能指标在5000万token左右就能接近5亿token的参考水平,继续增加数据带来的收益很有限,但特征层面的一对一复现率会持续随数据量提升而改善。

Q2:随机抽样和最远点抽样哪个更适合训练SAE?

A:看目标。随机抽样更擅长保住重建效果和虚假相关性剔除、目标探针扰动等干预类指标,最远点抽样则在79%的对比中提升了自动化可解释性分数,但会让训练数据偏向高范数激活,损害重建表现。

Q3:为什么SAE功能指标表现好,特征却不一定可复现?

A:因为编码器和解码器的一对一匹配能选中同一个参考特征,不代表这两个特征方向真的高度相似。论文实验显示,匹配一致率能到66.6%,但严格相似度阈值下真正复现的特征只有2.2%。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

今年大概是初中最后的辉煌了,明年起,初中生将越来越少。

小羽叨叨叨
2026-11-20 14:53:15
2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

2025辽宁死亡第一,这个不敢造谣,任何人上网都能查

北京作家编剧肥猪满圈
2026-11-18 17:23:20
1.9亿美元!梵高画作《盛开的栗树》创纪录

1.9亿美元!梵高画作《盛开的栗树》创纪录

澎湃新闻
2026-11-20 13:09:03
流体力学突破速度极限:天才工程师的反直觉设计

流体力学突破速度极限:天才工程师的反直觉设计

中国物理学会期刊网
2026-11-19 10:12:16
五婚五离,“毁”了半个娱圈美人的风流导演,如今69岁终跌落神坛

五婚五离,“毁”了半个娱圈美人的风流导演,如今69岁终跌落神坛

蜉蝣说
2026-11-12 08:43:14
“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

“权贵们的新套路!”北理工裴轶的来时路被扒:和协和4+4竟是一个套路

妍妍教育日记
2026-10-05 10:10:15
中产“相亲神器”,被这个中国小城干成白菜价

中产“相亲神器”,被这个中国小城干成白菜价

金错刀
2026-11-20 15:03:50
波西·杰克逊第三季开播前,第二季这些关键剧情还记得吗

波西·杰克逊第三季开播前,第二季这些关键剧情还记得吗

时光慢旅人
2026-11-20 08:01:40
许昕:本以为 36 岁儿女双全已够幸福,没想到,现在幸福又升级了

许昕:本以为 36 岁儿女双全已够幸福,没想到,现在幸福又升级了

凡知
2026-11-21 11:06:13
特朗普再夸中俄美元首会晤 盛赞中国干净又安全

特朗普再夸中俄美元首会晤 盛赞中国干净又安全

看看新闻Knews
2026-11-21 10:43:31
高市早苗重申:要继续援助乌克兰 推进对俄制裁

高市早苗重申:要继续援助乌克兰 推进对俄制裁

闪电新闻
2026-11-21 08:19:38
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
华裔女子野外遭15岁男孩侵害,过程持续一小时,案情细节让人目瞪口呆

华裔女子野外遭15岁男孩侵害,过程持续一小时,案情细节让人目瞪口呆

夜夜思奇语
2026-11-19 14:02:49
裸粉瑜伽套装,丰满圆润熟女穿出轻熟感

裸粉瑜伽套装,丰满圆润熟女穿出轻熟感

樱桃小丸子1987
2026-11-01 19:36:30
5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

5连胜西部第四!送走三核1年完成重建,三少太像麦丹+小卡+塔图姆

阿成嘞
2026-11-20 14:54:29
上海房价,反转了?

上海房价,反转了?

睿见投资
2026-11-21 09:30:19
各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

各国卖给咱们的油价,伊朗每吨4700,巴西5080,美国5200,俄罗斯4800,伊拉克4900,加拿大5150,利比亚4880,墨西哥4980

回京历史梦
2026-11-07 09:11:06
中国为什么会失去苏岩礁?只因外交战线上出了被韩国收买的间谍

中国为什么会失去苏岩礁?只因外交战线上出了被韩国收买的间谍

阿胡
2025-05-04 12:21:11
一位民生专家说:企业退休人员平均三千到三千五百元,机关事业单位平均五千到六千元,差距摆在那里

一位民生专家说:企业退休人员平均三千到三千五百元,机关事业单位平均五千到六千元,差距摆在那里

扶苏聊历史
2026-11-12 15:48:06
内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

内蒙古牧民捡到小狗当牧羊犬9年,专家检查后脸色大变:这就不是狗

红豆讲堂
2025-05-19 17:03:14
2026-11-21 11:56:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10651文章数 573关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
时尚
亲子
数码
公开课

艺术要闻

2026第七届民族美术作品展 油画选二

运动风,漫不经心地穿才“松弛”!

亲子要闻

幼儿园不睡午觉还理直气壮?

数码要闻

高驰VERTIX 4运动手表曝光:1.47英寸AMOLED屏幕

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版