网易首页 > 网易号 > 正文 申请入驻

当大模型的大脑被拆成许多小专家,第一次看清了"个性化"住在哪里

0
分享至


你有没有想过一个很怪的问题:一个大语言模型被调教得越来越懂你的脾气,说话风格越来越贴合你的喜好,可这个"懂你"的能力,到底藏在模型的哪个角落?

这个问题乍听起来有点无聊,像是在问"记忆住在大脑的哪个细胞里"。但如果你真去研究过神经网络内部,就会发现这事远没有听起来那么简单。

目前主流的大模型个性化方法,几乎都建立在稠密模型上。

稠密模型:指模型的每一层神经元都会参与处理每一个输入,不存在"分工"的结构,是目前最常见的大模型架构

问题就出在这里。稠密模型里的神经元是多义的,一个神经元可能同时编码着"正式语气""科学术语""反驳态度"十几种毫不相关的概念,它们挤在同一个数字里,互相纠缠。你想单独调出"让语气更礼貌"这一个功能,却发现牵一发动全身,因为负责礼貌的那个神经元,可能同时还负责着另外八件完全不相关的事。

这就好比你想在一个巨大的仓库里找出"所有蓝色的衣服",结果仓库管理员告诉你,这里没有按颜色分区,每一个箱子里都混装着衣服、零食、工具和书,蓝色衣服可能散落在任何一个箱子的任何一个角落。如果仓库本来就按类别分好了区,你一眼就能找到蓝色衣服在哪一排;但现在没有分区,你只能把所有箱子都翻一遍,还未必能把蓝色衣服和蓝色毛巾分开。稠密模型的神经元,就是那个没有分区的仓库。

这篇来自哥本哈根大学的论文,决定换一种仓库——混合专家模型。

核心问题:个性化住在哪里,凭什么是MoE

混合专家模型(MoE):Mixture-of-Experts的缩写,它把神经网络中原本一整块的前馈层拆成许多个"专家"小模块,每次只有一小部分专家被激活去处理当前的词,而不是全部神经元一起上

这种设计原本是为了省算力的。你有7B参数的模型容量,但每次只真正用到1.3B的计算量,因为大部分专家都"休息"了。但论文作者发现了一件更有意思的事:当专家数量变多、每个专家变得更"窄"的时候,专家们会自然地朝着专业化的方向演化,一个专家可能专攻语法,另一个专攻事实性知识,彼此之间的概念纠缠变少了。这正是最近一些可解释性研究(比如Herbst等人2026年的工作)发现的现象:更宽、更稀疏的网络能降低多义性。

这就提出了一个很自然的问题:如果MoE模型的专家本来就比稠密模型的神经元"更专一",那是不是个性化这件事,也能被精确定位到某几个专家身上?

在这篇论文之前,MoE的专家专业化研究大多停留在语法、词性、语言种类这类浅层特征上(比如Jiang等人2024年发现Mixtral的路由和语法相关,Bandarkar等人发现了专门处理特定语言的专家)。还没有人问过:"个性化偏好"——比如用户想要的说话风格、知识背景水平、信息详尽程度——这种更抽象、更语义化的东西,是不是也能对应到具体的专家?

这篇论文选了三个开源MoE模型:OLMoE-1B-7B、Qwen3-30B-A3B、Mixtral-8x7B,在一个覆盖四大偏好维度(风格、背景知识、信息量、无害性)的大规模个性化数据集MULTIFACETED COLLECTION上做适配,然后用一种叫crosscoder的工具去"解剖"模型,看看个性化到底改写了哪些专家的行为。

两阶段训练:先教路由器认路,再教专家做事

MoE模型在预训练阶段有个机制叫负载均衡,它会强制把词均匀分配给各个专家,防止某几个专家被过度使用。这个机制在预训练时是好事,能让训练更稳定。但到了个性化微调阶段,这个机制反而成了绊脚石——它会阻止某些专家专门去学习"个性化"这件事,因为均衡机制一直在把任务打散、平摊给所有专家。

论文借鉴了Bai等人2025年关于MoE对齐的思路,设计了两阶段微调:

第一阶段只调路由器,冻结专家和其他参数,目的是让路由器学会把和个性化相关的词更多地分配给特定专家,先找出"谁该负责这件事"。

第二阶段只调被选中频率最高的那几个专家,路由器这时候反过来被冻结,专家专心把自己的专业能力打磨得更强。

这个设计像极了公司招新人培训的逻辑。如果你刚入职就让每个人同时学管理、学技术、学销售,大概率谁都学不精。更合理的做法是先做岗位分流,根据每个人的初步表现判断谁适合做什么,再针对性地培训那个岗位需要的技能。如果跳过第一步直接让所有专家一起学,个性化这个任务会被打散到几十个专家头上,每个专家分到的学习信号太稀薄,谁都学不到位——这正是论文里提到的,如果不做两阶段训练,专家很难真正专业化。

实验结果也验证了这个设计是对的:在Qwen3上,路由器调整就贡献了大部分的性能提升,而在Mixtral上,专家调整的贡献更大。这说明不同模型家族里,个性化这件事"卡"在哪个环节是不一样的,两阶段分开调的灵活性因此显得很重要。

Crosscoder:给两个模型的大脑做一次CT对比扫描

光靠路由频率统计还不够细,因为那只能告诉你"这个专家被用得多",不能告诉你"这个专家到底在处理什么概念"。为了真正看清个性化改写了什么,论文用了一种叫crosscoder的工具。

Crosscoder:一种基于稀疏自编码器的架构,它同时读入个性化模型和未个性化模型在同一层、同一个词上的激活值,学习一套共享的"潜在特征词典",每个特征(术语叫latent,潜在变量)都对应一个相对独立、可解释的概念

稀疏自编码器(SAE):一种神经网络结构,它把输入压缩再重建,同时强制大部分中间特征保持"沉默"(为零),只有少数特征真正被激活,这样每个激活的特征更容易对应一个清晰的含义

具体做法是:对同一个输入,分别记录个性化模型和未个性化(也就是原始基础)模型在某一层的激活值,然后训练crosscoder去用一套共享的特征空间同时重建这两份激活。如果某个特征对重建"个性化模型"的贡献远远大于对重建"基础模型"的贡献,那这个特征很可能就是个性化过程中新长出来的东西。

这个思路有点像给做过整容手术的人和他本人的旧照片做对比扫描。你不是直接去看整容后的脸哪里"好看",而是建立一套共同的面部特征坐标系,同时去描述新脸和旧脸,然后看哪些坐标点上新脸的权重明显超过旧脸——那些点,就是手术动过的地方。如果没有这套共同坐标系,你拿着两张照片分别单独分析,很难精确定位到底是鼻子变了还是下巴变了,因为两套独立的分析标准根本没法对齐比较。Crosscoder干的就是这件"对齐比较"的事。

论文用一个叫BatchTopK的训练技巧来保证稀疏性,并且设计了一个简单的打分公式:看每个特征在"个性化模型解码器"和"基础模型解码器"里的权重范数谁更大,范数差距越大(接近0.9以上),就越能说这个特征是个性化模型独有的。用这套标准,三个模型里分别筛出了157个、132个、111个这样的"个性化特征"——注意,这个数字占总特征数的比例不到0.25%,极其稀少。

这件事本身就很说明问题。如果个性化这么复杂的一种能力,最后被压缩进不到千分之三的特征里就能解释清楚,那说明MoE模型确实把这部分能力收敛得很紧凑,而不是弥散在整个网络里无法定位。

专家多义性实测:MoE真的更"专一"吗

光有理论假设不够,论文还做了实打实的对照实验,用一种叫k-sparse probing的方法去量化"多义性"到底差多少。

K-sparse probing:一种测量方法,只用激活差异最大的前k个神经元(或专家)去做二分类任务,看这几个神经元能不能准确区分两种不同的概念,k越小,说明概念被压缩得越集中

论文从MULTIFACETED COLLECTION里挑出20个具体的偏好子维度(比如"正式"vs"随意"),给每个模型收集约5万个词的正反例,然后测它的专家(或神经元)用最少几个"信号点"就能分辨这两种偏好。

结果非常清楚:在k=1的极端情况下(只用一个专家/神经元去做判断),MoE模型的分类准确率依然明显高于参数量相近的稠密模型,而且同一家族内差距更大(比如OLMoE对比OLMo,Qwen3对比Qwen2.5)。这说明即使只给你一个信号点,MoE的那个专家依然能相对干净地告诉你"这是正式还是随意",而稠密模型的那个神经元给出的信号要模糊得多。

这个结果换个方式理解会更直观:假设你在一个嘈杂的房间里,只允许问一个人一个问题来判断房间里讨论的是什么话题。如果这个房间本来就按话题分好了桌子(类似MoE的专家分工),你随便抓一个坐在"政治桌"的人问,十有八九能问出靠谱答案;但如果所有人混坐在一起各聊各的(类似稠密模型的神经元纠缠),你抓到的那个人可能同时在聊三件事,给你的答案自然就模糊。

个性化特征到底长什么样:来看几个真实案例

光说"MoE能定位个性化特征"还是太抽象,论文干脆用LLM当解释器,把每个筛出来的个性化特征拿去"审问":给它30个最能激活这个特征的例子,让解释器(用的是Llama-3.3-70B-Instruct)总结这个特征到底在检测什么概念,再用另一个LLM打分核实解释准不准。

举个论文里的真实例子:Qwen3-30B-A3B有一个编号48224的特征,专门在L25这一层被激活。解释器给出的描述是,这个特征检测的是和"目标受众专业程度"相关的词,比如"用户""受众""背景""熟悉度""专家""高级""扎实"这类词。它对应的偏好维度是背景知识,而且这个特征激活的词里有52%都被路由到了同一个专家(编号E101)。

这意味着什么?意味着这个模型内部真的存在一小撮专门负责"判断该用多深的专业术语跟你说话"的电路,而且这个电路相对集中,不是散落在整个网络各处。

不同模型的"性格"也不一样。论文发现,OLMoE的个性化特征里有52%和"风格"相关,21%和"无害性"相关;而Qwen3和Mixtral的个性化特征里,"背景知识"维度分别占了45%和40%,明显比其他模型更看重这一点。另外还有个有意思的差异:OLMoE和Qwen3的个性化特征大多是在读取系统消息(也就是用户偏好描述)时被激活的,占比分别是85%和82%;但Mixtral不一样,它有41%的特征是在生成回复的过程中被激活的,说明Mixtral把"理解偏好"和"执行偏好"这两件事的分工方式和另外两个模型不太一样。

专家分工的稳定性和独特性:用网格搜索验证

找到了特征和专家的对应关系还不够,论文还要回答一个更尖锐的问题:这种对应关系是巧合吗?换一批样本还能复现吗?不同特征是不是真的映射到了不同的专家,而不是都挤在同一个"万能专家"身上?

为此论文设计了两个指标。独特性(Distinctiveness)衡量不同特征对应的专家集合重叠程度有多低,数值越接近1,说明不同特征确实分流到了不同专家;稳定性(Stability)衡量同一个特征在换一批抽样样本后,对应的专家集合还能不能保持一致,数值越高说明这个映射关系越可靠,不是偶然凑出来的。

在Qwen3-30B-A3B上做网格搜索后,论文找到一组最优参数(每个特征用400个激活样本,每层只锁定1个专家),这时候独特性达到0.94,稳定性达到0.81。换句话说,不同的个性化特征确实分别对应着不同的专家,而且这个对应关系在反复抽样下依然站得住脚,不是统计噪声。

这就好比一个公司的部门分工,你想验证"市场部真的只处理市场的事、财务部真的只处理财务的事",你可以反复抽查不同批次的项目,看市场部的人是不是总是被分配到市场相关的任务。如果答案总是肯定的,而且不同部门之间很少互相越界接手对方的活,那这个公司的分工就是真实且稳定的,而不是表面上挂了部门牌子、实际上谁有空谁干活。

因果验证:这些特征是不是真的"说了算"

发现相关性是一回事,证明因果性是另一回事。论文做了两组干预实验来确认,找到的这些个性化特征和专家不是巧合的统计关联,而是真正驱动模型行为的开关。

第一组实验叫激活拼接。论文把基础模型(未个性化)的激活值,加上个性化特征的贡献,拼成一个"混合激活",然后看这个混合激活能不能让模型的下一个词预测,变得和真正的个性化模型一样。结果显示,用这些筛选出来的个性化特征去拼接,KL散度(衡量两个概率分布差异的指标,越低说明越接近)的降幂幅度明显超过随机挑选同样数量特征的对照组,也超过那些"共享特征"(既不特别偏向个性化模型也不特别偏向基础模型的那批特征)的对照组。这说明,这一小撮特征确实"足够"用来还原个性化模型的行为,不需要动用整个网络。

这两组实验加在一起意味着什么?意味着不仅是"这些特征恰好和个性化行为同时出现",而是"调整这些特征和专家,真的能把一个没被个性化的模型,往个性化的方向推一把"。这才是真正意义上的可操控性,而不只是观察到的巧合。

性能对比:省着用参数反而更强

说了这么多可解释性的发现,别忘了这篇论文还有一个很实际的结论:MoE模型做个性化,效果到底好不好?

答案是:相当好。在METEOR和ROUGE-L这两个评估指标上,MoE模型普遍超过了参数量相近(同样的激活参数量)的稠密模型,在Qwen和Mixtral这两个家族里,甚至能追平或超过总参数量相近的稠密模型——而MoE每次推理只用了大约20%的总参数。

这意味着MoE不是用解释性换取了性能上的妥协,恰恰相反,它在计算成本只有稠密模型五分之一左右的情况下,个性化效果依然能打平甚至反超。论文还对比了MULTIFACETED COLLECTION训练集之外的评测场景,比如LaMP和LongLaMP这两个需要从用户历史记录里推断偏好的基准,个性化带来的提升幅度在这些场景下会小一些,因为这要求模型把"从系统消息里读懂偏好"这项能力,迁移到"从交互历史里推断偏好"这项更难的任务上。这是个诚实的局限,论文也没有回避。

写在后面

读完这篇论文,最让我意外的不是MoE性能强,而是个性化这件事,可能原本就不需要那么分散。你以为一个模型要"变得懂你",得动用整个网络的方方面面,结果论文告诉你,实际上只需要调整千分之三不到的特征,外加一小撮固定的专家,就能基本还原这个能力。这和我们日常对"性格养成"的直觉完全相反——我们总觉得一个人的脾气是方方面面综合形成的,结果在这个实验里,"脾气"被定位到了几个具体的、可以单独拔出来检查的零件上。

另一个让我反复琢磨的细节是,不同模型家族对"个性化"的理解重心完全不一样。OLMoE更看重风格和无害性,Qwen3和Mixtral更看重背景知识。这说明即使是同一个训练数据集、同一套微调方法,不同的底层架构和预训练历史,会导致模型形成完全不同的"人格侧重"。这让我想起人类教育里一个老生常谈但一直没想透的问题:同样的教材、同样的老师,教出来的学生为什么性格差异那么大?也许答案不在教材里,而在学生原本的认知结构里——模型也是一样,个性化训练只是在原有的"大脑构造"上做微调,而不是从零塑造一个人格。

论文的局限也很诚实地写在了文章里:只研究了三个开源MoE家族,只分析了每个模型的一层,偏好数据也是合成的系统消息而非真实用户历史。这些都是值得继续追问的方向,尤其是"真实用户的个性化信号,是不是比合成数据里的信号更纠缠、更难定位"这个问题,恐怕才是真正决定这套方法能不能落地的关键。

如果有一天,你发现自己常用的AI助手突然变得更懂你了,这背后或许不是整个模型都在为你重新学习,而是某几个一直安静待命的"专家"模块,悄悄被点亮了。

Q&A

Q1:混合专家模型MoE是什么?

A:MoE是Mixture-of-Experts的缩写,它把神经网络的前馈层拆成多个专家模块,每次只激活一小部分专家处理当前输入,而不是让全部神经元同时参与计算,这样能在控制计算量的同时保留更大的模型容量。

Q2:为什么这篇论文认为MoE比稠密模型更适合做个性化?

A:因为稠密模型的神经元是多义的,一个神经元可能同时编码多个不相关概念,难以定位和控制;而MoE的专家在变多变窄后会自然走向专业分工,论文通过k-sparse probing和crosscoder实验证实MoE专家的多义性更低,个性化特征更容易被精确定位。

Q3:论文是怎么验证个性化特征是真正起作用的,而不是巧合?

A:论文做了两组因果实验,一是用个性化特征拼接出混合激活,看能否还原个性化模型的输出概率分布;二是人为增强特定专家的权重,看基础模型是否会向个性化模型靠拢。两组实验结果都显示效果显著优于随机对照组。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
南京男子回家迫不及待抱住妻子,结果家中鹦鹉一开口,让他崩溃!

南京男子回家迫不及待抱住妻子,结果家中鹦鹉一开口,让他崩溃!

白云故事
2025-03-14 19:05:07
日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

日媒复盘这场外交较量:高市早苗原本铁了心要驱逐中国总领事,原本以为可以占到便宜,中方官员刘劲松一句话,直接掐灭日方挑衅图谋

磊子讲史
2026-11-11 17:22:17
古力娜扎自曝前两年还不能接受姐弟恋,如今突然悟了,魏大勋调侃“是年龄上来了”

古力娜扎自曝前两年还不能接受姐弟恋,如今突然悟了,魏大勋调侃“是年龄上来了”

韩小娱
2026-11-03 11:14:01
一个人如果舍不得扔旧衣服,说明他的命运,大概率会是这两种结果

一个人如果舍不得扔旧衣服,说明他的命运,大概率会是这两种结果

风起见你
2026-09-28 01:22:36
全程苦瓜脸,脸僵说话张不开嘴,老戏骨李乃文都带不动这个拖油瓶

全程苦瓜脸,脸僵说话张不开嘴,老戏骨李乃文都带不动这个拖油瓶

神秘莫测的世界
2026-10-19 23:07:37
美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

扶苏聊历史
2026-11-19 13:37:49
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
震惊!网友实拍宜宾居民区路边,工作日下午4点半大量燃油车停放,评论炸锅:我今年就加了一次油

震惊!网友实拍宜宾居民区路边,工作日下午4点半大量燃油车停放,评论炸锅:我今年就加了一次油

火山詩话
2026-11-20 05:27:48
刘国梁也没想到,如今身居高位的王励勤,因一个背包实现口碑暴增

刘国梁也没想到,如今身居高位的王励勤,因一个背包实现口碑暴增

赶鸭子上架
2026-10-15 20:01:24
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
孩子大三准备考研|考研机构挑选参考指南

孩子大三准备考研|考研机构挑选参考指南

研趣考研
2026-09-04 14:38:42
玩家不满GTA6不能出轨,Rockstar回应:不符合剧情

玩家不满GTA6不能出轨,Rockstar回应:不符合剧情

菜但瘾大第一名
2026-11-19 21:52:54
丰田季度利润暴涨34%,混合动力汽车大卖,成全球汽车市场的重要力量

丰田季度利润暴涨34%,混合动力汽车大卖,成全球汽车市场的重要力量

叮当当科技
2026-11-06 09:53:32
冠心病不能吃红薯?医生苦劝:不想心梗,少吃这4种食物!

冠心病不能吃红薯?医生苦劝:不想心梗,少吃这4种食物!

汪医生健康百科
2026-11-19 20:25:03
魏德尔炮轰德国总理默茨:放着自己的人民不管,跑到基辅去当战争总理

魏德尔炮轰德国总理默茨:放着自己的人民不管,跑到基辅去当战争总理

生思孰虑
2026-11-17 17:01:18
美国一老太正在洗澡,地板突然疯狂冒血,警方化验竟是人血!科学追查几十年无果,难道真是超自然灵异?

美国一老太正在洗澡,地板突然疯狂冒血,警方化验竟是人血!科学追查几十年无果,难道真是超自然灵异?

徐德文科学频道
2026-11-19 02:13:12
原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

原价129万元一针的抗癌“天价针”进医保,报销后患者自付费用有望降至10万元以内

封面新闻
2026-11-20 11:10:04
业内不建议买500元以下羽绒服,何不食肉糜?山姆成了众矢之的

业内不建议买500元以下羽绒服,何不食肉糜?山姆成了众矢之的

一拙见
2026-11-15 16:46:04
特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

吉刻新闻
2026-11-20 09:43:17
生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

生理性喜欢这么夸张的吗 ?看完网友分享大受震撼!一般人享受不了

另子维爱读史
2026-11-17 20:44:13
2026-11-21 03:48:49
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10651文章数 573关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
家居
房产
本地

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

6.6亿!海口卖地!

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版