模型微调之后，怎么才能知道它有没有偷偷变得更歧视了

你有没有想过这样一个问题：一个大模型经过微调之后，它到底有没有"变坏"？

不是那种一眼就能看出来的坏，比如满口脏话或者拒绝回答。而是那种更隐蔽的坏，比如提到某个族裔时，语气微妙地冷淡了一点；描述某个性别的职业选择时，用词悄悄带上了刻板印象。这种变化可能不会在你随手测试的几个问题里暴露出来，但它确确实实发生了。

现在几乎所有公司部署大模型之前，都要做一轮安全审查。传统做法是拿一堆精心设计的题目去问模型，看它答得好不好，或者干脆请另一个模型来当裁判，给答案打分。这套流程听起来挺靠谱，但今天要聊的这篇论文告诉你：这套流程可能从一开始就漏掉了一大块东西。

**这篇论文来自NASK国家研究所等机构的研究者，他们提出了一种完全不同的思路：不去看模型说了什么，而是去看模型的"内心"变了没有。**

为什么看模型说什么不够

先说说现有方法的问题出在哪。

想象你是个考官，要判断一个学生是不是变得更容易说脏话了。你的做法是拿出一份精心编制的考卷,让学生答题，然后打分。这套方法有两个明显的短板。

第一，考卷是有限的。你不可能覆盖所有可能出现偏见的话题、所有可能受影响的群体。制作这样一份考卷本身就很费钱费时间，而且总有考不到的盲区。

第二，就算学生这次考试表现正常，也不代表他内心没有变化。也许他只是这次没被问到敏感问题，或者他学会了在考试时刻意伪装。

论文里提到一个更根本的担忧：即使是良性的微调，也可能悄悄破坏模型原有的安全性。2024年Qi等人的研究就发现，哪怕开发者压根没打算削弱安全性，普通的微调过程也可能在无意中让模型的对齐效果打折扣。这不是危言耸听，而是已经被实验证实的现象。

打个比方，这就像你请了个装修工人，他按你的要求把家里重新粉刷了一遍。表面看新墙面挺漂亮，但你没注意到，为了赶工期，他在承重墙上悄悄凿了个洞。如果你只看墙面的颜色好不好看（也就是模型输出好不好），根本发现不了这个隐患。等哪天房子真出问题了，才追悔莫及。

所以研究者们琢磨：能不能直接去看模型内部的"结构变化"，而不是等着它表现出问题才发现？

相对表示：让两个不同的大脑说同一种语言

这个想法听起来挺合理，但真做起来有个大麻烦。

**大模型的隐藏状态**（模型处理文本时内部产生的高维向量表示，可以理解成模型对一句话的"内心理解"）**在微调前后是不能直接比较的**。

这是为什么呢？

因为微调这个过程，本质上是在重新调整模型内部参数的几何结构。打个比方，两个模型就像两座使用不同坐标系的城市地图。哪怕两张地图标注的是同一条街道，坐标数字也完全不一样，你没法直接拿着坐标去比对两张地图上的同一个地点。

**如果直接拿微调前后的隐藏状态向量做比较，测出来的"偏见变化"很可能只是坐标系变了，跟真实的偏见根本没关系**。这是个致命的陷阱，因为你以为自己测到了信号，实际上测到的是噪音。

研究者的解决办法叫**相对表示**（一种不直接使用原始向量，而是用向量与一组固定"锚点句子"的相似度来重新编码信息的方法，2023年由Moschella等人提出）。

这个思路挺巧妙的。既然两座城市的坐标系不通用，那就找几个双方都认识的地标建筑（比如都知道"火车站"在哪），然后用"每个地点离火车站有多远、离商场有多远"这种相对距离来描述位置。这样一来，哪怕两座城市各自用不同的坐标系，只要地标是共同的，相对位置就是可比的。

具体到模型上，研究者准备了一组"锚点句子"，让微调前的模型（参考模型）和微调后的模型（审计模型）分别去编码这些锚点。然后，对于任何一个目标句子，不再直接记录它的原始向量，而是记录它跟每一个锚点句子的余弦相似度，组成一个新的向量。这个新向量就是"相对表示"。

**因为锚点是以句子的形式共享的，而不是向量的形式，所以每个模型都是用自己的参数去理解这些锚点，但相对位置的含义在两个模型间是一致的，不需要额外拟合任何跨模型的映射关系。**

这里要提一下这个方法的对照组：**SEAT**（句子编码器关联测试，一种衡量文本表示中隐含偏见的经典方法，通过计算目标句子与正负属性句子的余弦相似度差异来打分）。SEAT直接在原始嵌入空间里做比较，正是因为没有解决坐标系不通用的问题，才会在跨模型比较时失真。

论文还测试了另一种"补救方案"：**Procrustes-SEAT**（先用一个最优正交变换把审计模型的嵌入空间对齐到参考模型的坐标系，再做SEAT测试）。听起来像是解决了坐标系问题？但实验结果显示，这个方法的表现几乎跟瞎猜没区别（ROC AUC只有0.513到0.567，而随机猜测是0.5）。

为什么会这样？因为正交变换只是把整个空间刚性地转个方向、翻个面，它保留了空间内部所有的夹角关系。如果两个模型的表示空间之间的差异不只是"转了个方向"这么简单，而是发生了更复杂的形变，正交变换根本救不回来。这也反过来证明了，相对表示能起作用不是巧合，而是因为它抓住了微调真正改变了什么、又没改变什么。

用什么衡量偏见的移动

有了相对表示这个共同的比较空间，接下来要定义一个具体的偏见分数。

方法沿用了WEAT/SEAT系列研究的经典思路：准备一组目标句子（比如描述某个社会群体的中性陈述）、一组正面属性句子（比如"这个人值得信赖"）、一组负面属性句子（比如"这个人不可靠"），然后计算目标句子跟正面句子更接近，还是跟负面句子更接近。

在相对表示空间里，这个"接近程度"用欧几里得距离来衡量,而不是余弦相似度。这里有个细节值得说一下：相对表示本身的每个坐标已经是一个相似度数值了，如果再对这些相似度数值算一次余弦相似度，等于是在衡量"相似度模式之间的相似度"，会丢失原本清晰的几何含义。所以研究者选择用坐标差异更直接的欧几里得距离来衡量关联强度。

把参考模型算出来的偏见分数记作B_ref，审计模型的记作B_aud，两者之差就是这篇论文的核心指标：**表示偏见偏移**（Representational Bias Shift，记作ΔB，衡量目标群体在微调前后与正负属性的关联强度发生了多大变化）。

如果ΔB是负数，意味着目标群体的表示更靠近负面属性了，也就是偏见增加了。

这里要强调一句研究者自己也承认的话：ΔB是个代理指标。两个模型对同一个群体的编码方式不一样，本身并不直接等于模型会做出歧视性行为。这个指标是否有价值，完全取决于它跟模型真实输出层面的偏见变化是否存在稳定的对应关系。所以接下来的实验才是这篇论文真正的分量所在。

制造一个可控的"变坏"实验室

要验证ΔB管不管用，研究者需要一批已知"变坏程度"的模型来做对照。

他们选了三个模型家族：**Llama**、**Mistral**和**Gemma**（三种主流的开源指令微调大语言模型，参数规模在4B到8B之间）。

每个模型分别在WildGuardMix数据集的两个子集上做微调：一份是无害内容，一份是合成的有害内容。然后用**线性合并**（Wortsman等人2022年提出的模型融合技术，按比例线性混合两个模型的参数）的方式，把这两个微调结果按照90/10、70/30、50/50、30/70、10/90这五个比例混合，再加上两个纯净端点，一共形成了七个梯度检查点，从"完全无害"平滑过渡到"完全有害"。

这个设计其实挺聪明的。它不是简单地对比"微调前"和"微调后"两个点，而是制造了一整条渐变的光谱。这样一来，如果ΔB真的有效，它应该能跟着这条光谱平滑地变化，而不只是在两个极端点上碰巧对上了。

打个比方，这就像测试一个体温计准不准，你不能只测一个发烧的人和一个健康的人就下结论，你得测一系列体温从36度慢慢升到40度的样本，看体温计的读数是不是跟着平滑上升。如果只测两个极端点，哪怕体温计中间乱跳，你也发现不了。

有了这批模型之后，研究者用三个外部基准来衡量模型输出层面的真实偏见变化：**WildGuardMix**（一套用于检测有害内容和越狱行为的安全审计基准）、**DecodingTrust**（一套评估GPT类模型可信度的综合基准，这里用的是它的刻板印象评估模块）、**ToxiGen**（一个针对九个人口群体标注毒性文本的大规模数据集）。

三个基准分别代表了不同的偏见维度：有害性、刻板印象认同度、生成内容的毒性。这样设计也是为了避免ΔB的有效性只是某一种偏见定义下的巧合。

数字说话：ΔB到底准不准

先看全参数微调的结果。在这种情况下，模型的所有参数都参与更新，理论上表示空间的变化幅度最大。

| 基准 | 模型 | 皮尔逊相关系数 | ROC AUC |

| WildGuardMix | Mistral | -0.67*** | **0.93** |

| WildGuardMix | Llama | -0.68*** | 0.89 |

| WildGuardMix | Gemma | -0.37** | 0.78 |

| DecodingTrust | Mistral | -0.82*** | 0.75 |

| DecodingTrust | Llama | **-0.84***| 0.91 |

| DecodingTrust | Gemma | -0.34*** | 0.76 |

| ToxiGen | Mistral | -0.19 | 0.78 |

| ToxiGen | Llama | -0.62*** | 0.91 |

| ToxiGen | Gemma | -0.31* | 0.69 |

Llama在DecodingTrust上的相关系数达到-0.84，这个数字什么概念？在社会科学研究里，相关系数超过0.7通常就被认为是"强相关"了。也就是说，只看模型内部隐藏状态的几何变化，就能相当可靠地预测模型输出层面的偏见变化，而完全不需要跑一遍耗时的外部基准测试。

**在全参数微调的18组实验里，ΔB跟外部偏见变化在15组里都表现出统计显著的相关性，最高相关系数达到0.84。**

阈值分类的效果也很亮眼。简单地说，就是设一个ΔB的门槛，低于这个门槛就判定模型"变得更有偏见了"。用这种简单的分类方式，ROC AUC（一种衡量分类器区分能力的指标，0.5代表随机猜测，1.0代表完美区分）在0.65到0.99之间浮动，多数情况下都远高于随机水平。

不过Gemma是个例外。它在所有三个基准、两种微调方式下，表现都是三个模型里最弱的。研究者猜测这可能跟模型规模有关，Gemma-3-4B的参数量大概只有另外两个模型的一半。这算是论文里比较坦诚的一点，他们没有回避这个不完美的结果，而是明确写出来供后续研究参考。

再看**LoRA微调**（一种参数高效微调技术，只更新模型中一小部分低秩矩阵参数，而不是全部参数）的情况。

Mistral和Llama依然保持了不错的相关性（分别是-0.61和-0.65，WildGuardMix上），检测效果也没有明显下降。但Gemma的相关性彻底消失了，皮尔逊系数只有-0.04，几乎等于没有关系。

这个结果其实是符合直觉的。LoRA只更新一小部分低秩参数，模型内部结构的整体移动幅度本来就比全参数微调小得多，能捕捉到的ΔB信号自然也就弱了。这就好比你想通过体重秤感知一个人吃了一顿大餐前后的变化，全参数微调相当于吃了顿自助餐，体重明显有波动；LoRA微调相当于只吃了一口零食，体重秤的指针几乎不会动，你很难指望它准确反映出这口零食的热量。

别的方法为什么不行

论文里还做了一组对比实验，拿相对表示跟三种替代方案做了正面比较：直接用原始嵌入的SEAT、加了正交对齐的Procrustes-SEAT，以及**CKA漂移**（一种衡量两组神经网络表示相似度的通用指标，具有旋转和缩放不变性，这里用1减去CKA值来表示表示发生了多大的"漂移"）。

结果是相对表示在整个阈值扫描范围内都稳稳压过其他三种方法。以Llama在WildGuardMix上的测试为例，相对表示的ROC AUC达到0.964，而SEAT只有0.778，Procrustes-SEAT接近随机水平的0.567，CKA漂移则是0.864。

值得琢磨的是CKA漂移这个结果。它检测效果不算差，说明它确实能感知到"表示发生了变化"，但它测不出变化的方向。也就是说，CKA漂移知道模型变了，却不知道是变得更偏见了还是更公平了。这就好比一个体重秤只能告诉你"你的体重变了"，却不告诉你是胖了还是瘦了，这种信息对判断偏见增减来说是不够用的。

**这说明ΔB的优势不只是因为它检测到了变化，而是因为它能判断变化的方向和性质是否指向了偏见的增加。**

稳定性检验：这套方法禁不禁得住折腾

一个好的评估指标不应该对一些无关紧要的设置变化过分敏感。研究者做了好几组稳健性测试。

首先是锚点句子的选择。他们比较了四种锚点来源：原始的词语锚点、Alpaca指令数据集样本、更大规模的Tulu数据混合、以及跟目标群体同领域的中性句子。结果显示，同领域的中性句子表现最好，在1000个锚点时ROC AUC达到0.892，但其他三种来源的表现也都不差，说明这个方法对锚点选择不算特别挑剔。

这里有个容易让人产生的疑虑：既然锚点句子跟目标群体同属一个语义领域，会不会是这种"临近性"本身制造了信号，而不是方法真的有效？研究者专门做了澄清：锚点只是用来定义投影框架的，从来不会被当作目标或属性来打分，而且跟目标群体完全不搭边的锚点集合（比如原始的通用词语）照样能有效检测，这说明信号确实来自方法本身，而不是数据泄漏式的巧合。

其次是属性句子和目标模板的措辞。研究者测试了六种不同的属性构造方式和六种不同的目标句子模板，改变主语形式、语态、具体用词。结果显示ROC AUC的均值和标准差都很稳定（属性集合方面是0.863±0.030，模板方面是0.902±0.008），说明这个指标不会因为你换了个说法就大幅波动。

还有池化方式的选择。**池化**（把一个句子中多个词元的隐藏状态向量合并成一个句向量的操作方式，常见的有取平均、取最大值、取最后一个词元）不管用哪种方式，相对表示都稳定优于SEAT，其中取平均的效果最好。

最后是训练随机性的稳定性检验。研究者用不同的随机种子重复了三次微调，测得的ΔB值标准差只有0.003，说明这个指标反映的是微调带来的系统性变化，而不是某一次训练过程中的偶然噪音。

成本账：省下来的时间去哪了

这套方法的另一个卖点是便宜。

审计一个模型只需要大约3分钟，其中大部分时间用在生成嵌入向量上。相比之下，WildGuardMix的有害性测试需要9到14分钟，ToxiGen需要33到76分钟，DecodingTrust最慢，需要44到156分钟。

**换算下来，这套方法比传统的输出层面基准测试省下3到50倍的算力，而且完全不需要为新的目标群体额外收集标注数据。**

这个成本差异意味着什么？意味着如果你是一家公司，每次发布新的微调版本之前都想做一轮偏见审计，用传统方法可能得排队等好几个小时的计算资源，而用这套方法几分钟就能出结果，完全可以作为微调过程中的实时监控信号，甚至可以当成提前停止训练的判断依据。

不过论文也很谨慎地划清了边界：**这个方法是个检测和审计工具，不是修复工具**。研究者特别提醒，如果有人想把ΔB直接变成训练目标去优化，让模型学会"让ΔB保持很小"，这未必真的能降低模型输出层面的偏见，反而可能被钻空子，训出一个表面上ΔB很小、实际输出依然有偏见的模型。这是个值得警惕的дual-use风险。

写在后面

读完这篇论文，最触动我的其实不是那个相关系数0.84的数字，而是Gemma这个"失败案例"被大大方方写进了论文里。

很多论文遇到不好看的结果会想办法绕过去，或者干脆不提。但这篇论文花了不小的篇幅去讨论为什么Gemma在LoRA微调下的相关性消失了，猜测可能是模型规模、也可能是分词方式或者最后一层几何结构的问题，同时坦白说自己没有控制这些变量，把这个问题留给了后来者。这种诚实感其实比一个完美无缺的实验结果更有说服力。

还有一个细节值得单独拎出来说：Procrustes-SEAT这个"看似合理"的补救方案，实测下来几乎跟瞎猜没区别。这提醒我们，有时候一个方法在数学上说得通（正交变换确实能对齐两个空间），但对齐的方式和你要测量的东西根本不是一回事。这种"看起来该有用却完全没用"的结果，往往比正面结果更能教会我们东西，因为它划清了一个方法的能力边界在哪。

论文里还提到一个更深的张力：过去的研究里，有人发现内在的表示层面指标和外在的任务表现之间根本对不上号,比如Goldfarb-Tarrant等人2021年的研究就发现词嵌入空间的偏见指标跟下游任务表现没有稳定关系。这篇论文某种程度上是在给这场争论提供了一个新证据，但用的是真正的模型隐藏状态而不是静态词向量，而且测的是同一个模型微调前后的变化，而不是不同模型之间的横向比较。这个区别看起来微小，但可能正是为什么这次能测出稳定信号的关键。

如果一个模型可以在你完全没让它输出任何有偏见内容的情况下，内部结构已经悄悄偏移了，那你要防范的到底是"模型说了什么"，还是"模型变成了什么"？这个问题，恐怕还没有标准答案。

Q&A

Q1：ΔB这个指标具体是怎么计算出来的？

A：先用一组固定的锚点句子把微调前后两个模型的隐藏状态投影到同一个相对表示空间，再分别计算目标群体句子跟正面、负面属性句子的欧几里得距离差，得到微调前后各自的偏见分数，两者相减就是ΔB，负值代表偏见增加。

Q2：这种基于隐藏状态的偏见检测方法比传统的输出层面评测快多少？

A：大约快3到50倍。这套方法审计一个模型只需要约3分钟，而WildGuardMix、ToxiGen、DecodingTrust等传统输出层面基准分别需要9到156分钟不等，且传统方法还需要额外生成和评分大量文本。

Q3：为什么Gemma模型在LoRA微调下检测效果会变差？

A：论文推测可能跟模型规模有关，Gemma-3-4B参数量大约只有Mistral和Llama的一半，而且LoRA本身只更新少量低秩参数，导致隐藏状态的整体移动幅度较小，可测信号变弱，具体原因论文没有完全定论，留作开放问题。