文本的扩散模型，到底该在什么样的空间里"做梦"

你有没有想过，AI生成一段文字的时候，脑子里到底在想什么？

传统的语言模型是一个字一个字往下蹦的，像接水管一样，前面接好了才能接后面那段。而最近几年火起来的一类新方法，叫扩散语言模型，走的是完全不同的路子：它不是一个字一个字写，而是先在一片"模糊"里瞎蒙一个大概轮廓，然后一点点把模糊的地方擦干净，直到整段话都清晰浮现出来。这套路子最早在图像生成领域大获成功，照片级的AI画作基本都是这么"擦"出来的。

但文字和图像不一样。图像是连续的像素点，怎么模糊怎么清晰都好办。文字是一个一个离散的词，你没法让"苹果"这个词变得"有点像苹果又有点像橘子"。于是研究者想了个办法:把每个词先变成一串数字，也就是嵌入向量,这样文字也能在连续空间里被模糊和擦除了。

嵌入向量：一种把词语转换成一串数字(通常是几百个数字组成的向量)的技术，这串数字能大致表达这个词的含义，含义相近的词,它们的数字串也会比较接近。

这篇来自密歇根大学团队的论文，问了一个听起来很简单，但其实没人仔细回答过的问题:这个"数字串空间"，到底该选哪种？

这个问题难在哪里

你可能觉得，嵌入向量嘛，随便挑一个成熟的模型生成就行了，反正都是把词变成数字。

但事情没有这么简单。论文里做了一个很直接的对比实验:固定住扩散模型本身的结构不变，只换嵌入模型，看生成效果怎么变化。结果发现，换一个嵌入模型，生成质量能差出一大截。

具体来说，研究者测试了一系列同属T5家族的嵌入模型，从早期的T5-small，到后来升级版的T5Gemma-1，再到更新的T5Gemma-2。随着模型一代代变强，用它们做扩散的"地基"，生成效果也跟着一路上扬。换成最新的T5Gemma-2之后，在相同的生成多样性水平下，困惑度(衡量生成文本好坏的核心指标，数值越低说明文本越像真实语言)直接比最早的T5-small降低了大约40%。

困惑度：衡量一段生成文字"像不像正常语言"的指标，数值越低，代表这段话读起来越流畅自然，越符合真实世界语言的统计规律。

这就像选房子打地基。你以为随便挖个坑浇上水泥就行，但实际上，地基的材质、深浅、密实程度，直接决定了这栋楼能盖多高、稳不稳。T5-small这种"地基"，撑不起太高的生成质量;换成更结实的T5Gemma-2，同样的建筑设计图(扩散模型结构不变)，盖出来的楼明显更稳当。如果不换地基，继续在旧地基上折腾模型结构，可能费了半天劲，效果提升却很有限。

但这还不是故事的全部。研究者发现，就算用上了最强的T5Gemma-2，生成效果依然卡在一个瓶颈上，没法再往前走。

太聪明的嵌入，反而不好"擦"

T5Gemma-2为什么强？因为它学到的表示特别精确、特别有区分度。同一个位置上，"担心"和"焦虑"这两个意思相近的词，在它的数字空间里被推得老远,因为它训练的时候，目标就是要精准预测出"到底是哪个词"，容不得半点含糊。

这种精确性对分类、检索这类需要"分清楚是什么"的任务是好事。但对扩散生成来说，却成了麻烦。

论文里给出了一个很形象的解释。扩散过程本质上是在做加权平均:生成的时候，模型并不是一步到位猜中某个确切的词，而是综合考虑所有"可能的候选词"，取一个折中位置,这个折中位置理论上应该是最优的去噪方向。可问题是，如果"担心"和"焦虑"这两个候选词在空间里离得特别远，那它们的折中位置,也就是两点连线的中点,很可能卡在两者正中间的一片空地上，谁都不挨着。

生成过程如果不够完美(现实中几乎不可能完美)，轨迹走到这片空地上就下不来了，解码器拿到一个"四不像"的数字串，没法判断它到底该翻译成哪个词，只能硬猜，经常猜错。

论文用一个很细致的量化方法验证了这件事。他们生成了一批1024个词的文本，统计发现，平均每段文本里有142个位置，解码器对自己的猜测没有信心(最高概率的词置信度低于0.6)，而这142个里有109个,也就是77%,干脆就是"无效嵌入"，意思是这个生成出来的数字串，离所有候选词都太远，根本够不上任何一个候选。

这就好比你让一个翻译,在两种语言之间来回转换的那种翻译,去猜一个模糊录音里说的到底是"担心"还是"焦虑"。如果这两个词在他脑子里的印象本来就隔得很远，各自代表完全不同的场景,"担心"让他想到考试没考好，"焦虑"让他想到deadline逼近,那模糊录音落在两者中间地带时，翻译根本没法下笔，只能瞪着耳机发呆，或者干脆编一个风马牛不相及的词出来。如果这两个词在他印象里本来就挨得很近，模糊的录音落在哪儿，他大概都能顺手猜中一个靠谱的答案。

那怎么解决这个问题？

把老师的"犹豫"教给学生

研究者的办法是蒸馏,用T5Gemma-2当老师，训练一个新的学生编码器。

蒸馏：一种让小模型模仿大模型行为的训练技术，通常不是让小模型死记硬背大模型给出的"唯一正确答案"，而是让它学习大模型在各种可能答案上分配的"信心比例"。

关键的设计在于，这个学生不是去学老师"认为哪个词是唯一正确答案"，而是去学老师解码的时候，给每个候选词分配的概率分布,也就是软标签。

软标签：相对于"非黑即白"的硬标签(只有一个正确答案)，软标签保留了模型对多个候选答案的信心比例，比如老师可能说"这个位置84%像担心，16%像关切"，这整组概率就是软标签。

举个例子，老师解码器看到某个位置，给出的判断是:84%可能是"worried"(担心)，16%可能是"concerned"(关切)。如果用传统的"硬标签"训练方式,只告诉学生"正确答案是worried"，别的都是错的,学生学到的还是那种把近义词推得远远的、斩钉截铁的区分方式。但如果让学生去拟合这整组84%对16%的概率分布，学生就会意识到,这两个词在这个位置上其实都说得过去，它们应该被安排得离得近一点，形成一片连续的"合理区域"，而不是各自孤岛。

这就像教一个新人翻译。你如果只告诉他"这里必须翻译成担心，错了就是错了"，他学到的是死记硬背，遇到类似但不完全相同的场景就懵了。但如果你告诉他"这里翻译成担心或者关切都行，大概八二分吧，看语境"，他慢慢就会在脑子里把这两个词归到同一类场景里，下次遇到含糊的情况，不管最终选哪个，至少都能说得通,不会突然冒出一个完全不相关的词。

这套蒸馏具体怎么做？研究者用KL散度(一种衡量两个概率分布有多接近的数学工具)作为训练目标，让学生编码器输出的嵌入，经过同一个冻结的老师解码器之后，产生的概率分布尽可能逼近老师自己产生的概率分布。学生的网络结构是老师18层里挑出均匀分布的9层来初始化的，这样编码成本直接减半。

研究者还做了几组对照实验，证实这个效果不是随便蒙出来的。如果把训练目标换成普通的交叉熵(也就是硬标签那种死记硬背方式)，学生的生成熵最高只能到4.18，离真实文本的5.43差得老远。如果换成直接让学生嵌入去逼近老师嵌入的均方误差损失，上限也只能到5.26。只有用软标签蒸馏的这个版本，才能摸到真实文本的熵值，并且在同等熵值下，困惑度比老师还低。研究者还验证了，哪怕让学生保留全部18层(和老师一样深)，效果依然超过老师，说明这个提升真的来自软标签本身,而不是因为学生变小了、更容易拟合。

从数字上看效果有多大

论文给出了一组对比数据。在OpenWebText这个常用的网页文本数据集上，中等规模的扩散语言模型(论文里叫ELF-M)用T5Gemma-2原始嵌入训练时，困惑度是19.3;换成蒸馏后的学生嵌入，困惑度降到17.8,而真实文本本身的困惑度是15.4。换句话说，蒸馏后的版本已经非常接近真实文本的水准了，并且在这个规模下，表现超过了同等规模的GPT-2-M(经典的自回归语言模型，困惑度20.8)。

研究者还做了一个很直观的"往返去噪"实验。拿一句真实的句子，加噪声再去噪，看它能不能变回原来的样子。结果显示，用原始T5Gemma-2嵌入训练的扩散模型，去噪之后生成的句子里，40个词里有15个变成了无效嵌入,解码出来的词根本不在合理候选范围内。而用蒸馏学生嵌入训练的模型，同样40个词，一个无效的都没有。

这组对比数据背后藏着一个更有意思的现象。研究者发现，这种蒸馏确实是有代价的,学生的判别能力下降了。用在情感分类任务SST-2上测试，老师编码器配合线性分类器能达到89.4的准确率，学生只有78.1。研究者没有回避这个代价，反而直接把它写成了一个核心发现:为了让嵌入空间更适合扩散生成，必须牺牲一部分区分能力。

这其实是一个很值得琢磨的权衡。一个嵌入空间，如果要同时胜任"精确区分不同含义"和"方便生成式模型连续地游走",这两件事天然是互斥的。前者要求相似的东西离得远，后者要求相似的东西离得近。这篇论文选择在生成这一侧倾斜，但也诚实地告诉你,这不是免费的午餐。

这个思路放在更大的背景里看

这篇论文沿用的扩散框架叫ELF(Embedded Language Flow，嵌入式语言流)，是2026年初由Hu等人提出的一套极简设计。论文团队没有去改动ELF本身的扩散机制，而是把所有的改动都收缩到嵌入这一个环节上，这种"控制变量"的做法让整个研究的结论特别干净:效果提升全部归功于嵌入空间的选择，不掺杂其他因素的干扰。

这个思路其实在图像生成领域已经有过先例。2026年的一篇名为RAE(表示自编码器)的论文发现，把传统VAE(变分自编码器，图像扩散模型里常用的压缩表示方式)潜空间换成预训练好的图像嵌入(比如DINOv2),一种自监督视觉表示学习模型,能明显提升图像的生成效果。这篇文本论文做的事情，本质上是把这个发现从图像世界搬到了文字世界，并且进一步发现了文字特有的新问题:太强的判别式嵌入会导致近义词分离，这在图像领域不太常见，是文本离散性带来的独特挑战。

论文的作者们还顺着这条线提出了一些后续值得追的方向。比如说，T5Gemma-2本身是从Gemma-3这个自回归大模型适配过来的编码器-解码器结构，如果未来能有办法直接把自回归大模型的内部表示拿来用，跳过这个"适配"步骤，可能会让扩散语言模型更快地跟上大模型的发展速度。另外，论文也提到，目前的方法在极低采样步数(比如16到32步)下还会"崩溃"，生成出中英文混杂的奇怪文本，这也是留给后续工作的一个坑。

写在后面

读到那张"77%无效"的统计数字时，我其实愣了一下。这个数字说的是，在那些解码器自己都没把握的位置里，四分之三以上生成出来的嵌入根本够不着任何一个候选词。这意味着扩散语言模型并不是偶尔犯错，而是有相当比例的生成过程走到了一片"虚空"里,这片虚空存在，恰恰是因为嵌入空间学得太好、太精确了。

这是一个挺反常识的教训:一个表示学习任务里被认为"更强"的模型，直接拿来做生成的地基，反而会暴露出更棘手的问题。强大和好用，有时候真的不是一回事。

另一个让我多想了一会儿的地方是，论文选择的解决方案不是去重新设计扩散算法，也不是强行调整采样策略，而是回头去改嵌入本身的几何形状。这有点像在说，问题出在地基的纹理上，那就别去折腾楼上的装修，直接把地基material换掉。这种"往上游找原因"的思路，在很多工程问题里其实是被低估的,大家更习惯在下游修修补补。

论文里还留了一个没细说但很值得追问的问题:如果继续往更大规模的嵌入模型扩展(论文里提到的T5Gemma-2-1B甚至4B版本)，这种"太区分反而不好生成"的矛盾会不会变得更严重？越聪明的模型是不是越难被"模糊地生成"？这个问题目前没有答案，但它可能决定了未来这条路到底能走多远。

Q&A

Q1：T5Gemma-2嵌入为什么不适合直接用来做扩散语言模型？

A：因为T5Gemma-2训练时追求精确区分每个词，导致意思相近的候选词(比如"担心"和"焦虑")在嵌入空间里被推得很远。扩散生成依赖候选词之间的加权平均，如果候选词离得太远，生成轨迹容易落在谁都不挨着的空地上，变成解码器猜不出来的无效嵌入。

Q2：论文里的蒸馏具体是怎么解决这个问题的？

A：研究者训练一个学生编码器，让它学习老师解码器给出的软标签,也就是老师在多个候选词上分配的概率比例,而不是只学唯一正确答案。这样学生会把合理的候选词安排得更靠近，形成连续区域，生成时即使没落在正中心，也能落在某个候选词附近，而不是落空。

Q3：这种蒸馏方法有没有副作用？

A：有，蒸馏后的学生编码器判别能力会下降，比如在情感分类任务SST-2上，准确率从老师的89.4降到了78.1。研究者认为这是为了提升生成适配性必须付出的代价，判别能力和生成适配性在同一个嵌入空间里存在天然的权衡。