当连续流遇到离散符号，南洋理工大学揭示语言生成的核心难题

这项由新加坡南洋理工大学的孙爱新教授和MiroMind AI的王斌博士领导的研究团队发表于2025年12月的arXiv预印本（论文编号：arXiv:2512.22630v1），深入探讨了扩散模型在语言生成中的根本性挑战。该研究的其他主要作者包括金子琪、林翔和邴立东，他们从全新角度审视了扩散语言模型的本质特性。

说起人工智能生成文字，大多数人都知道ChatGPT那种一个词接一个词往后写的方式，就像我们平时写作文一样，从左到右逐字书写。但科学家们一直在尝试另一种完全不同的方法，叫做扩散模型。这种方法原本在图像生成领域大放异彩，能够从一片噪声中逐步"雕刻"出精美的图片。研究团队想要回答一个关键问题：这种在图像领域如鱼得水的技术，能否在文字世界中同样游刃有余？

扩散模型的工作原理就像一位雕塑家，先把一块石头弄得面目全非，然后再一点点雕琢回原来的样子。对于图像来说，这个过程非常自然，因为图片本身就是连续的像素值，可以慢慢调整每个像素的亮度和颜色。但文字却截然不同，每个字符都是离散的、不可分割的单位，你不能有"半个字"或"1.5个词"这样的概念。这就好比试图用雕刻石头的技巧来编织毛衣，工具和材料的本质差异让整个过程变得复杂起来。

研究团队发现，目前的扩散语言模型都只是部分解决了这个根本性矛盾，每种方法都有自己的妥协和局限。他们通过深入分析发现了两个核心问题：首先，传统的均匀加噪方式完全忽视了信息在不同位置的分布规律；其次，逐个词汇的训练方式无法捕捉多词组合在并行生成时的依赖关系。

一、扩散语言模型的独特优势

当我们谈论文字生成时，传统的自回归模型就像一位严格按照从左到右顺序写字的作家，每写完一个词就不能再修改，只能继续往后写。这种方式虽然符合我们的书写习惯，但也带来了不少限制。

扩散语言模型则像一位可以随时修改任何位置的编辑器，它带来了三个显著的优势。首先是灵活编辑能力。设想你正在写一篇文章，突然发现开头的一个词用得不合适，需要调整。传统方法必须从那个词开始重新写整篇文章，而扩散模型可以直接修改那个特定位置，同时保持其他部分不变。这种能力在编程代码生成中尤其有价值，因为修改一个函数名往往需要在多个位置同步更新，扩散模型能够自然地处理这种全局一致性要求。

其次是计算与长度的解耦。传统方法生成文字时，每个词都需要一次完整的计算过程，所以生成100个词就需要100次计算。这就像一位画家必须一笔一笔地画完整幅画，无法跳跃或并行作业。扩散模型则可以同时处理整个序列，就像拥有多支画笔可以在画布不同位置同时作画。更有趣的是，它还可以根据任务难度动态调整"精雕细琢"的次数。对于简单的文本，可能只需要几次迭代就能生成高质量结果；而对于复杂的推理任务，可以投入更多的计算步骤来获得更好的效果，这种弹性分配计算资源的能力是传统方法无法实现的。

第三个优势是多角度数据建模。这个概念稍微抽象一些，但可以用学习语言的例子来理解。当我们学习一门新语言时，如果总是按照固定的句子顺序练习，可能会形成刻板的表达习惯。扩散模型在训练时会从各种不同的"损坏"状态开始恢复文本，这就像从句子的中间、结尾或任意位置开始重建完整句子，迫使模型从多个角度理解语言结构。研究表明，这种训练方式在数据有限的情况下能够显著提高模型的泛化能力，避免过度拟合特定的表达模式。

二、连续与离散：两种路径的探索

面对文字这种离散符号与扩散过程连续特性之间的根本矛盾，科学家们开辟了两条不同的解决路径，每条路径都有其独特的智慧和局限。

连续扩散的路径选择了一种"迂回"策略，它将文字首先转换成连续的数学表示，比如词嵌入向量或其他连续编码。这样做的好处是可以完美地保持原始扩散过程的数学优雅性。整个过程就像把离散的积木块先融化成可塑的粘土，然后用传统的雕塑技巧进行创作，最后再将成品重新固化回积木的形状。在这个框架下，每个词被表示为高维空间中的一个点，而扩散过程通过向这些点添加高斯噪声来逐渐模糊原始信息。

这种方法的魅力在于其理论完整性。由于整个过程都在连续空间中进行，所有经典扩散模型的数学工具都能直接应用，包括优雅的正向加噪过程、易于处理的中间状态分布，以及迭代式的逆向生成过程。然而，这种方法的阿喀琉斯之踵在于最后一步：如何将连续的向量重新映射回离散的词汇。这个映射过程本质上是不连续的，就像试图将流水重新结晶成完美的冰块形状，不可避免地会破坏原有的平滑性。

离散扩散则选择了直面挑战的策略，它坚持在词汇的原生环境中工作，通过掩码或分类转移核来定义腐蚀过程。这种方法就像直接在积木上进行创作，不进行任何形态转换。典型的实现方式是掩码离散扩散：在高噪声水平下，更多位置被替换为特殊的掩码标记；随着去噪过程的进行，这些掩码位置逐渐被实际词汇填充。

离散方法的优势在于它与语言的天然匹配性。由于始终在词汇空间中操作，不存在连续到离散的转换问题，生成的每一步都是有意义的文本状态。训练目标也很直观：给定部分可见的序列，预测被掩码位置的词汇分布。这种方法在大规模实现中表现出色，近期的许多成功案例都采用了这种策略。

然而，离散方法的代价是失去了扩散过程的核心特征之一：平滑的腐蚀轨迹。即使采用连续时间参数化，底层的状态变化仍然是跳跃式的，因为每个词要么保持原样，要么被完全替换。这种离散性使得"噪声水平"的概念变得模糊，时间参数往往更像是掩码数量的代理变量，而非真正的信噪比指标。

三、扩散与语言的五项基本特性

为了更深入地理解扩散模型在语言生成中的挑战，研究团队提出了一个分析框架，将理想的扩散语言模型应该满足的要求分解为五个基本特性。这些特性分别来自扩散机制本身和语言文本的固有属性。

从扩散机制角度来看，第一个特性是平滑腐蚀。这意味着随着时间参数的连续变化，关于目标的信息应该逐渐、平缓地丢失，而不是突然跳跃或急剧变化。在图像扩散中，这种平滑性通过微小的高斯噪声增量实现，每一步都只是轻微地扰动像素值。对于文本而言，这种平滑性变得复杂得多，因为词汇替换本身就是离散的跳跃。

第二个特性是可处理的中间状态。这要求在任何时间点，我们都能够通过数学公式直接计算出腐蚀状态的分布，而不需要模拟整个腐蚀过程。这种能力对训练效率至关重要，因为它允许我们随机采样任意噪声水平的状态进行训练，而不必每次都从干净数据开始逐步加噪。在连续扩散中，这通过高斯分布的性质得到保证；在离散扩散中，这需要设计合适的转移矩阵。

第三个特性是迭代逆向生成。生成过程应该从一个简单的噪声先验开始，通过多次应用学习到的逆向更新来逐步细化，最终恢复出高质量的样本。这种迭代性质是扩散模型相比于一步生成方法的核心优势，它允许模型通过多次"思考"来处理复杂的生成任务。

从语言特性角度来看，第四个特性是离散性。文本由离散的符号组成，每个词或字符都是不可分割的基本单位。这种离散性不仅体现在表面形式上，更深层次地影响着信息的编码和处理方式。改变一个词往往会导致语义的跳跃性变化，这与连续空间中的平滑变化形成鲜明对比。

第五个特性是结构依赖性。语言不是词汇的随机排列，而是遵循语法、语义和语用约束的结构化系统。词与词之间存在复杂的依赖关系，这些关系跨越不同的距离尺度，从相邻词汇的搭配到长距离的指代和呼应。任何语言模型都必须能够建模和维护这些结构性约束。

当我们用这五个特性来审视现有的方法时，一个有趣的现象浮现出来：没有任何一种方法能够完美满足所有特性。自回归模型虽然不是扩散方法，但它完美满足离散性和结构依赖性（通过因果掩码），同时具有简单的中间状态和逐步生成特性，但缺乏平滑腐蚀。连续扩散模型完美实现了前三个扩散特性，但在离散性上完全妥协，在结构依赖性上也主要依赖隐式学习。离散扩散模型保持了离散性，具有可处理的中间状态和迭代生成，但在平滑腐蚀和结构依赖性上都有所妥协。

四、均匀腐蚀的信息分布陷阱

深入分析现有扩散语言模型时，研究团队发现了一个被普遍忽视但影响深远的问题：所谓的"平滑腐蚀"在信息层面上并不真正平滑。这个问题的根源在于，传统的均匀腐蚀策略错误地假设了信息在文本中的均匀分布，而实际情况远比这复杂得多。

考虑一个简单的例子："脑细胞能够移动吗？我指的是长距离迁移。"在这个句子中，"脑细胞"、"移动"、"长距离迁移"这些词携带着核心语义信息，而"能够"、"吗"、"我"、"的"等词虽然在语法上必需，但信息密度相对较低。如果采用均匀的掩码策略，这些高信息密度和低信息密度的词被掩盖的概率是相同的，但对句子理解造成的影响却截然不同。

掩盖"脑细胞"可能会让整个句子变得难以理解，而掩盖"能够"可能对理解影响相对较小。这种不均匀的信息分布导致相同的"噪声水平"实际上对应着非常不同的信息丢失程度。有时候即使掩盖了很多词，如果核心信息词得以保留，句子仍然基本可理解；而有时候仅仅掩盖少数几个关键词，整个句子就变得面目全非。

为了验证这个现象，研究团队进行了一个启发性的实验。他们使用一个大型掩码扩散模型，输入问题"脑细胞能够移动吗？我指的是长距离迁移"，然后观察模型对128个掩码位置的预测分布。结果揭示了一个清晰的模式：距离原始问题较近的位置，模型能给出相对确定和语义相关的预测，比如"是的"、"脑细胞"等；而随着距离增加，预测逐渐变得不确定，最终退化为高频词汇如"the"、标点符号和句末标记。

这种现象被研究团队称为"频率坍塌"。当局部上下文信息不足时，模型的最优策略就是预测边际分布，也就是训练数据中最常见的词汇。从信息论角度看，这是完全合理的：当条件信息趋近于零时，最佳预测就是无条件概率分布。但这种坍塌暴露了均匀腐蚀策略的根本缺陷：它没有考虑到信息的不均匀分布特性。

在序列层面，这个问题在不同类型的扩散模型中表现出不同的形态。在掩码离散扩散中，即使在高掩码比例下，一些关键词汇可能仍然可见，保持了序列的粗略信息骨架。但这种保留是盲目的，不考虑哪些位置真正重要。在连续扩散中，高斯噪声会影响每个位置，但对于大词汇表而言，词汇身份信息在相对较低的噪声水平下就会变得无法恢复，导致所谓的"平滑"过程实际上在信息层面上是跳跃的。

在词汇层面，均匀腐蚀创造出了一个有效噪声水平的广谱分布。同样被掩码的两个位置，如果一个周围有丰富的上下文线索，另一个处在大片掩码区域的中心，它们面临的实际恢复难度是完全不同的。前者可能仅仅需要局部搭配知识就能准确恢复，后者可能需要长距离的语义推理，甚至在给定上下文下根本无法唯一确定。

面对这个挑战，一些方法已经开始探索解决方案。比如Dream-7B模型引入了上下文自适应的重调度机制，根据到最近可见词汇的距离来调整训练损失权重。距离较近的掩码位置被赋予更高权重，而被大量掩码包围的位置则被降权处理。这种策略本质上是在告诉模型："专注于那些有希望恢复的位置，不要在不可能的任务上浪费精力。"

五、边际训练与联合一致性的鸿沟

除了信息分布不均的问题，研究团队还识别出了扩散语言模型的另一个根本性挑战：结构依赖性的缺失。这个问题的核心在于，大多数掩码扩散模型采用的是逐词边际训练，但在生成时却需要进行多词联合决策，这种训练与推理之间的不匹配导致了一系列问题。

为了理解这个问题，我们可以构建一个简化的思想实验。假设有一个训练数据集只包含两个句子："他喜欢苹果"和"我打网球"。一个理想的逐词边际模型会学到：第一个位置50%概率是"他"，50%概率是"我"；第二个位置50%概率是"喜欢"，50%概率是"打"；第三个位置50%概率是"苹果"，50%概率是"网球"。从统计学角度看，这些边际分布都是完全正确的。

但问题出现在生成阶段。如果采用独立采样，这些边际分布可能组合出"我喜欢网球"这样在原始训练数据中从未出现过的句子。虽然每个位置的预测在孤立状态下都是合理的，但它们的组合却创造了一个无效的混合体。这就是研究团队所称的"边际陷阱"：边际正确但联合错误。

在实际的大型模型中，这种现象表现得更加微妙但同样普遍。研究团队在分析LLaDA-8B-Instruct模型时发现，相邻的掩码位置经常会给同一个词汇分配不可忽略的概率，导致并行采样时出现"脑脑"这样的局部重复。这种重复不是因为单个位置的预测不合理，而是因为模型缺乏显式的机制来协调多个位置的决策。

这个问题的严重程度很大程度上取决于两个实践中的设计选择。第一个是中间状态的承诺性。许多实现将中间状态表示为部分填充的词汇序列：一旦某个位置被采样确定，它就成为后续步骤的固定上下文。这种早期承诺使得模型容易被不一致的初期选择所困扰，因为后续的更新必须在这些可能有问题的选择基础上进行条件化，而无法进行联合修正。

第二个关键因素是并行更新与步数限制的组合。如果模型在每步只更新少数几个位置，那么联合约束可以通过条件化隐式实施：后选择的词汇会考虑已选择词汇的上下文。但如果需要在少数几个步骤内同时确定大量相互依赖的位置，那么缺乏显式联合建模的问题就会暴露无遗。

为了进一步说明这个问题的实际影响，研究团队分析了现有大型掩码扩散模型的生成策略。他们发现，为了缓解联合不一致性问题，许多系统实际上退化到了极低温度采样或每次前向传播只生成一个词汇的策略。虽然这些策略能够减少不一致组合，但它们也部分牺牲了扩散解码的核心优势：并行性和迭代refinement的灵活性。

这种妥协揭示了一个深层的矛盾：为了获得一致的输出，扩散语言模型不得不放弃一些使其区别于传统方法的特色功能。这不禁让人思考，是否存在更根本的解决方案，能够在保持并行生成效率的同时，确保多词组合的结构一致性。

六、未来方向与启示

面对这些深层挑战，研究团队并非简单地批评现有方法，而是为未来的研究指明了几个有前景的方向。这些方向都围绕着一个核心理念：让扩散过程更好地适应语言的内在结构。

针对信息分布不均的问题，一个有希望的方向是开发信息感知的腐蚀过程。与其对所有位置应用相同的腐蚀规则，新的方法应该能够识别不同词汇的信息重要性，并相应地调整腐蚀强度。这种方法可能借鉴注意力机制的思想，通过学习来发现哪些位置在给定上下文中更为关键，然后设计相应的自适应噪声调度。

另一个思路是构建层次化的腐蚀过程。不同于直接在词汇层面进行二元掩码，可以设计多层次的腐蚀：首先在语义层面进行粗粒度的信息丢失，然后在词汇层面进行细粒度的扰动。这种方法可能涉及从具体词汇到抽象类别再到完全掩码的渐进过程，比如"苹果"→"水果"→"[MASK]"，保持更长时间的部分信息。

对于结构依赖性的挑战，研究团队建议探索序列级别的训练目标，而不是仅仅依赖逐词交叉熵。这可能包括对比学习框架，其中模型需要区分真实的句子和不一致的混合体，或者能量函数方法，直接对整个序列的合理性进行打分。这种训练目标的改变可能需要更复杂的优化策略，但有望直接解决联合一致性问题。

另一个有前景的方向是开发延迟承诺的状态表示。不同于传统的硬性词汇序列，中间状态可以保持为软性的概率分布，只在最终生成时进行离散化。这种表示允许后续步骤修正早期的不确定决策，提供了更大的灵活性来维护全局一致性。虽然这种方法可能增加计算复杂度，但它提供了理论上更优雅的解决方案。

研究团队还强调了混合方法的潜力。比如CANDI这样的系统试图解耦离散身份和连续细化，维持一个保存词汇身份的离散通道和一个支持平滑梯度的连续通道。这种双通道设计可能为同时满足离散性和平滑腐蚀要求提供新的可能性。

更广泛地说，这项研究暴露了一个重要的方法论启示：将成功的技术从一个领域迁移到另一个领域时，不能简单地复制表面的算法步骤，而必须深入理解底层的假设和约束。扩散模型在图像领域的成功建立在连续像素空间和平滑视觉变化的基础上，这些基础在文本领域并不成立。因此，真正成功的文本扩散模型可能需要重新设计核心组件，而不是简单地适配现有框架。

这种深层次的分析也提醒我们，评估生成模型时不能仅仅看最终的生成质量，还要考虑方法的理论一致性和内在逻辑。一个在基准测试上表现良好但内在逻辑存在缺陷的模型，可能在面对新的挑战或扩展到新领域时暴露出脆弱性。

说到底，这项研究的价值不仅在于指出现有方法的局限性，更在于为整个领域提供了一个更清晰的理论框架。通过明确区分扩散要求和语言约束，研究团队帮助我们更好地理解不同方法的取舍，并为未来的创新指明了方向。虽然完美的扩散语言模型可能仍然遥不可及，但这项工作让我们离理解其本质挑战更进了一步。

对于普通读者而言，这项研究揭示了人工智能发展中一个有趣的现象：技术进步往往不是线性的复制和粘贴，而是需要深入理解不同领域的独特性质。正如我们不能用游泳的技巧来学习飞行一样，从图像生成到文本生成的跨越，需要的不仅是工具的移植，更是思维方式的根本转换。这种转换过程中遇到的挑战和解决方案，最终可能为我们带来比简单移植更加强大和优雅的新方法。

有兴趣深入了解技术细节的读者可以通过论文编号arXiv:2512.22630v1查询完整的研究报告，其中包含了更详细的数学推导和实验验证。

Q&A

Q1：什么是扩散语言模型？

A：扩散语言模型是一种文本生成方法，它模仿图像扩散模型的工作原理，先将文本加上"噪声"使其变得模糊，然后再逐步"去噪"恢复成清晰的文本。与传统的从左到右逐词生成不同，扩散模型可以同时修改文本中的多个位置，提供更灵活的编辑能力。

Q2：为什么扩散模型在文本生成中遇到困难？

A：主要困难来自文字和图像的本质差异。图像是连续的像素值，可以平滑地添加噪声，而文字是离散的符号，不存在"半个词"的概念。此外，文字中的信息分布不均匀，有些词很关键，有些词相对不重要，但现有方法对所有位置一视同仁地加噪声，导致信息丢失不均匀。

Q3：这项研究对未来人工智能文本生成有什么启示？

A：研究指出了两个关键改进方向：首先是开发信息感知的加噪过程，根据词汇重要性调整处理方式；其次是改进训练方法，让模型能够理解多个词汇之间的依赖关系，避免生成不协调的词汇组合。这些改进可能让未来的文本生成更加智能和自然。