香港科技大学发现，所谓的"自监督学习"其实是在变相扩充训练数据

来源：市场资讯

（来源：科技行者）

这项由香港科技大学、浙江工业大学和百度联合开展的研究，以预印本形式发布于2026年7月2日，论文编号为arXiv:2607.02508，有兴趣深入了解技术细节的读者可通过该编号查询完整论文。

要理解这篇研究的意义，先从一个厨师的故事开始。假设你是一位正在训练新学徒的厨师，你有两种方法让学徒进步更快：第一种，让学徒把同一道菜反复练习，但每次练习都让他和一位更资深的厨师配合，通过互相观察和模仿来提升水平；第二种，把同一道菜的食材在不同烹饪阶段展示给学徒——有时是生的，有时是半熟的，有时是快出锅的——让他见识更多状态，积累更丰富的经验。这两种方式都能让学徒进步，但背后的原因截然不同。前者是通过"合作"来提升，后者是通过"见多识广"来提升。

现在，AI图像生成领域有一个完全类似的争论。一批顶尖AI模型，被称为"扩散变换器"（Diffusion Transformer，简称DiT，可以理解为一种专门负责生成高质量图片的AI大脑），近年来在加速训练、提升生成质量方面取得了很多进展。其中有两种叫做SRA和Self-Flow的训练方法，引发了研究者们的关注。这两种方法都属于"表征对齐"技术——用通俗的话说，就是让AI大脑在学习画图的同时，也学会更好地理解图片本身的含义。

SRA是先行者。它的核心思想是：在同一个AI模型内部，让处于"更混乱状态"（更多噪声，可以理解为图片被弄得更模糊）的早期层，去向处于"更清晰状态"（更少噪声）的深层学习。就像让一个正在看模糊监控录像的侦探，去向一个看到高清视频的同事学习判断方法，从而倒逼自己提升能力。这种方式不依赖任何外部工具，完全靠AI模型自己"内部对话"来提升能力。

Self-Flow则在SRA的基础上更进一步，它的关键改动叫做"双时间步调度"。用厨师的比喻来说，SRA是把整道菜统一放在"半熟"阶段展示给学徒；而Self-Flow则把同一道菜的不同部分同时处于不同烹饪阶段——左边的食材是生的，右边的已经快熟了，让学徒同时看到多种状态。在AI的世界里，这意味着同一张图片的不同像素块（称为"token"，可以理解为图片被切成的小方格）会被添加不同程度的噪声，有的很模糊，有的相对清晰，共存于同一次训练当中。Self-Flow的研究者认为，这样做的好处是：较清晰的小方格能帮助较模糊的小方格"推断"出正确答案，从而实现更强的自我监督学习。结果证明，Self-Flow的表现确实优于SRA。

然而，香港科技大学等机构的这支研究团队决定刨根问底，追问一个关键问题：Self-Flow的进步，真的是因为那些"清晰方格帮助模糊方格"的互动带来的吗？还是说，仅仅是因为让AI同时见识了更多样的图片状态，也就是一种变相的数据扩充效果？

这两个解释听起来相似，但本质上差别巨大。如果是前者，说明AI确实在进行某种类似"同伴互助学习"的复杂过程；如果是后者，那Self-Flow的改进主要来自让训练数据在噪声维度上更加多样化，本质上只是一种聪明的数据增强手段。

一、侦探破案：设计一把"手术刀"分离两种效果

要搞清楚这个问题，研究团队需要一种精妙的实验设计——既保留Self-Flow的双时间步结构，又能切断那些"不同状态小方格之间互相交流"的可能性。他们发明了一个叫做"注意力分离"（Attention Separation）的操作，这个名字直接点明了它的工作方式。

在AI的注意力机制中（这是现代AI大脑理解信息时的核心能力，可以类比为人类大脑在读文章时会把注意力分配到不同词汇之间的关联上），每个小方格通常都可以"看到"图片里所有其他小方格，并与它们互相参考。这种全局互动能力是AI生成高质量图片的重要基础。

注意力分离做的事情，就像是在一个大开放式办公室里安装隔断：属于同一个"噪声等级组"的小方格，彼此还能正常交流；但属于不同噪声等级的小方格，则被完全隔断，无法互相参考信息。在数学上，这通过一个"屏蔽矩阵"来实现——给不同组之间的注意力打上"负无穷大"的分数，让它们在概率计算中彻底被忽略，效果如同在注意力矩阵中画出一个分块对角线的结构。

这个设计的精妙之处在于：输入给AI的数据完全没有变化——同一张图片依然有一部分方格处于高噪声状态，另一部分处于低噪声状态，双时间步的"多样性"完整保留。改变的只是这些方格能否互相交流。于是，研究团队就得到了一把精密的"手术刀"：如果切断互动后性能下降，说明Self-Flow的进步确实来自跨噪声等级的互动学习；如果性能没有下降甚至提升，说明双时间步的效果主要来自数据层面的多样性，而非互动本身。

实验结果令人意外。在ImageNet（一个包含数百万张图片的权威图像数据集，研究者经常用它来测试AI模型的能力）上，使用SiT-B（一种中等规模的图像生成模型）进行训练。衡量图片生成质量主要用两个指标：FID分数（越低越好，代表生成的图片和真实图片越接近）和IS分数（越高越好，代表图片质量和多样性越佳）。

对比结果显示，在训练了80万步之后，使用全局注意力（允许所有方格互相交流）的Self-Flow获得了FID 25.19和IS 66.75；而使用注意力分离（不同噪声等级的方格互相隔断）的版本，FID反而降到了25.06（更好），IS更是大幅提升到72.94（也更好）。切断了跨噪声的互动之后，性能非但没有下滑，反而进步了。

这个结果直接推翻了Self-Flow原论文中的解释。双时间步调度的好处，并非来自"清晰方格帮助模糊方格推断信息"，而是因为同一张图片在不同噪声状态下被同时呈现，让模型见识到了更多样化的训练数据，就像那个厨师故事里的第二种方法：学徒进步，是因为他同时看到了食材在生、半熟、快熟多种状态下的样子，而不是因为他和旁边更厉害的学徒配合。

二、更进一步：注意力分离本身也是数据扩充

发现了双时间步的真实工作原理之后，研究团队又对注意力分离这个操作本身进行了更深入的研究。一个新的问题浮现出来：如果在"单时间步"训练中（也就是图片所有方格都处于同一个噪声等级，没有任何跨噪声的多样性），单独使用注意力分离会有效果吗？

按照直觉，单时间步下所有方格的噪声等级相同，也没有不同噪声的信息可以互动或"增强"，注意力分离似乎应该没有什么作用。然而实验显示，在单时间步训练中单独引入注意力分离之后，IS分数依然从63.86明显提升到71.62，FID也从26.34改善到25.81。

这又是为什么？研究团队提出了一种直觉上相当清晰的解释：当一张图片的所有方格被分成两组，每组只能在内部互相交流时，每一组实际上都只看到了完整图片的一个局部——就像把一张拼图分成两半，每半边各自独立进行信息处理。这两个"局部视角"，在共享同一个AI模型的参数的情况下，同时被优化，相当于一张图片在单次训练中产生了两个有效的"训练样本"，每个样本看到的是不同的内容子集。

这种效果，和机器学习领域经典的数据增强思路惊人地相似。在图像识别研究中，有一种叫做CutMix的技术，会把不同图片的区域拼在一起，强迫AI学会从局部线索推断整体；有一种叫做MAE（Masked Autoencoder，遮蔽式自编码器）的训练方法，会随机遮住图片的部分区域，让AI学会用剩余部分推断被遮住的内容。注意力分离的效果与这些方法的核心逻辑高度相通：通过限制AI每次看到的"完整信息量"，迫使它学会从局部视角重建完整图片的语义。

于是，这篇研究得出了一个统一的结论：双时间步调度，是沿着"噪声维度"的数据增强——同一张图片在更多样的噪声状态下呈现，扩充了训练数据在噪声层面的分布；注意力分离，是沿着"视角维度"的数据增强——同一张图片被切分为多个局部视角，扩充了训练数据在内容覆盖层面的分布。两者从不同角度发挥了类似的作用。

三、细节调校：遮盖比例的平衡之道

研究团队还对注意力分离中一个重要参数进行了细致的调查：遮盖比例，也就是被分配到不同噪声等级组的方格各占多大比例。用字母α来表示，α = 0.25代表把图片的方格分成25%和75%两组，α = 0.50代表各占一半。

实验揭示了一个有趣的规律。当使用全局注意力（不做注意力分离）时，不管遮盖比例怎么变化——0.25、0.35还是0.50——双时间步训练都能稳定地优于单时间步基线。这与数据增强的解释高度吻合：只要图片在不同噪声状态下被展示，模型就能受益，比例的微调不会破坏这个基本效果，因为全局注意力保证了每个方格仍然能看到完整图片的全局信息。

然而，一旦引入注意力分离，遮盖比例的影响就变得显著。α = 0.25时效果最好，IS高达72.94；但α = 0.50时，FID急剧恶化到38.19，比什么都不做还要差很多。原因在于一个关键的"训练与推理的不一致性"：在训练时，注意力分离让每组方格只能看到图片的局部（当α = 0.50时，两组各只有一半图片的信息）；但在实际使用（推理）时，AI模型恢复为正常的全局注意力，每个方格都能看到完整图片。当训练时的局部视角与推理时的全局视角差距过大，AI就会产生类似"训练考的是小范围，考试考的是大纲全集"的困惑，性能大幅下滑。

为了缓解这个问题，研究团队提出了一个简单有效的补救方案：混合训练。在每个训练批次中，把25%的样本仍然按照正常的单时间步、全局注意力方式训练，只有剩余75%的样本使用双时间步加注意力分离。这样，AI在每次学习时都有一部分机会接触到推理阶段会遇到的"正常全局视角"，有效弥合了训练与推理之间的差距。实验验证，在α = 0.50的情况下，加入混合训练后，800K步时的FID从灾难性的38.19直接恢复到了24.15，接近于最优水平。而当α = 0.25时，混合训练的帮助则相对有限，因为此时25%的方格一组本身覆盖了图片的大部分内容，与全局视角的差距并不大，训练与推理的鸿沟本来就比较小。

四、把所有发现组合起来，看看最终战绩如何

理清了这些机制之后，研究团队把所有有效的组件组合进一个统一的训练方案：保留SRA的内部自对齐学习目标（让AI大脑的早期层向深层学习）；在此基础上叠加双时间步调度来做噪声维度的数据增强；再叠加注意力分离来做视角维度的数据增强；并且设置α = 0.25的遮盖比例，以避免训练与推理的严重不一致。

在ImageNet 256×256的标准测试场景下，这个方案训练400万步之后，FID达到1.44，IS达到315.3。对比来看，不使用任何辅助技术的基础SiT模型需要训练700万步才能达到FID 2.06，IS 270.3；使用SRA的版本400万步时FID为1.58，IS为311.4；使用Self-Flow的版本400万步时FID为1.47，IS为305.4。这个最终方案在IS指标上超过了所有自对齐方法，FID也优于SRA和Self-Flow，在整体表现上达到了自对齐方法的最高水平，与使用外部预训练编码器（DINOv2）的REPA方法（FID 1.42）也非常接近，差距几乎可以忽略不计。

在分辨率更高的ImageNet 512×512测试场景下，同样的方案在仅训练100万步的情况下，FID达到2.08，与REPA并列为所有方法中的最优，IS达到282.7也是所有方法中最高的，同时优于SRA的2.17和Self-Flow的2.12。而基础SiT模型需要训练300万步才能达到FID 2.62。

这组数字说明，仅靠将现有技术重新理解和重新组合，不增加任何模型复杂度，不引入任何外部工具，就实现了超越已有最优方法的成绩。

说到底，这篇研究揭示的是一个颇具哲学意味的问题：当AI的训练表现提升时，我们真的理解背后的原因吗？Self-Flow的作者认为，让清晰方格帮助模糊方格"互相启发"是关键；但香港科技大学等机构的这支团队用一个简单而精妙的实验，证明切断互动之后性能反而上升，说明最初的解释并不完整。真正起作用的，是让AI在训练中见识到了更多样、更丰富的数据状态——无论是同一张图片在不同噪声程度下的呈现，还是把图片切分为不同局部视角分别学习。

这对整个AI图像生成领域的意义在于：与其耗费大量资源去设计复杂的互动机制，有时候更简单的数据多样化手段就能带来可观的收益。训练AI模型有点像培养一个厨师学徒——见多识广，往往比精心设计的"互助合作"更有效。当然，这并不意味着互动机制完全无用，只是说明在这个具体场景下，数据的多样性才是主导因素。

这项研究提出的方法完全基于模型自身，不依赖任何外部预训练编码器，意味着它在没有强大外部工具辅助的场景下也能高效运作，这对于资源有限或需要处理全新数据领域（缺乏现成预训练编码器）的研究者尤其有参考价值。更重要的是，它为后续研究提供了一个重要的方法论提示：在声称"某种机制"起作用之前，务必设计受控实验来隔离各个因素，避免将数据层面的效果误解为学习机制层面的突破。

对这篇研究感兴趣的读者，可以通过arXiv编号2607.02508查阅完整论文，该研究附带的代码也已在GitHub上公开，方便技术人员复现和深入研究。

Q&A

Q1：Self-Flow的双时间步调度是什么意思？

A：双时间步调度是Self-Flow方法中的核心设计，指把同一张图片的不同小块（token）添加不同程度的噪声进行训练，有些小块非常模糊，有些相对清晰，让它们共存于同一次训练中。Self-Flow原本认为这样清晰小块能帮助模糊小块"推断"正确内容，但这篇论文的实验证明，真正的好处其实是让模型见识了更多样的噪声状态，属于数据增强效果。

Q2：注意力分离为什么在遮盖比例50%时效果会变差？

A：当注意力分离把图片方块各切一半（α=0.50）时，每组小块只能看到图片一半的信息。训练时AI习惯于从局部视角处理图片，但实际使用（推理）时，AI恢复为正常的全局注意力，能看到完整图片。这种训练和使用时的巨大差距让AI产生"水土不服"，导致性能大幅下降。加入一部分正常全图训练样本（混合训练）可以有效缓解这个问题。

Q3：SRA、Self-Flow和这篇论文的方法有什么实际区别？

A：三者都属于不依赖外部工具的自对齐训练方法。SRA让AI内部早期层向深层学习，但每次训练整张图片只有一个统一的噪声等级。Self-Flow在此基础上引入双时间步，让同一张图片的不同部分同时处于不同噪声等级。这篇论文的方法在Self-Flow基础上进一步加入注意力分离，阻断不同噪声等级小块的交流，将两者都理解为数据增强手段，最终在多数指标上超过了SRA和Self-Flow。