NeurIPS 2021 | Cycle Self-Training：领域自适应的循环自训练方法与理论

在本文中，我们首先研究了标准自训练在分布偏移条件下的技术挑战及根因。我们发现在无分布偏移条件下，伪标签分布和真标签分布几乎相同，然而在有分布偏移条件下，两者差异很大。即使采用置信度、信息熵等不确定性阈值来筛选，筛选机制的可靠性仍将因为分布偏移而显著下降，最终使得标准自训练在领域自适应问题中失效。

为此，本文首次对这一问题开展了深入研究，形成了简单通用有效的 循环自训练算法(Cycle Self-Training, CST) ，并建立了全新的基于扩张假设(Expansion Assumption)的领域自适应泛化理论。

论文标题：Cycle Self-Training for Domain Adaptation 作者：刘泓，王建民，龙明盛 链接：https://arxiv.org/pdf/2103.03571.pdf 代码：https://github.com/Liuhong99/CST

一、引言

领域自适应(Domain Adaptation, DA)解决从有监督数据集到无监督数据集的知识迁移问题。在深度学习时代，不变表征学习(Invariant Representation Learning)是领域自适应(Domain Adaptation)中的主流方法。不变表征学习减少了源领域(Source Domain)和目标领域(Target Domain)之间的表征分布距离，从而学习到不变表征(Invariant Representation)。不变表征学习构成了领域自适应方法的核心，获得了很大成功，但不可能定理(Impossibility Theorem)揭示出在标签偏移(Label Shift)和领域支撑集偏移(Shift in the Support of Domains)两种困难情况下，不变表征学习具有泛化误差下界，因而具有明显的局限性，是领域自适应的开放性难题。

最近，自训练(Self-training)方法开始被应用到领域自适应问题中。自训练作为半监督学习(Semi-supervised Learning)中的主要方法，先在有监督数据上训练模型，再生成无监督数据的伪标签(Pseudo-labels)，最后用真标签和伪标签来共同训练模型。然而在领域自适应问题中，自训练的伪标签会因为源领域和目标领域的分布偏移而变得更加不准确，直接使用全部伪标签将造成误差累积。之前的工作采用可信度阈值(Confidence Threshold)来筛选可靠的伪标签或者给可靠的伪标签更大的权重，然而这类方法不但需要对不同的任务大量调节阈值，而且仍然无法保证分布偏移条件下伪标签的可靠性。

我们的分析表明，有效的自训练方法必须显式建模分布偏移条件下的泛化性。本文提出的循环自训练(Cycle Self-Training, CST)，从理论上克服了标准自训练在分布偏移条件下的局限性（见图1）。与以前使用筛选伪标签的方法不同，CST能够学习跨领域泛化的伪标签。具体而言，CST在如下两个步骤中循环：

1. Inner Loop: 使用目标领域伪标签训练目标分类器；

2. Outer Loop: 更新共享表征使目标分类器在源领域中表现良好。

同时，本文注意到标准的Gibbs熵会迫使伪标签置信度过高。为了解决这个问题，我们提出了一种基于信息论Tsallis熵的不确定性度量，该度量在不手动设定或调整可信度阈值的情况下即可自适应地最小化伪标签不确定性。大量实验表明，循环自训练算法(CST)具有简单通用有效三大优点，在计算机视觉、自然语言处理的典型任务中表现优异，多个任务达到SOTA效果。

最后，本文建立了全新的基于扩张假设(Expansion Assumption)的领域自适应泛化理论。一方面，在源领域和目标领域满足扩张假设的情况下，目标领域上的期望误差可以被循环自训练(CST)的四个目标函数，即源领域损失函数、目标领域自训练损失函数、源领域与目标领域的循环损失函数、Tsallis熵所控制住。另一方面，我们构造了标准自训练和不变表征学习均失效的困难情况，并严格证明循环自训练(CST)仍可学习到目标领域的真标签。

在标准自训练(Standard Self-Training)中，通过源领域模型生成目标领域伪标签，然后使用源领域真标签和目标领域伪标签共同训练模型；在循环自训练(Cycle Self-Training)中，内循环(Inner Loop)使用目标领域伪标签训练目标分类器，外循环(Outer Loop)更新共享表征使目标分类器在源领域中表现良好。

二、方法 1. 循环自训练 在 正向步骤(Forward Step) 中，类似于标准自训练，我们在有标签源领域 PP 上训练一个分类器 s 和共享表征 ，并使用它生成目标领域 的伪标签：

同时，我们设计了一个反向步骤(Reverse Step)，用以自动改善伪标签质量，从而避免设定或调整可信度阈值。直观地说，源领域上的标签既包含可以迁移到目标领域的有用信息，也包含可能使目标领域伪标签不正确的有害信息。类似地，目标领域上可靠的伪标签应当可以反过来迁移到源领域，而在目标领域上使用不正确的伪标签训练得到的模型应当无法迁移到源领域。从这个意义上讲，如果我们显式地训练模型，使目标领域的伪标签为源领域提供有用信息，那么我们就可以逐渐改善伪标签质量，并使自训练得到的模型可以泛化到目标领域。

具体地，使用源领域模型生成的伪标签(如上式)，在共享表征上训练另一个目标分类器 ，

我们希望目标领域伪标签能够为源领域提供有用信息，并在此过程中获得逐步改善。为此，我们更新共享表征 ，使 和 在源领域上准确率尽量高，这自然引出了循环自训练(CST)的目标函数：

我们采用双层优化(Bi-level Optimization)方式来对上式进行最小化，技术细节详见论文。

2. Tsallis熵最小化

机器学习中使用最多的熵函数是Gibbs熵，被现有半监督学习方法广泛用于正则化模型输出和最小化无标记数据预测的不确定性。本文中，我们把Gibbs熵推广为信息论中的Tsallis熵：

其中 是熵指数。注意到 则退化为Gibbs熵， 就是Gini不纯度。

在训练模型时，我们采用半监督学习的思想，进一步控制目标领域预测伪标签的Tsallis熵：

半监督训练增强后的循环自训练(Cycle Self-Training, CST) 整体目标函数如下：

图3显示了二分类问题中Tsallis熵随不同熵指数 的变化情况。直觉上，较小的 对不确定的预测施加更大的惩罚，较大的 允许更多的维度取值相似。这一性质在自训练中至关重要，因为过小的 （如Gibbs熵 ）将使伪标签的不正确维度接近 ，并且在整个训练过程中没有机会得到纠正。我们认为，Tsallis熵对提升自监督学习的安全性具有很大优势，值得相关领域进一步探索。

三、理论

1. 基于扩张假设的领域自适应泛化理论

考虑 分类问题，函数类 。 。 表示源领域标签为 的条件分布，类似地， 表示目标领域标签为 的条件分布。假设， 且 和 的支撑集不相交。对于任意输入 ，考虑 的邻近区域， ， 。 表示目标领域的期望误差。

我们在扩张假设下研究循环自训练(CST)算法。直观地说，这一假设表明，条件分布 和 的位置很近并且形状规则，能够将知识从源领域迁移到目标领域。

扩张假设(Expansion Assumption) ：我们说源领域 PP 和目标领域 满足 -扩张假设 ，如果对任意 ， ， ，有

在扩张假设基础上，我们考虑学习模型在源领域 和目标领域 的稳定性 。我们提出的如下定理表明，当 和 在 表现接近时， 在 上的误差可被 在 上的误差(与我们的循环自训练损失函数一致)所控制。

定理1 . 在扩张假设基础上，如果 且 ,

在有限样本条件下，我们进一步推导了基于拉德马赫复杂性(Rademacher Complexity)的泛化误差界，具体技术细节详见论文。

2. 标准自训练和不变表征学习的困难情况 考虑一个二次网络和如图3所示的数据分布。 是有效特征，可以从源领域迁移到目标领域， 是不可迁移的特征。我们比较了通过不变表征学习、标准自训练和循环自训练(CST)学习到的特征。直观上，不变表征学习失效是因为正确特征 在特征空间中的距离大于错误特征 。标准自训练也会失效，因为它会在所有特征中随机选择一个，因此成功概率极低。相比之下，循环自训练(CST)则可以学到正确特征，因为使用错误特征的伪标签训练的分类器不能在源领域上有效工作。技术细节详见论文。

图3 标准自训练和不变表征学习失效的困难情况

四、实验

循环自训练(CST)方法在计算机视觉数据集Office-Home、VisDA2017等和自然语言处理数据集Multi-Domain Sentiment上都取得了SOTA效果，部分结果如下。作为一种简单通用高效的算法，CST不局限于任何数据类型、任何网络架构，不依赖任何数据增广方法，并且可以与其他领域自适应方法无缝集成。

五、结论和展望

本文提出用循环自训练(Cycle Self-Training)代替标准自训练，解决了领域自适应中分布偏移的问题。我们从理论上证明了循环自训练可以在扩张假设下工作，并证明了导致不变表征学习和标准自训练失效的困难情况。自训练只是半监督学习中的一种技术，未来工作可以深入研究其他半监督学习技术的在非独立同分布(Non-IID)或开放分布(OOD)条件下的表现，包括一致性正则化数据增广、虚拟对抗训练等。

本文来自：公众号【 THUML】 作者：刘泓

Illustrastion by Anna Golde from Icons8

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线330+期talk视频，900+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，

对用户启发更大的文章，做原创性内容奖励。

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

>> 投稿请添加工作人员微信！

关于我“门”

▼

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

点击“阅读原文”按钮，查看社区原文

⤵一键送你进入TechBeat快乐星球