ICLR 2022 | 如何从分布式数据进行自监督学习

在 ICLR 2022 上，商汤科技-南洋理工大学联合 AI 研究中心 S-Lab 的研究者对联邦自监督学习进行了深入研究，并提出了联邦指数移动平均更新，从而进一步提升联邦自监督学习的性能。 联邦自监督学习旨在从多个无标签数据源，在隐私保护的前提下，进行自监督学习，从而能被进一步用在下游任务上。

论文地址： https://weiming.me/publication/fedssl/

一、问题和挑战

最近几年来，无监督/自监督视觉表示学习的研究已经取得了一定成果，在 ImageNet数据集上，一些自监督学习的方法已经可以媲美监督学习，而多数的这些方法基于一个假设 – 数据可以采集和存储在一个中心的服务器上。随着近几年边端设备数量的暴增，这些设备产生了海量的数据，比如手机拍照和路边摄像头产生了大量图片，如果将这些图片都上传收集到一个中心服务器，会产生一定的隐私泄露的隐患，比如泄露个人的敏感信息和位置信息。此外，这些图片产生之后天然不带有标签，对这些图片进行人工标注费时费力。

在前一个工作（FedU）中 [1]，我们提出了分布式自监督表示学习 FedU 来解决这个问题：FedU 运用了孪生神经网络，能够有效地从多个数据源进行无监督表示学习。近年来，有许多主流的使用孪生神经网络进行自监督学习的方法，FedU 中主要采用了 BYOL [2]，但是其他的孪生网络方法、结构和组件的影响对联邦自监督学习的影响，仍未被深入研究。

二、深入分析联邦自监督学习

为了解决上述问题，我们首先提出了联邦自监督学习框架 (FedeSSL)，这个框架适用于多种现有的基于孪生神经网络的自监督学习，也提供了灵活的可扩展性以适用于未来新的自监督学习方法。这个框架主要包括三个主要步骤来进行联邦自监督训练 (图1)：

1. 本地训练：每个边端采用孪生神经网络使用本地数据进行自监督对比学习。

2. 模型通信：每个边端将训练好的模型上传到云端、将云端聚合后的模型更新到边端。

3. 模型聚合：云端聚合边端上传的模型，产生新的模型。

这三个步骤组成了一回合的训练，FedSSL 不断迭代这三个步骤，直到完成训练。接下来，我们进一步介绍每部分的内容。

图1 联邦自监督学习 (FedSSL) 框架及训练流程图本地训练

每回合都有部分选中的边端进行自监督学习。基于孪生神经网络的自监督学习可以抽象成两个网络相互监督训练，一个在线网络和一个目标网络。训练流程如下：

1. 对于一张图片，选取两种不同的随机图像变换（剪裁、水平翻转、颜色变换等）。

2. 将两种不同的变换分别通过在线网络和目标网络、在线网络和目标网络输出一个向量，再对这两个向量计算损失函数。

3. 更新在线网络和目标网络。

不同的自监督学习方法，设计了不同在线网络模型和目标网络更新方法。我们重点考虑4种现在被大家广泛接受的自监督学习方法：BYOL [2], SimSiam [3], MoCo [4], SimCLR [5]。这4种方法主要有两个维度的不同 (图2)：

1. 在线网络是否有预测器：BYOL 和 SimSiam 的在线网络有预测器，而 MoCo 和 SimCLR 没有。

2. 在线网络和目标网络的模型参数是否完全一样：SimSiam 和 SimCLR 的两个网络参数相同，而 BYOL 和 MoCo (V1 和 V2) 的目标网络参数是在线网络参数的指数移动平均 (EMA)。

图2 4种基于孪生神经网络的自监督学习方法模型通信

FedSSL 的训练过程中，云端和边端之间需要频繁通信，而每个边端本地有两个网络模型， 因此两个关键的问题是：

1. 在模型上传时，是上传在线网络、目标网络、还是二者都上传？

2. 在模型更新时，是更新在线网络、目标网络、还是二者都更新？

我们之前的工作[1]中通过实验证明了上传并更新在线网络的性能最佳。

模型聚合

我们采用了传统联邦学习的模型聚合方法，计算上传的模型参数的加权平均，以得到新的模型参数。其中，权重为每个边端的数据量。

结论总结

基于联邦自监督学习框架，我们进行了大量的实验，深入的研究了预测器、不通过梯度更新目标网络 (stop-gradient)、在线网络和目标网络的更新方法对于整体性能的影响。以下是我们最重要的实验发现 (具体的实验结果可以参考论文)：

1. 预测器是必要的。

2. 目标网络的更新：指数移动平均 (EMA) 和 不通过梯度更新目标网络 (stop-gradient) 有助于提高性能。

3. 目标网络应该从在线网络获取“知识”，可以理解为目标网络的模型参数应该直接或间接地被在线网络的模型参数影响。

4. 在数据异构的场景中，每个边端的在线网络应该保留一些本地“知识”，而不是完全被云端聚合后的模型更新替换。数据异构的意思是多个边端的数据之间是非独立同分布的，比如总共有十个类别的数据，边端只包含了其中随机两个类的数据。

基于实验结论，我们使用 BYOL 作为边端本地训练的基础方法，因为 BYOL 的孪生网络中包含了前面提到的能够进一步提升性能的重要组件。

图3 展示了用独立同分布和非独立同分布数据在联邦学习训练中产生的模型发散的现象

在联邦学习训练过程中，数据异构可能会导致模型发散(图3)。基于第四点结论（在数据异构的场景中，每个边端的在线网络应该保留一些本地“知识”），我们进一步提出了联邦指数移动平均更新（FedEMA）以更好的解决联邦学习中数据异构的问题 (图4)。传统联邦学习的更新方法，直接用云端聚合后的模型参数替换边端上的模型参数，导致边端上的在线网络没能保留和本地数据联系更相关的知识，FedEMA 采用了指数移动平均的方法更新在线网络，既保留了一部分在线网络的知识，也让在线网络能够融合一部分云端聚合模型的知识。

图4 联邦指数移动平均更新 (FedEMA)

FedEMA 更新的具体公式如下：

和 分别是边端的在线网络和云端全局网络在第 回合的模型参数， 和 分别是边端 的预测器和全局预测器在第 回合的模型参数， 是指数移动平均的加权权重。 取值范围在0到1之间，当 时，FedEMA 等价于 FedBYOL。根据不同的数据异构性程度，我们可调节Scaler 来得到合适的 的值。 衡量的是云端网络和边端 前一回合的在线网络的发散程度，值越大表示发散程度越大。当发散程度较大时，我们得到比较大的 ，从而在模型更新时更多地使用边端前一回合模型；当发散度较小时，我们得到比较小的 ，从而在模型更新时更多地使用云端聚合模型。除此之外，我们还提出了 AutoScaler 方法来自动调节 的值，具体的细节可以参考原文。

四、实验结果Linear Evaluation

表1 Linear Evaluation 结果对比

上图是 Linear Evaluation 的结果对比，实验模拟了5个边端的场景，使用自监督对比训练了 100 回合得到模型骨干，然后选取在线网络的模型骨干，使用监督的方法训练一个分类器。FedEMA 的性能比其他的方法以及单个边端训练的结果有显著的提升。论文里还对比半监督衡量的结果，FedEMA 的性能也优于其他的方法。

参数分析

图5 Scaler 和 Autoscaler 参数选择影响

我们进一步分析了 Scaler 和 Autoscaler ，在 CIFAR 数据集上， 时， 的改变对整体性能只有轻微影响； 时， 的值可能会为 1，导致模型更新时没有考虑全局模型。在多数实验里，我们设 为 0.8 - 1。另一方面，Autoscaler 的调整相对更加鲁棒，不同的 都能取得相对不错的效果。

五、结语

在这项工作中，我们首先提出了联邦自监督视觉学习框架 FedSSL，并深入分析了孪生神经网络的基础组件对联邦自监督学习的影响；基于分析结果，我们提出了联邦指数移动平均更新以解决数据异构性的问题。我们希望这个工作能够进一步鼓励并促进在隐私保护的情况下，从分布式数据中进行自监督学习方面的研究。

Reference
[1] Zhuang, Weiming, et al. “Collaborative unsupervised visual representation learning from decentralized data.” ICCV, 2021.
[2] Grill, Jean-Bastien, et al. “Bootstrap your own latent-a new approach to self-supervised learning.” NeuIPS, 2020.
[3] Chen, Xinlei, and Kaiming He. “Exploring simple siamese representation learning.” CVPR, 2021.
[4] He, Kaiming, et al. “Momentum contrast for unsupervised visual representation learning.” CVPR, 2020.
[5] Chen, Ting, et al. “A simple framework for contrastive learning of visual representations.” International conference on machine learning. PMLR, 2020.

公众号：【商汤学术】 作者：庄伟铭

Illustration b y Victoria Chepkasova from icon s8

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线330+期talk视频，900+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

chenhongyuan@thejiangmen.com

或添加工作人员微信（chemn493）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

>> 投稿请添加工作人员微信！

关于我“门”

将门是一家以专注于发掘、加速及投资技术驱动型创业公司的新型创投机构，旗下涵盖将门创新服务、将门技术社群以及将门创投基金。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈

⤵一键送你进入TechBeat快乐星球