联邦学习国际研讨会圆满落幕，谁中了最佳论文？

作者 | 陈彩娴

今年1月7日至15日，原定于日本横滨举行的人工智能国际顶会 IJCAI 2020 因为疫情原因转为线上举办。

期间，由微众银行、苹果、香港科技大学等机构联合举办的联邦学习国际研讨会（International Workshop on Federated Learning for User Privacy and Data Confidentiality）于1月8日线上召开，来自联邦学习研究方向的多位知名研究者在会上围绕隐私保护与数据加密两大目标进行了回顾、讨论与展望。

在数字时代，随着社会各界对隐私与数据保护的日益关注，各国政府接连出台了禁止数据交换聚合的相关法规，如欧盟的通用数据保护法规（GDPR），使得依赖海量数据发展的人工智能技术也遭遇了前所未有的挑战。在新的监管框架下，如果在未经用户明确授权的情况下使用用户数据来构建AI模型，则被视为违反法律。

在这种严峻的情况下，联邦学习（Federated Learning）作为一种新的机器学习方法破空而出，因其能够达到“数据不出本地”、“可用不可见”的效果而得到前瞻科研人员的重视。

在会上，来自洛桑联邦理工学院计算机系的教授 Boi Faltings 针对联邦学习的发展激励机制进行了主题演讲。Faltings教授深耕人工智能领域多年，担任AAAI Fellow、欧洲人工智能协调委员会会员，对联邦学习有自己的见解。针对参与者自主选择所贡献的数据、从而导致数据可能出现偏差的问题，Faltings教授认为可以通过给参与者提供激励来避免，但在建立激励机制的过程中要确保只奖励提供真实准确数据的参与者。

来自杜克大学电子与计算工程系的陈怡然教授则对联邦学习的可扩展性与异构感知进行了探讨。陈怡然教授是IEEE Fellow、ACM杰出会员，曾担任多个IEEE和ACM期刊的副主编，并在60多个国际会议的技术和组织委员会任职。陈怡然教授提到，联邦学习已成为部署移动深度学习应用的常用方法之一，但跨设备停留的数据在统计上是异构的（即非IID数据分发），且移动设备的通信带宽通常有限，这会阻碍联邦学习在实践中的应用。

针对联邦学习技术的不同发展瓶颈，致力于数据隐私保护研究的科研人员不约而同，针对不同的问题进行了努力。那么，在推动联邦学习发展中，有哪些表现较好的领先科研者与研究成果呢？

本届联邦学习国际研讨会一共录用了 14 篇论文，论文作者们——14位来自科研与产业一线的专家分享了各自在联邦学习领域的最新进展。

研讨会从14篇优秀录用论文中评选出 3 篇最佳论文。以下是 3 篇获奖论文的介绍：

1

最佳论文奖

本次研讨会的最佳论文奖授予 Lingjuan Lyu、Xinyi Xu 与 Qian Wang 等人，获奖工作为“Collaborative Fairness in Federated Learning”。

论文链接： https://arxiv.org/pdf/2008.12161.pdf

github地址：https://github.com/XinyiYS/CollaborativeFairFederatedLearning

在当前的深度学习范式中，本地训练与Standalone框架所产生的结果往往是造成过度拟合，泛化性也较差。虽然这个问题可以通过分布式学习或联邦学习，利用一个参数服务器汇总来自各个参与者的模型更新来解决，但是，现有的大多数分布式学习或联邦学习框架都忽略了参与过程中的合作公平性问题。其中一个表现就是，无论贡献程度如何，所有参与者都可以使用完全相同和相似的模型。

为了解决联邦学习中的合作公平性的问题，这篇工作提出了一种新的框架：CFFL（Collaborative Fair Federated Learning (CFFL)）。该框架使用信誉指标来强制参与者收敛至不同的模型，从而在不损害预测性能的情况下实现合作公平。研究人员在基准数据集上进行了大量实验，发现CFFL能够帮助实现高度合作公平性，取得相当于两个分布式框架的准确性，且性能优于 Standalone 框架。

2

最佳学生论文奖

本次研讨会的最佳学生论文奖授予 Zhaoxiong Yang、Shuihai Hu 与 Kai Chen 等人，获奖工作为“FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning”。

论文链接：https://arxiv.org/pdf/2007.10560.pdf

联邦学习倡导利用各种隐私保护机制来保护传输的中间数据，其中，同态加密提供了一种对加密数据进行处理的功能，兼具安全性与易使用性，成为联邦学习的一项重要技术。但同时，复杂的运算和庞大的操作数量会给联邦学习带来巨大的开销。这时，如何更有效地平衡同态加密的准确性与安全性，一直是联邦学习的一个关键问题。

在这项工作中，作者等人提出了一种基于异构硬件的高性能隐私计算解决方案，并设计了一个基于FPGA的同态加密框架，为同态加密的核心操作寻找一个紧凑的体系结构，以适应联邦学习对高加密吞吐量和配置灵活性的要求，旨在为联邦学习的训练阶段提供充足算力。

该框架实现了具有代表性的Paillier同态密码系统，具有高度的灵活性和可移植性，在处理时钟周期、资源使用和时钟频率方面对模乘运算进行了细致的优化。加速器实现了接近最佳的执行时钟周期，比现有的设计具有更好的DSP效率，并且在各种联邦学习模型的训练过程中，使加密时间减少了71%。

3

最佳应用论文奖

本次研讨会的最佳应用论文奖授予 Xu Guo、Pengwei Xing、Siwei Feng、Boyang Li 与 Chunyan Miao 等人，获奖工作为“Federated Learning with Diversified Preference for Humor Recognition”。

论文链接：https://arxiv.org/pdf/2012.01675.pdf

在人与AI交互应用的许多创造性语言建模中，对幽默的了解非常重要。但是，由于听众的认知系统差异性大，每个人对幽默的感知可能非常主观。因此，不同读者在阅读同样一段幽默句子时，对笑点的理解与体会也不一样。这使得训练可适应各种幽默偏好的幽默文本识别模型极具挑战性。

在这篇论文中，作者等人提出了FedHumor方法，通过联邦学习技术，以个性化的方式识别幽默文本内容。FedHumor是一个用联邦学习来微调预训练BERT的模型，能够把个体偏好所产生的幽默标签的分布信息带进联邦训练中，从而实现个性化的幽默内容的推荐。实验表明，与传统的幽默识别方法相比，FedHumor在为具有多种幽默偏好的幽默内容的识别上具有显著优势。

由于微信公众号试行乱序推送，您可能不再能准时收到AI科技评论的推送。为了第一时间收到AI科技评论的报道， 请将“AI科技评论”设为星标账号，以及常点文末右下角的“在看”。