深北莫FedPall开源，联邦学习破局特征漂移，准确率登顶SOTA

本论文第一作者张勇为北京理工大学医学技术学院计算机技术专业硕士生，主要研究方向为联邦学习，多专家大模型，多任务学习和并行代理。通讯作者是深圳北理莫斯科大学人工智能研究院梁锋博士和胡希平教授。梁锋博士毕业于香港大学计算机科学专业，研究领域为分布式智能，包括分布式系统、分布式机器学习和大规模智能。胡希平教授博士毕业于加拿大不列颠哥伦比亚大学，研究领域为情感智能计算、移动信息物理系统、群智计算。

特征偏移问题是联邦学习数据异构场景下普遍存在的问题，是联邦学习中一个长期存在但尚未充分探索的挑战。特征偏移由于同一类别的样本在不同客户端上表现出不同特征分布的现象，导致决策边界模糊，严重影响了联邦学习模型的分类性能。

针对这个问题，深圳北理莫斯科大学人工智能研究院在 ICCV 上发表了结合原型对比学习和对抗协作学习联合训练的方式，提出了FedPall算法，在多种特征偏移的数据集上均获得 SOTA 性能：

• 客户端与服务器之间引入对抗学习机制，并通过客户端间的协作学习，旨在将特征表示投影到统一特征空间并强化内在类别信息。

• 开发了一种分层整合全局原型与局部特征的技术策略，以协调客户端-服务器端的协作。混合原型特征随后被用于训练全局分类器，通过跨客户端知识整合引导分类器提取判别性模式。

• 论文题目：FedPall: Prototype-based Adversarial and Collaborative Learning for Federated Learning with Feature Drift
• 论文地址：https://arxiv.org/abs/2507.04781
• 项目主页：
  
• https://github.com/DistriAI/FedPall
• 数据集：https://drive.google.com/drive/folders/1xLxaz3zJRqZbTVDzkoAoWZiX50gwZI_4
  

方法：对抗协作和原型学习的联合优化

①全局原型生成：多项研究指出，以类别为中心的原型是一种隐私友好的全局知识形式。我们通过客户端间的协作来聚合并生成全局原型。通常而言，每个类别的类原型由该类别特征向量的均值表示。服务器端通过整合各个客户端传递局部原型信息形成全局原型后，将全局原型转发至各个客户端。

②本地模型训练：在服务器端训练一个共享的全局放大器，在本地利用 KL 散度增强来自不同客户端的特征中的异构信息。并利用 CE 和全局原型对比损失训练一个有效的特征编码器，将来自不同客户端的原始数据映射到统一的特征空间，在此空间内实现特征分布对齐并增强类别相关信息。

③全局模型训练：服务器通过整合来自各客户端的混合特征集及对应客户端 ID 来更新全局放大器，并利用来自客户端的混合原型特征和类别标签更新全局分类器。

④全局分类器分发：我们将全局分类器部署至每个客户端，用以取代原有的本地分类器，此举旨在获得一个更具泛化能力的分类器，从而缓解特征漂移问题。

实测：基准数据集上的出色表现

我们在三个公开可用的特征漂移数据集（Digits、Office-10 和 PACS）上进行了评估，并将 FedPall 框架的性能与经典方法和最先进的基线进行了比较。

如表 1 所示，我们提出的框架在所有三个数据集上都达到了最先进的准确率。

在 Office-10 数据集上，FedPall 框架的总体准确率较第二名方法 ADCOL 高出约 3 个百分点。Digits 数据集的结果显示，FedPall 明显优于所有其他模型，其准确率比第二名模型 FedBN 高出约 1.1 个百分点。该数据集包含相对容易分类的图像，且特征漂移程度较 Office-10 数据集更小，所有基线模型在此数据集上都取得了较好的准确率。

特别值得注意的是，对抗学习有效缓解了 MNIST-M 客户端中的异构信息问题。同样，我们的算法在 PACS 数据集上也表现优异，总体准确率较 FedBN 产生的次优结果高出约 1.1 个百分点。FedPall 在所有子数据集上都取得了第一或第二的准确率。

FedPall 的平均准确率在三个数据集中均持续优于 ADCOL，提升幅度约 1.1 至 3 个百分点。尽管 FedBN 在 Digits 和 PACS 数据集上能相对接近我们方法的准确率，但我们的方法在 Office-10 数据集上以 31.5 个百分点的显著优势超越它。

如前所述，Office-10 数据集源自现实数据，其特征漂移现象尤为突出，且训练集与测试集之间存在显著分布差异，导致 FedBN 方法在该数据集上表现欠佳。相比之下，FedPall 融合对抗学习与协作学习的特殊设计，使其能良好适应 Office-10 数据集的特征。

本研究聚焦于联邦学习中的特征漂移问题。特征漂移问题会导致不同客户端上同类样本呈现显著差异的特征分布，使得传统模型聚合方法难以处理此类数据异质性。目前，该研究仅针对分类任务设计，并在基于图像的数据集上进行评估。

未来，我们计划系统验证该框架在其他模态数据、更多任务类型中的泛化能力。