Federated learning enables multiple parties to collaboratively train a machine learning model without communicating their local data. A key challenge in federated learning is to handle the heterogeneity of local data distribution across parties. Although many studies have been proposed to address this challenge, we find that they fail to achieve high performance in image datasets with deep learning models. In this paper, we propose MOON: modelcontrastive federated learning. MOON is a simple and effective federated learning framework. The key idea of MOON is to utilize the similarity between model representations to correct the local training of individual parties,i.e., conducting contrastive learning in model-level. Our extensive experiments show that MOON significantly outperforms the other state-of-the-art federated learning algorithms on various image classification tasks.

联合学习（FL）是一种新兴技术，用于协作训练全球机器学习模型，同时将数据局限于用户设备。FL实施实施的主要障碍是用户之间的非独立且相同的（非IID）数据分布，这会减慢收敛性和降低性能。为了解决这个基本问题，我们提出了一种方法（comfed），以增强客户端和服务器侧的整个培训过程。舒适的关键思想是同时利用客户端变量减少技术来促进服务器聚合和全局自适应更新技术以加速学习。我们在CIFAR-10分类任务上的实验表明，Comfed可以改善专用于非IID数据的最新算法。

联邦学习是一种广泛采用的方法，可以通过分布式数据训练神经网络。一个主要限制是数据异构地分布时发生的性能下降。虽然许多作品已经尝试解决这个问题，但这些方法是因为它们的内容而不是对神经网络的理解。在这项工作中，我们验证了神经网络中只有某些重要层数需要正规化以获得有效的培训。我们还验证了中心内核对齐（CKA）最精确地计算在不同数据上培训的神经网络层之间的相似性。通过在培训期间将基于CKA的正则化应用于重要层，我们显着提高了异构环境的性能。我们展示了Fedcka：一个简单的框架，在各种深度学习任务上出于以前的最先进方法，同时提高了效率和可扩展性。

The statistical heterogeneity of the non-independent and identically distributed (non-IID) data in local clients significantly limits the performance of federated learning. Previous attempts like FedProx, SCAFFOLD, MOON, FedNova and FedDyn resort to an optimization perspective, which requires an auxiliary term or re-weights local updates to calibrate the learning bias or the objective inconsistency. However, in addition to previous explorations for improvement in federated averaging, our analysis shows that another critical bottleneck is the poorer optima of client models in more heterogeneous conditions. We thus introduce a data-driven approach called FedSkip to improve the client optima by periodically skipping federated averaging and scattering local models to the cross devices. We provide theoretical analysis of the possible benefit from FedSkip and conduct extensive experiments on a range of datasets to demonstrate that FedSkip achieves much higher accuracy, better aggregation efficiency and competing communication efficiency. Source code is available at: https://github.com/MediaBrain-SJTU/FedSkip.

由于参与客户的异构特征，联邦学习往往受到不稳定和缓慢的收敛。当客户参与比率低时，这种趋势加剧了，因为从每个轮的客户收集的信息容易更加不一致。为了解决挑战，我们提出了一种新的联合学习框架，这提高了服务器端聚合步骤的稳定性，这是通过将客户端发送与全局梯度估计的加速模型来引导本地梯度更新来实现的。我们的算法自然地聚合并将全局更新信息与没有额外的通信成本的参与者传达，并且不需要将过去的模型存储在客户端中。我们还规范了本地更新，以进一步降低偏差并提高本地更新的稳定性。我们根据各种设置执行了关于实际数据的全面实证研究，与最先进的方法相比，在准确性和通信效率方面表现出了拟议方法的显着性能，特别是具有低客户参与率。我们的代码可在https://github.com/ninigapa0 / fedagm获得

本文介绍了无监督的联合学习框架FEDX。我们的模型从分散和异质的局部数据中学习无偏的表示。它采用对比度学习作为核心组件的双面知识蒸馏，使联合系统可以在不要求客户共享任何数据功能的情况下运行。此外，它的适应性体系结构可以用作联合设置中现有无监督算法的附加模块。实验表明，我们的模型可显着提高五种无监督算法的性能（1.58--5.52pp）。

Federated learning allows multiple clients to collaboratively train a model without exchanging their data, thus preserving data privacy. Unfortunately, it suffers significant performance degradation under heterogeneous data at clients. Common solutions in local training involve designing a specific auxiliary loss to regularize weight divergence or feature inconsistency. However, we discover that these approaches fall short of the expected performance because they ignore the existence of a vicious cycle between classifier divergence and feature mapping inconsistency across clients, such that client models are updated in inconsistent feature space with diverged classifiers. We then propose a simple yet effective framework named Federated learning with Feature Anchors (FedFA) to align the feature mappings and calibrate classifier across clients during local training, which allows client models updating in a shared feature space with consistent classifiers. We demonstrate that this modification brings similar classifiers and a virtuous cycle between feature consistency and classifier similarity across clients. Extensive experiments show that FedFA significantly outperforms the state-of-the-art federated learning algorithms on various image classification datasets under label and feature distribution skews.

在大多数有关联合学习（FL）的文献中，神经网络都是随机重量初始化的。在本文中，我们介绍了一项关于预训练对FL的影响的实证研究。具体而言，我们旨在调查当客户的分散数据是非IID时，预训练是否可以减轻急剧精度下降。我们专注于FedAvg，这是基本和最广泛使用的FL算法。我们发现，在非IID数据下，预培训确实在很大程度上缩小了FedAvg和集中学习之间的差距，但这并不是由于减轻了FedAvg的本地培训中众所周知的模型漂移问题。相反，预培训如何通过使FedAvg的全球聚合更加稳定来帮助FedAvg。当使用真实数据的预训练对于FL不可行时，我们提出了一种新型的方法，可以预先培训合成数据。在各种图像数据集（包括用于分割的一个）上，我们使用合成预训练的方法导致了显着的增益，这实质上是为扩大现实世界应用程序的联合学习而迈出的关键步骤。

联合学习的一个关键挑战是客户之间的数据异质性和失衡，这导致本地网络与全球模型不稳定的融合之间的不一致。为了减轻局限性，我们提出了一种新颖的建筑正则化技术，该技术通过在几个不同级别上接管本地和全球子网，在每个本地模型中构建多个辅助分支通过在线知识蒸馏。该提出的技术即使在非IID环境中也可以有效地鲁棒化，并且适用于各种联合学习框架，而不会产生额外的沟通成本。与现有方法相比，我们进行了全面的经验研究，并在准确性和效率方面表现出显着的性能提高。源代码可在我们的项目页面上找到。

Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.

The ubiquity of edge devices has led to a growing amount of unlabeled data produced at the edge. Deep learning models deployed on edge devices are required to learn from these unlabeled data to continuously improve accuracy. Self-supervised representation learning has achieved promising performances using centralized unlabeled data. However, the increasing awareness of privacy protection limits centralizing the distributed unlabeled image data on edge devices. While federated learning has been widely adopted to enable distributed machine learning with privacy preservation, without a data selection method to efficiently select streaming data, the traditional federated learning framework fails to handle these huge amounts of decentralized unlabeled data with limited storage resources on edge. To address these challenges, we propose a Federated on-device Contrastive learning framework with Coreset selection, which we call FedCoCo, to automatically select a coreset that consists of the most representative samples into the replay buffer on each device. It preserves data privacy as each client does not share raw data while learning good visual representations. Experiments demonstrate the effectiveness and significance of the proposed method in visual representation learning.

联合学习是一个分布式机器学习机制，本地设备在中央服务器的编排中协作培训共享全局模型，同时保留所有私有数据分散。在系统中，传输模型参数及其更新而不是原始数据，因此通信瓶颈已成为一个关键挑战。此外，近期的较大和更深层次的机器学习模型也在将它们部署到联邦环境中的困难造成更多困难。在本文中，我们设计了一个联合的两阶段学习框架，即在设备上使用切割层增强了原型联合学习，并使用基于符号的随机梯度下降与大多数投票方法进行模型更新。剪切图层在设备上学习本地原始数据的信息和低维表示，有助于减少全局模型参数并防止数据泄漏。基于符号的SGD与大多数投票方式进行模型更新，也有助于缓解通信限制。凭经验，我们表明我们的系统是一种有效和隐私，保留联合学习计划和适用于一般应用方案的诉讼。

随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。

作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。

联合学习是一种分布式的机器学习方法，其中单个服务器和多个客户端在不共享客户端数据集的情况下协作构建机器学习模型。联合学习的一个具有挑战性的问题是数据异质性（即，数据分布在客户端可能有所不同）。为了应对这个问题，众多联合学习方法旨在为客户提供个性化的联合学习，并为客户建立优化的模型。尽管现有研究通过经验评估了自己的方法，但这些研究中的实验环境（例如比较方法，数据集和客户设置）彼此不同，目前尚不清楚哪种个性化的联邦学习方法可以实现最佳性能，以及取得多少进展，可以进行多大进展。通过使用这些方法而不是标准（即非个人化）联合学习来制作。在本文中，我们通过全面的实验基准了现有的个性化联合学习的性能，以评估每种方法的特征。我们的实验研究表明，（1）没有冠军方法，（2）大数据异质性通常会导致高准确的预测，并且（3）具有微调的标准联合学习方法（例如FedAvg）通常超过了个性化的联邦学习方法。我们为研究人员开放基准工具FedBench，以通过各种实验环境进行实验研究。

经常引用联合学习的挑战是数据异质性的存在 - 不同客户的数据可能遵循非常不同的分布。已经提出了几种联合优化方法来应对这些挑战。在文献中，经验评估通常从随机初始化开始联合培训。但是，在联合学习的许多实际应用中，服务器可以访问培训任务的代理数据，该数据可用于在开始联合培训之前用于预训练模型。我们从经验上研究了使用四个常见联合学习基准数据集从联邦学习中的预训练模型开始的影响。毫不奇怪，从预先训练的模型开始，比从随机初始化开始时，缩短了达到目标错误率所需的训练时间，并使训练更准确的模型（最高40 \％）。令人惊讶的是，我们还发现，从预先训练的初始化开始联合培训时，数据异质性的效果不那么重要。相反，从预先训练的模型开始时，使用服务器上的自适应优化器（例如\ textsc {fedadam}）始终导致最佳准确性。我们建议未来提出和评估联合优化方法的工作在开始随机和预训练的初始化时考虑性能。我们还认为，这项研究提出了几个问题，以进一步了解异质性在联合优化中的作用。

联合学习（FL）可以培训全球模型，而无需共享存储在多个设备上的分散的原始数据以保护数据隐私。由于设备的能力多样化，FL框架难以解决Straggler效应和过时模型的问题。此外，数据异质性在FL训练过程中会导致全球模型的严重准确性降解。为了解决上述问题，我们提出了一个层次同步FL框架，即Fedhisyn。 Fedhisyn首先根据其计算能力将所有可​​用的设备簇分为少数类别。经过一定的本地培训间隔后，将不同类别培训的模型同时上传到中央服务器。在单个类别中，设备根据环形拓扑会相互传达局部更新的模型权重。随着环形拓扑中训练的效率更喜欢具有均匀资源的设备，基于计算能力的分类减轻了Straggler效应的影响。此外，多个类别的同步更新与单个类别中的设备通信的组合有助于解决数据异质性问题，同时达到高精度。我们评估了基于MNIST，EMNIST，CIFAR10和CIFAR100数据集的提议框架以及设备的不同异质设置。实验结果表明，在训练准确性和效率方面，Fedhisyn的表现优于六种基线方法，例如FedAvg，脚手架和Fedat。

联合学习（FL）是一种机器学习范式，允许分散的客户在不共享其私人数据的情况下进行协作学习。但是，过度的计算和沟通要求对当前的FL框架构成挑战，尤其是在训练大型模型时。为了防止这些问题阻碍FL系统的部署，我们提出了一个轻巧的框架，客户共同学习融合由多个固定预训练的模型生成的表示形式，而不是从SCRATCH培训大型模型。这通过考虑如何从预先训练的模型中捕获更多特定于客户的信息，并共同提高每个客户利用这些现成模型的能力，从而导致我们解决了一个更实用的FL问题。在这项工作中，我们设计了一种联合原型对比度学习（FEDPCL）方法，该方法通过其类原型共享客户的知识，并以原型对比度方式构建特定于客户的表示。共享原型而不是可学习的模型参数可以使每个客户以个性化的方式融合表示表示，同时以紧凑的形式保持共享知识以进行有效的通信。我们在轻量级框架中对拟议的FEDPCL进行了彻底的评估，以测量和可视化其在流行的FL数据集上融合各种预训练模型的能力。

当客户具有不同的数据分布时，最新的联合学习方法的性能比其集中式同行差得多。对于神经网络，即使集中式SGD可以轻松找到同时执行所有客户端的解决方案，当前联合优化方法也无法收敛到可比的解决方案。我们表明，这种性能差异很大程度上可以归因于非概念性提出的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的功能，但是最后一层无法使用它们。也就是说，适用于此非凸问题的联合优化扭曲了最终层的学习。利用这一观察结果，我们提出了一个火车征征训练（TCT）程序来避开此问题：首先，使用现成方法（例如FedAvg）学习功能；然后，优化从网络的经验神经切线核近似获得的共透性问题。当客户具有不同的数据时，我们的技术可在FMNIST上的准确性提高高达36％，而CIFAR10的准确性提高了 +37％。

我们提出了联合动量对比聚类（FEDMCC），这是一个学习框架，不仅可以在分布式本地数据上提取区分性表示，而且可以执行数据群集。在FEDMCC中，转换的数据对通过在线和目标网络都通过，从而确定了四个表示损失的表示。FEDMCC生成的产生的高质量表示可以胜过几种现有的自制学习方法，用于线性评估和半监督学习任务。FEDMCC可以通过我们称为动量对比聚类（MCC）轻松地适应普通的集中聚类。我们表明，MCC在某些数据集（例如STL-10和Imagenet-10）中实现了最先进的聚类精度。我们还提出了一种减少聚类方案的内存足迹的方法。