Clustering has been extensively studied in centralized settings, but relatively unexplored in federated ones that data are distributed among multiple clients and can only be kept local at the clients. The necessity to invest more resources in improving federated clustering methods is twofold: 1) The performance of supervised federated learning models can benefit from clustering. 2) It is non-trivial to extend centralized ones to perform federated clustering tasks. In centralized settings, various deep clustering methods that perform dimensionality reduction and clustering jointly have achieved great success. To obtain high-quality cluster information, it is natural but non-trivial to extend these methods to federated settings. For this purpose, we propose a simple but effective federated deep clustering method. It requires only one communication round between the central server and clients, can run asynchronously, and can handle device failures. Moreover, although most studies have highlighted adverse effects of the non-independent and identically distributed (non-IID) data across clients, experimental results indicate that the proposed method can significantly benefit from this scenario.
translated by 谷歌翻译
事实证明，生成的对抗网络是学习复杂且高维数据分布的强大工具，但是已证明诸如模式崩溃之类的问题使他们难以训练它们。当数据分散到联合学习设置中的几个客户端时，这是一个更困难的问题，因为诸如客户端漂移和非IID数据之类的问题使联盟的平均平均值很难收敛。在这项工作中，我们研究了如何在培训数据分散到客户上时如何学习数据分布的任务，无法共享。我们的目标是从集中进行此分配中进行采样，而数据永远不会离开客户。我们使用标准基准图像数据集显示，现有方法在这种设置中失败，当局部时期的局部数量变大时，会经历所谓的客户漂移。因此，我们提出了一种新型的方法，我们称为Effgan：微调联合gans的合奏。作为本地专家发电机的合奏，Effgan能够学习所有客户端的数据分布并减轻客户漂移。它能够用大量的本地时代进行训练，从而使其比以前的作品更有效。
translated by 谷歌翻译
将知识蒸馏应用于个性化的跨筒仓联合学习，可以很好地减轻用户异质性的问题。然而，这种方法需要一个代理数据集，这很难在现实世界中获得。此外，基于参数平均的全球模型将导致用户隐私的泄漏。我们介绍了一个分布式的三位玩家GaN来实现客户之间的DataFree共蒸馏。该技术减轻了用户异质性问题，更好地保护用户隐私。我们证实，GaN产生的方法可以使联合蒸馏更有效和稳健，并且在获得全球知识的基础上，共蒸馏可以为各个客户达到良好的性能。我们对基准数据集的广泛实验证明了与最先进的方法的卓越的泛化性能。
translated by 谷歌翻译
Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.
translated by 谷歌翻译
Federated学习（FL）最近已成为流行的隐私合作学习范式。但是，它遭受了客户之间非独立和相同分布的（非IID）数据的困扰。在本文中，我们提出了一个新颖的框架，称为合成数据辅助联合学习（SDA-FL），以通过共享合成数据来解决这一非IID挑战。具体而言，每个客户端都预测了本地生成对抗网络（GAN）以生成差异化私有合成数据，这些数据被上传到参数服务器（PS）以构建全局共享的合成数据集。为了为合成数据集生成自信的伪标签，我们还提出了PS执行的迭代伪标记机制。本地私人数据集和合成数据集与自信的伪标签的结合可导致客户之间的数据分布几乎相同，从而提高了本地模型之间的一致性并使全球聚合受益。广泛的实验证明，在监督和半监督的设置下，所提出的框架在几个基准数据集中的大幅度优于基线方法。
translated by 谷歌翻译
隐私法规法（例如GDPR）将透明度和安全性作为数据处理算法的设计支柱。在这种情况下，联邦学习是保护隐私的分布式机器学习的最具影响力的框架之一，从而实现了许多自然语言处理和计算机视觉任务的惊人结果。一些联合学习框架采用差异隐私，以防止私人数据泄漏到未经授权的政党和恶意攻击者。但是，许多研究突出了标准联邦学习对中毒和推理的脆弱性，因此引起了人们对敏感数据潜在风险的担忧。为了解决此问题，我们提出了SGDE，这是一种生成数据交换协议，可改善跨索洛联合会中的用户安全性和机器学习性能。 SGDE的核心是共享具有强大差异隐私的数据生成器，保证了对私人数据培训的培训，而不是通信显式梯度信息。这些发电机合成了任意大量数据，这些数据保留了私人样品的独特特征，但有很大差异。我们展示了将SGDE纳入跨核心联合网络如何提高对联邦学习最有影响力的攻击的弹性。我们在图像和表格数据集上测试我们的方法，利用β变量自动编码器作为数据生成器，并突出了对非生成数据的本地和联合学习的公平性和绩效改进。
translated by 谷歌翻译
The statistical heterogeneity of the non-independent and identically distributed (non-IID) data in local clients significantly limits the performance of federated learning. Previous attempts like FedProx, SCAFFOLD, MOON, FedNova and FedDyn resort to an optimization perspective, which requires an auxiliary term or re-weights local updates to calibrate the learning bias or the objective inconsistency. However, in addition to previous explorations for improvement in federated averaging, our analysis shows that another critical bottleneck is the poorer optima of client models in more heterogeneous conditions. We thus introduce a data-driven approach called FedSkip to improve the client optima by periodically skipping federated averaging and scattering local models to the cross devices. We provide theoretical analysis of the possible benefit from FedSkip and conduct extensive experiments on a range of datasets to demonstrate that FedSkip achieves much higher accuracy, better aggregation efficiency and competing communication efficiency. Source code is available at: https://github.com/MediaBrain-SJTU/FedSkip.
translated by 谷歌翻译
跨不同边缘设备（客户）局部数据的分布不均匀，导致模型训练缓慢，并降低了联合学习的准确性。幼稚的联合学习（FL）策略和大多数替代解决方案试图通过加权跨客户的深度学习模型来实现更多公平。这项工作介绍了在现实世界数据集中遇到的一种新颖的非IID类型，即集群键，其中客户组具有具有相似分布的本地数据，从而导致全局模型收敛到过度拟合的解决方案。为了处理非IID数据，尤其是群集串数据的数据，我们提出了FedDrl，这是一种新型的FL模型，它采用了深厚的强化学习来适应每个客户的影响因素（将用作聚合过程中的权重）。在一组联合数据集上进行了广泛的实验证实，拟议的FEDDR可以根据CIFAR-100数据集的平均平均为FedAvg和FedProx方法提高了有利的改进，例如，高达4.05％和2.17％。
translated by 谷歌翻译
我们提出了联合动量对比聚类（FEDMCC），这是一个学习框架，不仅可以在分布式本地数据上提取区分性表示，而且可以执行数据群集。在FEDMCC中，转换的数据对通过在线和目标网络都通过，从而确定了四个表示损失的表示。FEDMCC生成的产生的高质量表示可以胜过几种现有的自制学习方法，用于线性评估和半监督学习任务。FEDMCC可以通过我们称为动量对比聚类（MCC）轻松地适应普通的集中聚类。我们表明，MCC在某些数据集（例如STL-10和Imagenet-10）中实现了最先进的聚类精度。我们还提出了一种减少聚类方案的内存足迹的方法。
translated by 谷歌翻译
知识共享和模型个性化是应对联邦学习（FL）中非IID挑战的重要组成部分。大多数现有的FL方法侧重于两个极端：1）学习共享模型，以使用非IID数据为所有客户提供服务，以及2）为每个客户（即个性化fl）学习个性化模型。有一个权衡解决方案，即群集或集群个性化的FL，旨在将相似的客户聚集到一个集群中，然后在集群中为所有客户学习共享模型。本文是通过将群集群集制定为可以统一现有方法的双层优化框架来重新审视群集的研究。我们提出了一个新的理论分析框架，以通过考虑客户之间的凝聚力来证明融合。此外，我们以一种称为加权聚类联合学习（WECFL）的算法体现了该框架。经验分析验证了理论结果，并证明了在拟议的集群非IID设置下提出的WECFL的有效性。
translated by 谷歌翻译
我们介绍了一个新颖的联合学习框架FedD3，该框架减少了整体沟通量，并开放了联合学习的概念，从而在网络受限的环境中进行了更多的应用程序场景。它通过利用本地数据集蒸馏而不是传统的学习方法（i）大大减少沟通量，并（ii）将转移限制为一击通信，而不是迭代的多路交流来实现这一目标。 FedD3允许连接的客户独立提炼本地数据集，然后汇总那些去中心化的蒸馏数据集（通常以几个无法识别的图像，通常小于模型小于模型），而不是像其他联合学习方法共享模型更新，而是允许连接的客户独立提炼本地数据集。在整个网络上仅一次形成最终模型。我们的实验结果表明，FedD3在所需的沟通量方面显着优于其他联合学习框架，同时，根据使用情况或目标数据集，它为能够在准确性和沟通成本之间的权衡平衡。例如，要在具有10个客户的非IID CIFAR-10数据集上训练Alexnet模型，FedD3可以通过相似的通信量增加准确性超过71％，或者节省98％的通信量，同时达到相同的准确性与其他联合学习方法相比。
translated by 谷歌翻译
Swarm learning (SL) is an emerging promising decentralized machine learning paradigm and has achieved high performance in clinical applications. SL solves the problem of a central structure in federated learning by combining edge computing and blockchain-based peer-to-peer network. While there are promising results in the assumption of the independent and identically distributed (IID) data across participants, SL suffers from performance degradation as the degree of the non-IID data increases. To address this problem, we propose a generative augmentation framework in swarm learning called SL-GAN, which augments the non-IID data by generating the synthetic data from participants. SL-GAN trains generators and discriminators locally, and periodically aggregation via a randomly elected coordinator in SL network. Under the standard assumptions, we theoretically prove the convergence of SL-GAN using stochastic approximations. Experimental results demonstrate that SL-GAN outperforms state-of-art methods on three real world clinical datasets including Tuberculosis, Leukemia, COVID-19.
translated by 谷歌翻译
联合学习是一种在不违反隐私限制的情况下对分布式数据集进行统计模型培训统计模型的最新方法。通过共享模型而不是客户和服务器之间的数据来保留数据位置原则。这带来了许多优势，但也带来了新的挑战。在本报告中，我们探讨了这个新的研究领域，并执行了几项实验，以加深我们对这些挑战的理解以及不同的问题设置如何影响最终模型的性能。最后，我们为这些挑战之一提供了一种新颖的方法，并将其与文献中的其他方法进行了比较。
translated by 谷歌翻译
聚集的联合学习（FL）已显示通过将客户分组为群集，从而产生有希望的结果。这在单独的客户群在其本地数据的分布方面有显着差异的情况下特别有效。现有的集群FL算法实质上是在试图将客户群体组合在一起，以便同一集群中的客户可以利用彼此的数据来更好地执行联合学习。但是，先前的群集FL算法试图在培训期间间接学习这些分布相似性，这可能会很耗时，因为可能需要许多回合的联合学习，直到群集的形成稳定为止。在本文中，我们提出了一种新的联合学习方法，该方法直接旨在通过分析客户数据子空间之间的主要角度来有效地识别客户之间的分布相似性。每个客户端都以单一的方式在其本地数据上应用截断的奇异值分解（SVD）步骤，以得出一小部分主向量，该量提供了一个签名，可简洁地捕获基础分布的主要特征。提供了一组主要的主向量，以便服务器可以直接识别客户端之间的分布相似性以形成簇。这是通过比较这些主要向量跨越的客户数据子空间之间主要角度的相似性来实现的。该方法提供了一个简单而有效的集群FL框架，该框架解决了广泛的数据异质性问题，而不是标签偏斜的更简单的非iids形式。我们的聚类FL方法还可以为非凸目标目标提供融合保证。我们的代码可在https://github.com/mmorafah/pacfl上找到。
translated by 谷歌翻译
在医学领域，通常寻求多中心协作来通过利用患者和临床数据的异质性来产生更广泛的发现。但是，最近的隐私法规阻碍了共享数据的可能性，因此，提出了支持诊断和预后的基于机器学习的解决方案。联合学习（FL）旨在通过将基于AI的解决方案带入数据所有者，而仅共享需要汇总的本地AI模型或其部分，以避免这种限制。但是，大多数现有的联合学习解决方案仍处于起步阶段，并且由于缺乏可靠和有效的聚合计划能够保留本地学到的知识，从而显示出薄弱的隐私保护，因为可以从模型更新中重建实际数据，因此显示出几个缺点。此外，这些方法中的大多数，尤其是那些处理医学数据的方法，都依赖于一种集中的分布式学习策略，该策略构成了稳健性，可伸缩性和信任问题。在本文中，我们提出了一种分散的分布式方法，该方法从经验重播和生成对抗性研究中利用概念，有效地整合了本地节点的功能，从而提供了能够在维持隐私的同时跨多个数据集进行概括的模型。为了模拟现实的非i.i.d，使用多个数据集对两项任务进行了两项任务测试：结核病和黑色素瘤分类。数据方案。结果表明，我们的方法实现了与标准（未赋予）学习和联合方法相当的性能（因此，更有利）。
translated by 谷歌翻译
在存在参与者的非IID数据分布的情况下，经典联合学习方法会产生明显的绩效降解。当每个本地数据集的分布与全局数据集有很大不同时，每个客户端的本地目标将与全局Optima不一致，从而导致本地更新中的漂移。这种现象极大地影响了客户的表现。这是为了让客户参加联合学习的主要动力是获得更好的个性化模型。为了解决上述问题，我们提出了一种新的算法弗利斯（Flis），该算法通过利用客户模型的推理相似性，将客户人口与可共同训练数据分布的群集分组。该框架捕获了设置，其中不同的用户组具有自己的目标（学习任务），但通过在同一集群（相同的学习任务）中汇总其数据以执行更有效和个性化的联合学习。我们提出了实验结果，以证明FLIS比CIFAR-100/10，SVHN和FMNIST数据集的最先进基准的好处。我们的代码可在https://github.com/mmorafah/flis上找到。
translated by 谷歌翻译
联合学习（FL）以来已提议已应用于许多领域，例如信用评估，医疗等。由于网络或计算资源的差异，客户端可能不会同时更新其渐变可能需要花费等待或闲置的时间。这就是为什么需要异步联合学习（AFL）方法。AFL中的主要瓶颈是沟通。如何在模型性能和通信成本之间找到平衡是AFL的挑战。本文提出了一种新的AFL框架VAFL。我们通过足够的实验验证了算法的性能。实验表明，VAFL可以通过48.23 \％的平均通信压缩速率降低约51.02 \％的通信时间，并允许模型更快地收敛。代码可用于\ url {https://github.com/robai-lab/vafl}
translated by 谷歌翻译
联邦学习（FL）是一种分布式学习方法，它为医学机构提供了在全球模型中合作的前景，同时保留患者的隐私。尽管大多数医疗中心执行类似的医学成像任务，但它们的差异（例如专业，患者数量和设备）导致了独特的数据分布。数据异质性对FL和本地模型的个性化构成了挑战。在这项工作中，我们研究了FL生产中间半全球模型的一种自适应分层聚类方法，因此具有相似数据分布的客户有机会形成更专业的模型。我们的方法形成了几个群集，这些集群由具有最相似数据分布的客户端组成；然后，每个集群继续分开训练。在集群中，我们使用元学习来改善参与者模型的个性化。我们通过评估我们在HAM10K数据集上的建议方法和极端异质数据分布的HAM10K数据集上的我们提出的方法，将聚类方法与经典的FedAvg和集中式培训进行比较。我们的实验表明，与标准的FL方法相比，分类精度相比，异质分布的性能显着提高。此外，我们表明，如果在群集中应用，则模型会更快地收敛，并且仅使用一小部分数据，却优于集中式培训。
translated by 谷歌翻译
一滴联合学习（FL）最近被出现为有希望的方法，允许中央服务器在单个通信中学习模型。尽管通信成本低，但现有的一次性的单次方法大多是不切实际或面临的固有限制，例如，需要公共数据集，客户的型号是同质的，需要上传其他数据/型号信息。为了克服这些问题，我们提出了一种更实用的无数据方法，名为FEDSYN的一枪框架，具有异质性。我们的Fedsyn通过数据生成阶段和模型蒸馏阶段列出全球模型。据我们所知，FEDSYN是由于以下优点，FEDSYN可以实际应用于各种实际应用程序的方法：（1）FEDSYN不需要在客户端之间传输的其他信息（模型参数除外）服务器; （2）FEDSYN不需要任何用于培训的辅助数据集; （3）FEDSYN是第一个考虑FL中的模型和统计异质性，即客户的数据是非IID，不同的客户端可能具有不同的模型架构。关于各种现实世界数据集的实验表明了我们的Fedsyn的优越性。例如，当数据是非IID时，FEDSYN在CIFAR10数据集中优于CEFAR10数据集的最佳基线方法FED-ADI的最佳基准方法。
translated by 谷歌翻译
联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。
translated by 谷歌翻译