在实用的联合学习方案中，参与的设备可能具有不同的位宽，用于按设计进行计算和内存存储。然而，尽管设备异构联合学习方案取得了进展，但硬件中位于位的比值的异质性大多被忽略了。我们介绍了一种务实的FL场景，在参与设备中具有位于刻度的异质性，被称为Bitwidth异质联邦学习（BHFL）。 BHFL提出了一个新的挑战，即具有不同位宽度的模型参数的聚合可能会导致严重的性能变性，尤其是对于高含宽模型。为了解决这个问题，我们提出了ProWD框架，该框架在中央服务器上具有可训练的权重去除剂，该框架逐渐将低位宽度的重量重建为更高的位宽度重量，最后将其重建为完整的重量。 PROWD进一步选择性地汇总了模型参数，以最大程度地提高跨比异质权重的兼容性。我们使用具有不同位低的客户端在基准数据集上的相关FL基准验证了Prowd。我们的prowd在很大程度上优于基线FL算法以及在拟议的BHFL方案下的天真方法（例如，平均分组）。
translated by 谷歌翻译
联合学习的一个关键挑战是客户之间的数据异质性和失衡，这导致本地网络与全球模型不稳定的融合之间的不一致。为了减轻局限性，我们提出了一种新颖的建筑正则化技术，该技术通过在几个不同级别上接管本地和全球子网，在每个本地模型中构建多个辅助分支通过在线知识蒸馏。该提出的技术即使在非IID环境中也可以有效地鲁棒化，并且适用于各种联合学习框架，而不会产生额外的沟通成本。与现有方法相比，我们进行了全面的经验研究，并在准确性和效率方面表现出显着的性能提高。源代码可在我们的项目页面上找到。
translated by 谷歌翻译
联合学习（FL）是一种机器学习范式，可从仍在设备上的分散数据中分发机器学习模型。尽管标准联合优化方法取得了成功，例如FL中的联邦平均（FedAvg），但在文献中，能源需求和硬件诱导的限制因素尚未得到足够的考虑。具体而言，对设备学习的基本需求是，根据整个联邦的能源需求和异质硬件设计，可以将经过训练的模型量化为各种位宽度。在这项工作中，我们介绍了多种联邦平均算法的多种变体，这些算法训练神经网络可靠地进行量化。这样的网络可以量化为各种位宽度，只有有限的精确模型精度降低有限。我们对标准FL基准测试进行了广泛的实验，以评估我们提出的FedAvg变体以量化稳健性，并为我们的fl中的量化变体提供收敛分析。我们的结果表明，整合量化鲁棒性会导致在量化的在设备推断期间，对不同的位宽度明显更健壮的FL模型。
translated by 谷歌翻译
随着对数据隐私和数据量迅速增加的越来越关注，联邦学习（FL）已成为重要的学习范式。但是，在FL环境中共同学习深层神经网络模型被证明是一项非平凡的任务，因为与神经网络相关的复杂性，例如跨客户的各种体系结构，神经元的置换不变性以及非线性的存在每一层的转换。这项工作介绍了一个新颖的联合异质神经网络（FEDHENN）框架，该框架允许每个客户构建个性化模型，而无需在跨客户范围内实施共同的架构。这使每个客户都可以优化本地数据并计算约束，同时仍能从其他（可能更强大）客户端的学习中受益。 Fedhenn的关键思想是使用从同行客户端获得的实例级表示，以指导每个客户的同时培训。广泛的实验结果表明，Fedhenn框架能够在跨客户的同质和异质体系结构的设置中学习更好地表现客户的模型。
translated by 谷歌翻译
最近联合学习（FL）范式的潜在假设是本地模型通常与全局模型共享与全局模型相同的网络架构，这对于具有不同的硬件和基础架构的移动和IOT设备变得不切实际。可扩展的联合学习框架应该解决配备不同计算和通信功能的异构客户端。为此，本文提出了一种新的联合模型压缩框架，它将异构低级模型分配给客户端，然后将它们聚合到全局全级模型中。我们的解决方案使得能够培训具有不同计算复杂性的异构本地模型，并汇总单个全局模型。此外，FEDHM不仅降低了设备的计算复杂性，而且还通过使用低秩模型来降低通信成本。广泛的实验结果表明，我们提出的\ System在测试顶-1精度（平均精度4.6％的精度增益）方面优于现行修剪的液体方法，在各种异构流域下较小的型号尺寸（平均较小为1.5倍） 。
translated by 谷歌翻译
联合学习（FL）可以从云到资源限制的边缘设备分发机器学习工作负载。遗憾的是，当前的深网络不仅对边缘设备的推理和培训造成了太重，而且对于在带宽约束网络上传送更新，也太大了。在本文中，我们开发，实施和实验验证了所谓的联合动态稀疏训练（FEDDST）的新型FL框架，通过该训练可以通过该培训和培训复杂的神经网络，在设备上计算和网络内通信中具有基本上提高的效率。在FEDDST的核心是一个动态过程，可以从目标完整网络中提取和列出稀疏子网。通过这个方案，“两只鸟类用一块石头杀死：”而不是完整的模型，每个客户端都会对自己的稀疏网络进行有效的培训，并且在设备和云之间仅传输稀疏网络。此外，我们的结果表明，在流动训练期间的动态稀疏性更灵活地容纳比固定的共用稀疏面具的局部异质性。此外，动态稀疏性自然地引入了培训动态的“时间自化效应”，即使通过密集训练也会提高流程。在一个现实和挑战的非I.I.D。 FL Setting，FEDDST始终如一地优于我们的实验中的竞争算法：例如，在非IID CIFAR-10上的任何固定上传数据帽时，在给定相同的上传数据帽时，它会在FedVGM上获得令人印象深刻的精度优势;即使在上传数据帽2倍，也可以进一步展示FEDDST的疗效，即使FEDAVGM为2X，即使将FEDAVGM提供精度差距也会保持3％。代码可用：https://github.com/bibikar/feddst。
translated by 谷歌翻译
随着对用户数据隐私的越来越关注，联合学习（FL）已被开发为在边缘设备上训练机器学习模型的独特培训范式，而无需访问敏感数据。传统的FL和现有方法直接在云服务器的同一型号和培训设备的所有边缘上采用聚合方法。尽管这些方法保护了数据隐私，但它们不能具有模型异质性，甚至忽略了异质的计算能力，也可以忽略陡峭的沟通成本。在本文中，我们目的是将资源感知的FL汇总为从边缘模型中提取的本地知识的集合，而不是汇总每个本地模型的权重，然后将其蒸馏成一个强大的全局知识，作为服务器模型通过知识蒸馏。通过深入的相互学习，将本地模型和全球知识提取到很小的知识网络中。这种知识提取使Edge客户端可以部署资源感知模型并执行多模型知识融合，同时保持沟通效率和模型异质性。经验结果表明，在异质数据和模型中的通信成本和概括性能方面，我们的方法比现有的FL算法有了显着改善。我们的方法将VGG-11的沟通成本降低了102美元$ \ times $和Resnet-32，当培训Resnet-20作为知识网络时，最多可达30美元$ \ times $。
translated by 谷歌翻译
在实际情况下，较大的全局图的子图可以分布在多个设备或机构之间，并且仅由于隐私限制而在本地访问，尽管它们之间可能存在链接。最近，拟议的子图联合学习（FL）方法涉及跨私人本地子图的那些缺失的链接，而分布式培训图形神经网络（GNN）。但是，他们忽略了子图中的不可避免的异质性，这是由包含全球图的不同部分的子图引起的。例如，一个子图可能属于较大的全局图中的一个社区之一。在这种情况下，天真的子图FL将从训练有异质图分布的本地GNN模型中崩溃不相容的知识。为了克服这样的局限性，我们引入了一个新的子图FL问题，即个性化的子图FL，该子图专注于相互关联的本地GNN模型的联合改进，而不是学习一个单一的全球GNN模型，并提出了一个新颖的框架，并提出了一个新型的框架，并提出了一个联合的个性化次级学习（ Fed-pub），以解决它。个性化子图FL中的一个至关重要的挑战是服务器不知道每个客户端具有哪个子图。 Fed-pub因此使用随机图作为输入来计算它们之间的相似性，并使用它们执行对服务器端聚合的加权平均。此外，它在每个客户端学习一个个性化的稀疏掩码，以选择和更新聚合参数的子图相关子集。我们考虑了非重叠和重叠子图的六个数据集中的Fed-Pub在六个数据集上的子图FL性能，我们的基本上要优于相关的基线。
translated by 谷歌翻译
联邦学习（FL）试图在本地客户端分发模型培训，而无需在集中式数据中心收集数据，从而消除了数据私人关系问题。 FL的一个主要挑战是数据异质性（每个客户的数据分布可能会有所不同），因为它可能导致本地客户的权重差异并减慢全球融合。当前专为数据异质性设计的SOTA FL方法通常会施加正则化以限制非IID数据的影响，并且是状态算法，即它们随着时间的推移维持局部统计数据。尽管有效，但这些方法只能用于FL的特殊情况，仅涉及少数可靠的客户。对于fl的更典型应用，客户端数量很大（例如，边缘设备和移动应用程序），这些方法无法应用，激发了对任何可用于任何数量客户端使用的无状态方法的无状态方法的需求。我们得出了一阶梯度正则化，以惩罚由于本地数据异质性而导致的本地更新不一致。具体而言，为了减轻权重差异，我们将全局数据分布的一阶近似引入本地目标，该目标凭直觉地惩罚了与全局更新相反方向的更新。最终结果是一种无状态的FL算法，可实现1）在非IID数据分布下，比SOTA方法明显更快地收敛（即较少的通信回合）和2）总体融合性能更高。重要的是，我们的方法不会对客户大小施加不切实际的限制，从而可以从大多数FL应用程序中向大量客户学习。
translated by 谷歌翻译
鲁棒性正成为联合学习的另一个重要挑战，因为每个客户的数据收集过程自然都伴有嘈杂的标签。但是，由于客户的数据异质性和噪音的不同程度，这加剧了客户到客户的性能差异，因此它更加复杂且具有挑战性。在这项工作中，我们提出了一种名为FedRn的强大联合学习方法，该方法利用具有高数据专业知识或相似性的K邻居邻居。我们的方法仅通过一组选定的干净示例训练，通过其结合混合模型确定，有助于减轻低绩效客户端之间的差距。我们通过对三个现实世界或合成基准数据集进行广泛评估来证明FedRN的优势。与现有的强大训练方法相比，结果表明，在嘈杂标签的存在下，联邦烷可显着提高测试准确性。
translated by 谷歌翻译
作为一种有希望的隐私机器学习方法，联合学习（FL）可以使客户跨客户培训，而不会损害其机密的本地数据。但是，现有的FL方法遇到了不均分布数据的推理性能低的问题，因为它们中的大多数依赖于联合平均（FIDAVG）基于联合的聚合。通过以粗略的方式平均模型参数，FedAvg将局部模型的个体特征黯然失色，这极大地限制了FL的推理能力。更糟糕的是，在每一轮FL培训中，FedAvg向客户端向客户派遣了相同的初始本地模型，这很容易导致对最佳全局模型的局限性搜索。为了解决上述问题，本文提出了一种新颖有效的FL范式，名为FEDMR（联合模型重组）。与传统的基于FedAvg的方法不同，FEDMR的云服务器将收集到的本地型号的每一层层混合，并重组它们以实现新的模型，以供客户端培训。由于在每场FL比赛中进行了细粒度的模型重组和本地培训，FEDMR可以迅速为所有客户找出一个全球最佳模型。全面的实验结果表明，与最先进的FL方法相比，FEDMR可以显着提高推理准确性而不会引起额外的通信开销。
translated by 谷歌翻译
今天的数据往往散布数十亿资源受限的边缘设备，具有安全性和隐私约束。联合学习（FL）已成为在保持数据私有的同时学习全球模型的可行解决方案，但FL的模型复杂性被边缘节点的计算资源阻碍。在这项工作中，我们调查了一种新的范例来利用强大的服务器模型来突破FL中的模型容量。通过选择性地从多个教师客户和本身学习，服务器模型开发深入的知识，并将其知识传输回客户端，以恢复它们各自的性能。我们所提出的框架在服务器和客户端模型上实现了卓越的性能，并在统一的框架中提供了几个优势，包括异构客户端架构的灵活性，对各种图像分类任务的客户端和服务器之间的通信效率。
translated by 谷歌翻译
大规模的神经网络具有相当大的表现力。它们非常适合工业应用中的复杂学习任务。但是，在当前联邦学习（FL）范式下，大型模型对训练构成了重大挑战。现有的有效FL训练的方法通常利用模型参数辍学。但是，操纵单个模型参数不仅在训练大规模FL模型时有意义地减少通信开销效率低下，而且还可能不利于缩放工作和模型性能，如最近的研究所示。为了解决这些问题，我们提出了联合的机会障碍辍学方法（FEDOBD）方法。关键的新颖性是，它将大规模模型分解为语义块，以便FL参与者可以机会上传量化的块，这些块被认为对训练该模型非常重要，以供FL服务器进行聚合。基于多个现实世界数据集的五种最先进方法评估FEDOBD的广泛实验表明，与最佳性能基线方法相比，它将整体通信开销降低了70％以上，同时达到了最高的测试准确性。据我们所知，FEDOBD是在块级别而不是在单个参数级别上执行FL模型上辍学的第一种方法。
translated by 谷歌翻译
在点击率（CTR）预测的联合学习（FL）中，用户的数据未共享以保护隐私。学习是通过在客户端设备上本地培训进行的，并仅将模型更改传达给服务器。有两个主要的挑战：（i）客户异质性，制作使用加权平均来汇总客户模型更新的FL算法的进步缓慢且学习结果不令人满意； （ii）由于每个实验所需的大量计算时间和资源，因此使用反复试验方法调整服务器学习率的困难。为了应对这些挑战，我们提出了一种简单的在线元学习方法，以学习汇总模型更新的策略，该方法根据客户属性适应客户的重要性并调整更新的步骤大小。我们在公共数据集上进行广泛的评估。我们的方法在收敛速度和最终学习结果的质量方面都大大优于最先进的方法。
translated by 谷歌翻译
联合学习（FL）框架使Edge客户能够协作学习共享的推理模型，同时保留对客户的培训数据的隐私。最近，已经采取了许多启发式方法来概括集中化的自适应优化方法，例如SGDM，Adam，Adagrad等，以提高收敛性和准确性的联合设置。但是，关于在联合设置中的位置以及如何设计和利用自适应优化方法的理论原理仍然很少。这项工作旨在从普通微分方程（ODE）的动力学的角度开发新的自适应优化方法，以开发FL的新型自适应优化方法。首先，建立了一个分析框架，以在联合优化方法和相应集中优化器的ODES分解之间建立连接。其次，基于这个分析框架，开发了一种动量解耦自适应优化方法FedDA，以充分利用每种本地迭代的全球动量并加速训练收敛。最后但并非最不重要的一点是，在训练过程结束时，全部批处理梯度用于模仿集中式优化，以确保收敛并克服由自适应优化方法引起的可能的不一致。
translated by 谷歌翻译
个性化联合学习（FL）是佛罗里达州的一个新兴研究领域，在客户之间存在数据异质性的情况下，可以学习一个易于适应的全球模型。但是，个性化FL的主要挑战之一是，由于客户数据与服务器隔离以确保隐私，因此非常依赖客户的计算资源来计算高阶梯度。为了解决这个问题，我们专注于服务器可以独立于客户数据独立于客户数据的问题设置，这是各种应用程序中普遍的问题设置，但在现有文献中相对尚未探索。具体而言，我们提出了FedSim，这是一种针对个性化FL的新方法，该方法积极利用此类服务器数据来改善服务器中的元梯度计算以提高个性化性能。在实验上，我们通过各种基准和消融证明了FEDSIM在准确性方面优于现有方法，通过计算服务器中的完整元梯度，在计算上更有效，并且收敛速度高达34.2％。
translated by 谷歌翻译
近年来，个性化联邦学习（PFL）引起了越来越关注其在客户之间处理统计异质性的潜力。然而，最先进的PFL方法依赖于服务器端的模型参数聚合，这需要所有模型具有相同的结构和大小，因此限制了应用程序以实现更多异构场景。要处理此类模型限制，我们利用异构模型设置的潜力，并提出了一种新颖的培训框架，为不同客户使用个性化模型。具体而言，我们将原始PFL中的聚合过程分为个性化组知识转移训练算法，即KT-PFL，这使得每个客户端能够在服务器端维护个性化软预测以指导其他人的本地培训。 KT-PFL通过使用知识系数矩阵的所有本地软预测的线性组合更新每个客户端的个性化软预测，这可以自适应地加强拥有类似数据分布的客户端之间的协作。此外，为了量化每个客户对他人的个性化培训的贡献，知识系数矩阵是参数化的，以便可以与模型同时培训。知识系数矩阵和模型参数在每轮梯度下降方式之后的每一轮中可替代地更新。在不同的设置（异构模型和数据分布）下进行各种数据集（EMNIST，Fashion \ _Mnist，CIFAR-10）的广泛实验。据证明，所提出的框架是第一个通过参数化群体知识转移实现个性化模型培训的联邦学习范例，同时实现与最先进的算法比较的显着性能增益。
translated by 谷歌翻译
联合学习是一种强大的分布式学习方案，它允许许多边缘设备在不共享数据的情况下协作训练模型。但是，培训是边缘设备的资源密集型，而有限的网络带宽通常是主要的瓶颈。先前的工作通常通过将模型或消息凝结成紧凑的格式（例如，通过梯度压缩或蒸馏）来克服约束。相比之下，我们提出了Progfered，这是第一个渐进式培训框架，用于有效有效的联盟学习。它固有地降低了计算和双向通信成本，同时保持最终模型的强劲性能。从理论上讲，我们证明了渐进式的渐近率与完整模型上的标准培训相同。在包括CNN（VGG，Resnet，Convnets）和U-Nets在内的广泛体系结构以及从简单分类到医疗图像细分的各种任务的广泛结果表明，我们的高效培训方法可节省高达$ 20 \％的计算至$ 63 \％$ $汇聚型号的通信成本。由于我们的方法也与先前的压缩工作相称，因此我们可以通过结合这些技术来实现广泛的权衡，显示出最高$ 50 \ times $的通信仅为$ 0.1 \％\％$ $ $ $。代码可从https://github.com/a514514772/progfed获得。
translated by 谷歌翻译
当客户具有不同的数据分布时，最新的联合学习方法的性能比其集中式同行差得多。对于神经网络，即使集中式SGD可以轻松找到同时执行所有客户端的解决方案，当前联合优化方法也无法收敛到可比的解决方案。我们表明，这种性能差异很大程度上可以归因于非概念性提出的优化挑战。具体来说，我们发现网络的早期层确实学习了有用的功能，但是最后一层无法使用它们。也就是说，适用于此非凸问题的联合优化扭曲了最终层的学习。利用这一观察结果，我们提出了一个火车征征训练（TCT）程序来避开此问题：首先，使用现成方法（例如FedAvg）学习功能；然后，优化从网络的经验神经切线核近似获得的共透性问题。当客户具有不同的数据时，我们的技术可在FMNIST上的准确性提高高达36％，而CIFAR10的准确性提高了 +37％。
translated by 谷歌翻译
联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。
translated by 谷歌翻译