编码的计算技术为分布式计算中的贸易管理者提供鲁棒性。但是，大多数现有计划都需要精确地配置争吵行为，并忽略通过谋杀工人执行的计算。此外，这些方案通常被设计为准确地恢复所需的计算结果，而在许多机器学习和迭代优化算法中，已知更快的近似解决方案导致整体收敛时间的改善。在本文中，我们首先引入一种新的编码矩阵 - 向量乘法方案，称为组成的编码计算，其中部分恢复（CCPR），这有利于编码和未编码的计算方案的优点，并减少了计算时间和解码复杂度允许在准确性和计算速度之间进行权衡。然后，我们通过提出具有部分恢复的编码通信方案来扩展这种方法来分发更多一般计算任务，其中在传送之前编码由工人计算的子任务的结果。大型线性回归任务的数值模拟确认了所提出的分布式计算方案的优势，在计算准确性和延迟之间的权衡方面具有部分恢复。

We consider distributed learning in the presence of slow and unresponsive worker nodes, referred to as stragglers. In order to mitigate the effect of stragglers, gradient coding redundantly assigns partial computations to the worker such that the overall result can be recovered from only the non-straggling workers. Gradient codes are designed to tolerate a fixed number of stragglers. Since the number of stragglers in practice is random and unknown a priori, tolerating a fixed number of stragglers can yield a sub-optimal computation load and can result in higher latency. We propose a gradient coding scheme that can tolerate a flexible number of stragglers by carefully concatenating gradient codes for different straggler tolerance. By proper task scheduling and small additional signaling, our scheme adapts the computation load of the workers to the actual number of stragglers. We analyze the latency of our proposed scheme and show that it has a significantly lower latency than gradient codes.

在本章中，我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题，并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说，可以协同地培训联合模型，而每个参与设备的数据仍然是本地的数据。这个地址，一些延伸，隐私问题。它们还提供计算可扩展性，因为它们允许利用分布在许多边缘设备的计算资源。然而，在实践中，这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外，无线设备在其计算能力中具有高度异构，并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此，考虑到时变通信网络的影响以及器件的异构和随机计算能力，必须仔细设计分布式学习算法，特别是在无线网络边缘实现的算法。

大量的现代机器学习任务要求将大规模分布式簇作为训练管道的关键组成部分。但是，工人节点的异常拜占庭行为可能会使训练脱轨并损害推理的质量。这种行为可以归因于无意的系统故障或精心策划的攻击；结果，一些节点可能会将任意结果返回到协调培训的参数服务器（PS）。最近的工作考虑了广泛的攻击模型，并探索了强大的聚合和/或计算冗余以纠正扭曲的梯度。在这项工作中，我们考虑攻击模型从强大的攻击模型：$ q $无所不知的对手，对防御协议充分了解可以从迭代变为迭代变为弱者：$ q $随机选择的对手有限，勾结能力只会改变每一个，一次迭代很少。我们的算法依赖于冗余任务分配以及对抗行为的检测。对于强烈的攻击，我们证明，与先前的最新时间相比，扭曲梯度的比例从16 \％-99 \％降低。与最先进的攻击相比，我们在CIFAR-10数据集上的TOP-1分类准确性结果表明，在最复杂的攻击下，准确性（平均和弱方案平均）的优势（平均相对于强度和弱方案平均）。

使用分布式学习培训具有大数据集的复杂模型的主要挑战之一是处理陷阱效果。作为解决方案，最近提出了对计算任务有效地增加了冗余的编码计算。在该技术中，跨数据集使用编码，并且计算在编码数据上完成，使得具有特定大小的工作节点的任意子集的结果足以恢复最终结果。这些方法的主要挑战是（1）它们仅限于多项式函数计算，（2）服务器子集的大小，我们需要等待数据集大小的乘法和模型复杂性的乘法（多项式的程度），其可能过大，（3）它们对实际数字的计算不是数值稳定的。在本文中，我们将Berrut近似编码计算（BACC）提出，作为替代方法，其不限于多项式函数计算。此外，主节点可以使用可用工作人员节点的任何任意子集的结果大致计算最终结果。近似方法被证明具有低计算复杂性的数值稳定。另外，理论上建立近似的准确性并通过仿真验证导致不同的设置，例如分布式学习问题。特别地，BACC用于在一组服务器上训练深度神经网络，这在收敛速率方面优于重复计算（重复编码）。

我们考虑分布式SGD问题，其中主节点在$ n $工人之间分配梯度计算。通过将任务分配给所有工人，只等待$ k $最快的工人，主节点可以随着算法的发展而逐渐增加$ k $，可以权衡算法的错误。但是，这种策略被称为自适应$ k $ -sync，忽略了未使用的计算的成本和向揭示出散布行为的工人进行交流模型的成本。我们提出了一个成本效益的计划，将任务仅分配给$ k $工人，并逐渐增加$ k $。我们介绍了组合多臂匪徒模型的使用来了解哪些工人在分配梯度计算时最快。假设具有指数分布的响应时间以不同方式参数的工人，我们会以我们的策略的遗憾（即学习工人的平均响应时间花费的额外时间）提供经验和理论保证。此外，我们提出和分析适用于大量响应时间分布的策略。与自适应$ k $ -sync相比，我们的计划通过相同的计算工作和较小的下行链路通信在速度较低的情况下，误差大大降低。

我们提出了两种新颖的编码联合学习（FL）方案，用于减轻乐曲设备的效果。第一种方案，CodedPaddedFL，减轻了乐谱装置的效果，同时保留了传统的隐私水平。特别地，它将一次性填充与梯度码相结合，以产生对讨论设备的弹性。要将一次性填充应用于真实数据，我们的计划利用数据的定点算术表示。对于具有25个设备的场景，CodedPaddedFL与传统FL相比，CodedPaddedFL分别在MM师和时尚-MNIST数据集中获得6.6和9.2的速度增速因子为6.6和9.2。此外，与Prakash \ Emph {等人}最近提出的方案相比，它在延迟方面产生了类似的性能。没有额外的私人数据泄漏的缺点。第二个方案CodedSecagg提供落后和防止模型反转攻击的稳健性，并基于Shamir的秘密共享。 CodedSecagg优先于最先进的安全聚合方案，如6.6-14.6的加速因子，这取决于拼写设备的数量，在具有120个设备的场景的MNIST数据集上，以牺牲与CodedPaddedFL相比，延迟增加了30 \％。

壁钟收敛时间和通信负载是参数服务器设置中随机梯度下降（SGD）的分布式实现的关键性能度量。通信 - 自适应分布式ADAM（CADA）已被提议通过自适应选择减少沟通负荷的方式。 CADA在存在陷阱器的壁时钟收敛时间方面进行性能退化。本文提出了一种名为基于分组的CADA（G-CADA）的小说方案，该方案保留了CADA的优势在减少通信负荷时，同时提高了工人额外储存成本的稳健性。 G-CADA将工人分配到分配相同数据分片的工人组。组在每次迭代时自适应地安排组，并且服务器仅等待每个所选组中最快的工作者。我们提供分析和实验结果，以便在其他基准方案中详细说明G-CADA的壁钟时间和通信负载和计算负荷的显着增益。

Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.

最先进的机器学习模型在大规模分布式集群上常规培训。粗略地，当一些计算设备表现出异常（拜占庭）行为并将任意结果返回到参数服务器（PS）时，这种系统可能会受到损害。此行为可能归因于多种原因，包括系统故障和策划攻击。现有工作表明强大的聚合和/或计算冗余，以减轻扭曲渐变的效果。然而，当对手知道任务任务时，大多数这些方案都无效，并且可以明智地选择攻击的工人来诱导最大损害。我们所提出的方法ASPIS使用基于子集的分配为工作节点分配梯度计算，该分配允许对工作节点的行为进行多个一致性检查。通过中央节点检查计算出的梯度和后处理（在适当构造的图中的Clique-Conceping）允许有效的检测和随后从训练过程中排除对手。在弱势和强劲的攻击下，我们证明了拜占庭的复原力和检测保证，并广泛评估了各种大规模培训场景的系统。我们的实验的主要指标是测试准确性，与CIFAR-10数据集上的许多最先进的方法相比，我们表现出约30％的显着提高。相应减少损坏梯度的分数范围为16％至99％。

联合学习可以使远程工作人员能够协作培训共享机器学习模型，同时允许在本地保持训练数据。在无线移动设备的用例中，由于功率和带宽有限，通信开销是关键瓶颈。前工作已经利用了各种数据压缩工具，例如量化和稀疏，以减少开销。在本文中，我们提出了一种用于联合学习的预测编码的压缩方案。该方案在所有设备中具有共享预测功能，并且允许每个工作人员发送来自参考的压缩残余矢量。在每个通信中，我们基于速率失真成本选择预测器和量化器，并进一步降低熵编码的冗余。广泛的模拟表明，与其他基线方法相比，甚至更好的学习性能，通信成本可以减少高达99％。

迄今为止，通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计，这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是，下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外，可以使这些系统了解进行交流交流的环境，从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力，从早期改编，语义意识和以任务为导向的通信开始，涵盖了基础，算法和潜在的实现。重点是利用信息理论提供基础的方法，以及学习在语义和任务感知通信中的重要作用。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

我们考虑主人想要在$ n $ Workers上运行分布式随机梯度下降（SGD）算法的设置，每个算法都有一个数据子集。分布式SGD可能会遭受散乱者的影响，即导致延迟的缓慢或反应迟钝的工人。文献中研究的一种解决方案是在更新模型之前等待每次迭代的最快$ k <n $工人的响应，其中$ k $是固定的参数。 $ k $的价值的选择提供了SGD的运行时（即收敛率）与模型错误之间的权衡。为了优化误差折衷，我们研究了在整个算法的运行时，以自适应〜$ k $（即不同的$ k $）调查分布式SGD。我们首先设计了一种自适应策略，用于改变$ k $，该策略根据我们得出的墙壁通行时间的函数，基于上限的上限来优化这种权衡。然后，我们建议并实施一种基于统计启发式的自适应分布式SGD的算法。我们的结果表明，与非自适应实现相比，分布式SGD的自适应版本可以在更少的时间内达到较低的误差值。此外，结果还表明，自适应版本是沟通效率的，其中主人与工人之间所需的通信量小于非自适应版本的沟通量。

编码的分布式计算已成为在大型数据集上执行梯度下降以减轻散乱者和其他故障的常见实践。本文提出了一种新的算法，该算法编码了部分导数本身，并通过对代码字上的衍生代码字进行有损压缩来优化代码，从而最大程度地提高代码字中包含的信息，同时最大程度地减少代码字之间的信息。在优化研究中观察到的事实是，在基于梯度下降的学习算法中，这是在优化研究中观察到的事实的几何后果，因为它有助于避免过度拟合和局部最小值。这与当前在分布式编码计算上进行的许多常规工作相反，该计算的重点是从工人那里恢复所有数据。第二个贡献是，编码方案的低重量性质允许进行异步梯度更新，因为该代码可以迭代地解码。即，可以立即将工人的任务更新到较大的梯度中。方向衍生物始终是方向向量的线性函数。因此，我们的框架很健壮，因为它可以将线性编码技术应用于一般的机器学习框架，例如深神经网络。

基于深度学习的渠道代码设计最近引起了人们的兴趣，可以替代传统的编码算法，尤其是对于现有代码不提供有效解决方案的渠道。通过反馈渠道进行的沟通就是一个这样的问题，最近通过采用各种深度学习体系结构来获得有希望的结果。在本文中，我们为反馈渠道介绍了一种新颖的学习辅助代码设计，称为广义块注意反馈（GBAF）代码，i）使用模块化体系结构，可以使用不同的神经网络体系结构实现；ii）与现有设计相比，错误的可能性提高了误顺序；iii）可以以所需的代码速率传输。

许多深度学习领域都受益于使用越来越大的神经网络接受公共数据训练的培训，就像预先训练的NLP和计算机视觉模型一样。培训此类模型需要大量的计算资源（例如，HPC群集），而小型研究小组和独立研究人员则无法使用。解决问题的一种方法是，几个较小的小组将其计算资源汇总在一起并训练一种使所有参与者受益的模型。不幸的是，在这种情况下，任何参与者都可以通过故意或错误地发送错误的更新来危害整个培训。在此类同龄人的情况下进行培训需要具有拜占庭公差的专门分布式培训算法。这些算法通常通过引入冗余通信或通过受信任的服务器传递所有更新来牺牲效率，从而使它们无法应用于大规模深度学习，在该大规模深度学习中，模型可以具有数十亿个参数。在这项工作中，我们提出了一种新的协议，用于强调沟通效率的安全（容忍）分散培训。

本文通过匹配的追求方法开发了一类低复杂设备调度算法，以实现空中联合学习。提出的方案紧密跟踪了通过差异编程实现的接近最佳性能，并且基于凸松弛的众所周知的基准算法极大地超越了众所周知的基准算法。与最先进的方案相比，所提出的方案在系统上构成了较低的计算负载：对于$ k $设备和参数服务器上的$ n $ antennas，基准的复杂性用$ \ left缩放（n^）2 + k \ right）^3 + n^6 $，而提出的方案量表的复杂性则以$ 0 <p，q \ leq 2 $为$ k^p n^q $。通过CIFAR-10数据集上的数值实验证实了所提出的方案的效率。

如今，各种机器学习（ML）应用程序在无线网络边缘提供连续数据处理和实时数据分析。分布式ML解决方案受到资源异质性严重挑战，特别是所谓的脱柱效应。为了解决此问题，我们设计一种用于设备的新设备到设备（D2D）辅助编码联合学习方法（D2D-CFL），用于在特征隐私泄漏时跨设备负载平衡。所提出的解决方案捕获系统动态，包括数据（时间依赖学习模型，数据到达的各种强度），设备（不同的计算资源和培训数据量）和部署（各种位置和D2D图连接）。我们得出了最佳压缩速率，以实现最小处理时间并建立与收敛时间的连接。由此产生的优化问题提供了次优压缩参数，其提高了总培训时间。我们所提出的方法有利于实时协同应用，用户不断地生成培训数据。

车辆到车辆（V2V）通信的性能在很大程度上取决于使用的调度方法。虽然集中式网络调度程序提供高V2V通信可靠性，但它们的操作通常仅限于具有完整的蜂窝网络覆盖范围的区域。相比之下，在细胞外覆盖区域中，使用了相对效率低下的分布式无线电资源管理。为了利用集中式方法的好处来增强V2V通信在缺乏蜂窝覆盖的道路上的可靠性，我们建议使用VRLS（车辆加固学习调度程序），这是一种集中的调度程序，该调度程序主动为覆盖外的V2V Communications主动分配资源，以前}车辆离开蜂窝网络覆盖范围。通过在模拟的车辆环境中进行培训，VRL可以学习一项适应环境变化的调度策略，从而消除了在复杂的现实生活环境中对有针对性（重新）培训的需求。我们评估了在不同的移动性，网络负载，无线通道和资源配置下VRL的性能。 VRL的表现优于最新的区域中最新分布式调度算法，而无需蜂窝网络覆盖，通过在高负载条件下将数据包错误率降低了一半，并在低负载方案中实现了接近最大的可靠性。