我们提出了两种新颖的编码联合学习（FL）方案，用于减轻乐曲设备的效果。第一种方案，CodedPaddedFL，减轻了乐谱装置的效果，同时保留了传统的隐私水平。特别地，它将一次性填充与梯度码相结合，以产生对讨论设备的弹性。要将一次性填充应用于真实数据，我们的计划利用数据的定点算术表示。对于具有25个设备的场景，CodedPaddedFL与传统FL相比，CodedPaddedFL分别在MM师和时尚-MNIST数据集中获得6.6和9.2的速度增速因子为6.6和9.2。此外，与Prakash \ Emph {等人}最近提出的方案相比，它在延迟方面产生了类似的性能。没有额外的私人数据泄漏的缺点。第二个方案CodedSecagg提供落后和防止模型反转攻击的稳健性，并基于Shamir的秘密共享。 CodedSecagg优先于最先进的安全聚合方案，如6.6-14.6的加速因子，这取决于拼写设备的数量，在具有120个设备的场景的MNIST数据集上，以牺牲与CodedPaddedFL相比，延迟增加了30 \％。

我们提出了Swiftagg+，这是一种针对联合学习系统的新颖的安全聚合协议，其中central Server汇总了$ n \ in \ mathbb {n} $分布式用户的本地型号，每个大小$ l \ in \ mathbb {n} $中的每个型号，训练有素，以隐私的方式在其本地数据上。 Swiftagg+可以大大减少通信开销，而不会对安全性进行任何妥协，并在减少差距内实现最佳通信负载。具体而言，最多有$ d = o（n）$ droput用户，Swiftagg+实现了$（1+ \ Mathcal {o}（\ frac {1} {n} {n}））的每个用户通信负载。和$（1+ \ Mathcal {o}（\ frac {1} {n}））的服务器通信负载，具有最差的信息理论安全保证o（n）$半honest用户，也可能与好奇的服务器合谋。此外，拟议的Swiftagg+允许在通信负载和主动通信链接的数量之间进行灵活的权衡。特别是，对于$ t <n-d $，对于任何$ k \ in \ mathbb {n} $，Swiftagg+可以实现$（1+ \ frac {t} {k} {k}）l $符号的服务器通信负载，并且 - 用户通信负载最多$（1+ \ frac {t+d} {k}）l $符号，其中网络中的配对活动连接的数量为$ \ frac {n} {2}（k +T+D+1）$。

Federated learning (FL) has achieved great success as a privacy-preserving distributed training paradigm, where many edge devices collaboratively train a machine learning model by sharing the model updates instead of the raw data with a server. However, the heterogeneous computational and communication resources of edge devices give rise to stragglers that significantly decelerate the training process. To mitigate this issue, we propose a novel FL framework named stochastic coded federated learning (SCFL) that leverages coded computing techniques. In SCFL, before the training process starts, each edge device uploads a privacy-preserving coded dataset to the server, which is generated by adding Gaussian noise to the projected local dataset. During training, the server computes gradients on the global coded dataset to compensate for the missing model updates of the straggling devices. We design a gradient aggregation scheme to ensure that the aggregated model update is an unbiased estimate of the desired global update. Moreover, this aggregation scheme enables periodical model averaging to improve the training efficiency. We characterize the tradeoff between the convergence performance and privacy guarantee of SCFL. In particular, a more noisy coded dataset provides stronger privacy protection for edge devices but results in learning performance degradation. We further develop a contract-based incentive mechanism to coordinate such a conflict. The simulation results show that SCFL learns a better model within the given time and achieves a better privacy-performance tradeoff than the baseline methods. In addition, the proposed incentive mechanism grants better training performance than the conventional Stackelberg game approach.

Federated学习（FL）作为保护分布式机器学习框架引起了很多关注，许多客户通过将模型更新与参数服务器交换而不是共享其原始数据来协作训练机器学习模型。然而，FL培训遭受了缓慢的收敛性和不稳定的性能，这是由于客户的异质计算资源引起的散乱者和沟通率的波动。本文提出了一个编码的FL框架来减轻Straggler问题，即随机编码的联合学习（SCFL）。在此框架中，每个客户端通过将附加噪声添加到其本地数据的随机线性组合中，从而生成一个隐私的编码数据集。服务器从所有客户端收集编码的数据集来构建复合数据集，这有助于补偿散布效果。在培训过程中，服务器和客户端执行迷你批次随机梯度下降（SGD），并且服务器在模型聚合中添加了一个化妆术语，以获得无偏的梯度估计。我们通过共同信息差异隐私（MI-DP）来表征隐私保证，并分析联合学习中的收敛性能。此外，我们通过分析隐私约束对收敛率的影响，证明了拟议的SCFL方法的隐私性绩效权衡。最后，数值实验证实了我们的分析，并显示了SCFL在保持数据隐私的同时实现快速收敛的好处。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

我们考虑了一个联合表示的学习框架，在中央服务器的协助下，一组$ n $分布式客户通过其私人数据协作培训一组实体的表示（或嵌入）（例如，用户在一个中的用户社交网络）。在此框架下，对于以私人方式汇总在客户培训的本地嵌入的关键步骤，我们开发了一个名为SECEA的安全嵌入聚合协议，该协议为一组实体提供信息理论隐私保证，并在每个客户端提供相应的嵌入$同时$ $，对好奇的服务器和最多$ t <n/2 $勾结的客户。作为SECEA的第一步，联合学习系统执行了一个私人实体联盟，让每个客户在不知道哪个实体属于哪个客户的情况下学习系统中的所有实体。在每个聚合回合中，使用Lagrange插值在客户端中秘密共享本地嵌入，然后每个客户端构造编码的查询以检索预期实体的聚合嵌入。我们对各种表示的学习任务进行全面的实验，以评估SECEA的效用和效率，并从经验上证明，与没有（或具有较弱的）隐私保证的嵌入聚合协议相比，SECEA会造成可忽略的绩效损失（5％以内）； SECEA的附加计算潜伏期减小，用于培训较大数据集的更深层次模型。

Machine learning is widely used in practice to produce predictive models for applications such as image processing, speech and text recognition. These models are more accurate when trained on large amount of data collected from different sources. However, the massive data collection raises privacy concerns.In this paper, we present new and efficient protocols for privacy preserving machine learning for linear regression, logistic regression and neural network training using the stochastic gradient descent method. Our protocols fall in the two-server model where data owners distribute their private data among two non-colluding servers who train various models on the joint data using secure two-party computation (2PC). We develop new techniques to support secure arithmetic operations on shared decimal numbers, and propose MPC-friendly alternatives to non-linear functions such as sigmoid and softmax that are superior to prior work. We implement our system in C++. Our experiments validate that our protocols are several orders of magnitude faster than the state of the art implementations for privacy preserving linear and logistic regressions, and scale to millions of data samples with thousands of features. We also implement the first privacy preserving system for training neural networks.

安全聚合是一个流行的保留联合学习中的流行协议，它允许模型聚合，而不会在清除中显示各个模型。另一方面，传统的安全聚合协议产生了显着的通信开销，这可能成为现实世界带宽限制应用中的主要瓶颈。在解决这一挑战方面，在这项工作中，我们提出了一种用于安全聚合的轻量级渐变稀疏框架，其中服务器从大量用户学习Sparsified本地模型更新的聚合，但不学习各个参数。我们的理论分析表明，所提出的框架可以显着降低安全聚合的通信开销，同时确保可比计算复杂性。我们进一步确定了由于稀疏因疏脂而在隐私和沟通效率之间的权衡。我们的实验表明，我们的框架在与传统安全聚合基准相比时，我们的框架将延长到7.8倍降低了高达7.8倍，同时加速了墙上时钟训练时间1.13x。

如今，各种机器学习（ML）应用程序在无线网络边缘提供连续数据处理和实时数据分析。分布式ML解决方案受到资源异质性严重挑战，特别是所谓的脱柱效应。为了解决此问题，我们设计一种用于设备的新设备到设备（D2D）辅助编码联合学习方法（D2D-CFL），用于在特征隐私泄漏时跨设备负载平衡。所提出的解决方案捕获系统动态，包括数据（时间依赖学习模型，数据到达的各种强度），设备（不同的计算资源和培训数据量）和部署（各种位置和D2D图连接）。我们得出了最佳压缩速率，以实现最小处理时间并建立与收敛时间的连接。由此产生的优化问题提供了次优压缩参数，其提高了总培训时间。我们所提出的方法有利于实时协同应用，用户不断地生成培训数据。

联邦机器学习利用边缘计算来开发网络用户数据的模型，但联合学习的隐私仍然是一个重大挑战。已经提出了使用差异隐私的技术来解决这一点，但是带来了自己的挑战 - 许多人需要一个值得信赖的第三方，或者增加了太多的噪音来生产有用的模型。使用多方计算的\ EMPH {SERVE聚合}的最新进步消除了对第三方的需求，但是在计算上尤其在规模上昂贵。我们提出了一种新的联合学习协议，利用了一种基于与错误学习的技术的新颖差异私有的恶意安全聚合协议。我们的协议优于当前最先进的技术，并且经验结果表明它缩放到大量方面，具有任何差别私有联合学习方案的最佳精度。

在本章中，我们将主要关注跨无线设备的协作培训。培训ML模型相当于解决优化问题，并且在过去几十年中已经开发了许多分布式优化算法。这些分布式ML算法提供数据局部性;也就是说，可以协同地培训联合模型，而每个参与设备的数据仍然是本地的数据。这个地址，一些延伸，隐私问题。它们还提供计算可扩展性，因为它们允许利用分布在许多边缘设备的计算资源。然而，在实践中，这不会直接导致整体学习速度的线性增益与设备的数量。这部分是由于通信瓶颈限制了整体计算速度。另外，无线设备在其计算能力中具有高度异构，并且它们的计算速度和通信速率都可能由于物理因素而高度变化。因此，考虑到时变通信网络的影响以及器件的异构和随机计算能力，必须仔细设计分布式学习算法，特别是在无线网络边缘实现的算法。

联合学习（FL）是一种机器学习（ML）技术，旨在减少对用户数据隐私的威胁。培训是使用用户设备上的原始数据（称为客户端）进行的，只有称为梯度的培训结果被发送到服务器进行汇总并生成更新的模型。但是，我们不能假设可以使用私人信息来信任服务器，例如与数据所有者或数据源相关的元数据。因此，将客户信息隐藏在服务器中有助于减少与隐私相关的攻击。因此，客户身份的隐私以及客户数据的隐私是使此类攻击更加困难的必要条件。本文提出了基于组签名的FL的高效和隐私权协议。一个名为GSFL的新组合签名旨在保护客户数据和身份的隐私，而且考虑考虑到联合学习的迭代过程，还大大降低了计算和通信成本。我们表明，在计算，通信和信号成本方面，GSFL优于现有方法。另外，我们表明所提出的协议可以在联合学习环境中处理各种安全攻击。

在联合学习（FL）中，一组参与者共享与将更新结合到全局模型中的聚合服务器在本地数据上计算的更新。但是，将准确性与隐私和安全性进行调和是FL的挑战。一方面，诚实参与者发送的良好更新可能会揭示其私人本地信息，而恶意参与者发送的中毒更新可能会损害模型的可用性和/或完整性。另一方面，通过更新失真赔偿准确性增强隐私，而通过更新聚合损坏安全性，因为它不允许服务器过滤掉单个中毒更新。为了解决准确性私人关系冲突，我们提出{\ em碎片的联合学习}（FFL），其中参与者在将其发送到服务器之前，随机交换并混合其更新的片段。为了获得隐私，我们设计了一个轻巧的协议，该协议允许参与者私下交换和混合其更新的加密片段，以便服务器既不能获得单个更新，也不能将其链接到其发起人。为了实现安全性，我们设计了针对FFL量身定制的基于声誉的防御，该防御根据他们交换的片段质量以及他们发送的混合更新来建立对参与者及其混合更新的信任。由于交换的片段的参数可以保持其原始坐标和攻击者可以中和，因此服务器可以从接收到的混合更新中正确重建全局模型而不会准确损失。四个真实数据集的实验表明，FFL可以防止半冬季服务器安装隐私攻击，可以有效地抵抗中毒攻击，并可以保持全局模型的准确性。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

联合学习（FL）是标准集中学习范式的最吸引人的替代方案之一，允许异质的设备集训练机器学习模型而无需共享其原始数据。但是，FL需要中央服务器来协调学习过程，从而引入潜在的可扩展性和安全性问题。在文献中，已经提出了诸如八卦联合学习（GFL）和支持区块链的联合学习（BFL）之类的无服务器的方法来减轻这些问题。在这项工作中，我们提出了这三种技术的完整概述，该技术根据整体性能指标进行比较，包括模型准确性，时间复杂性，交流开销，收敛时间和能源消耗。广泛的模拟活动允许进行定量分析。特别是，GFL能够节省18％的训练时间，68％的能源和51％的数据相对于CFL解决方案，但无法达到CFL的准确性水平。另一方面，BFL代表了一个可行的解决方案，用于以更高级别的安全性实施分散的学习，以额外的能源使用和数据共享为代价。最后，我们确定了两个分散的联合学习实施的开放问题，并就该新研究领域的潜在扩展和可能的研究方向提供见解。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

Communication and computation are often viewed as separate tasks. This approach is very effective from the perspective of engineering as isolated optimizations can be performed. On the other hand, there are many cases where the main interest is a function of the local information at the devices instead of the local information itself. For such scenarios, information theoretical results show that harnessing the interference in a multiple-access channel for computation, i.e., over-the-air computation (OAC), can provide a significantly higher achievable computation rate than the one with the separation of communication and computation tasks. Besides, the gap between OAC and separation in terms of computation rate increases with more participating nodes. Given this motivation, in this study, we provide a comprehensive survey on practical OAC methods. After outlining fundamentals related to OAC, we discuss the available OAC schemes with their pros and cons. We then provide an overview of the enabling mechanisms and relevant metrics to achieve reliable computation in the wireless channel. Finally, we summarize the potential applications of OAC and point out some future directions.

编码的计算技术为分布式计算中的贸易管理者提供鲁棒性。但是，大多数现有计划都需要精确地配置争吵行为，并忽略通过谋杀工人执行的计算。此外，这些方案通常被设计为准确地恢复所需的计算结果，而在许多机器学习和迭代优化算法中，已知更快的近似解决方案导致整体收敛时间的改善。在本文中，我们首先引入一种新的编码矩阵 - 向量乘法方案，称为组成的编码计算，其中部分恢复（CCPR），这有利于编码和未编码的计算方案的优点，并减少了计算时间和解码复杂度允许在准确性和计算速度之间进行权衡。然后，我们通过提出具有部分恢复的编码通信方案来扩展这种方法来分发更多一般计算任务，其中在传送之前编码由工人计算的子任务的结果。大型线性回归任务的数值模拟确认了所提出的分布式计算方案的优势，在计算准确性和延迟之间的权衡方面具有部分恢复。

联合学习（FL）已成为协作分布式学习的隐私解决方案，客户直接在其设备上训练AI模型，而不是与集中式（潜在的对手）服务器共享数据。尽管FL在某种程度上保留了本地数据隐私，但已显示有关客户数据的信息仍然可以从模型更新中推断出来。近年来，已经制定了各种隐私计划来解决这种隐私泄漏。但是，它们通常以牺牲模型性能或系统效率为代价提供隐私，而在实施FL计划时，平衡这些权衡是一个至关重要的挑战。在本手稿中，我们提出了一个保护隐私的联合学习（PPFL）框架，该框架建立在控制理论中的矩阵加密和系统沉浸工具的协同作用上。这个想法是将学习算法（随机梯度体面（SGD））浸入更高维度的系统（所谓的目标系统）中，并设计目标系统的动力学，以便：浸入原始SGD的轨迹： /嵌入其轨迹中，并在加密数据上学习（在这里我们使用随机矩阵加密）。矩阵加密是在服务器上重新重新格式化的，作为将原始参数映射到更高维的参数空间的坐标的随机更改，并强制执行目标SGD收敛到原始SGD Optiral解决方案的加密版本。服务器使用浸入式地图的左侧逆汇总模型解密。我们表明，我们的算法提供与标准FL相同的准确性和收敛速度，而计算成本可忽略不计，同时却没有透露有关客户数据的信息。

联合学习（FL）是一个分布式学习范式，使相互不信任的客户能够协作培训通用的机器学习模型。客户数据隐私在FL中至关重要。同时，必须保护模型免受对抗客户的中毒攻击。现有解决方案孤立地解决了这两个问题。我们提出了FedPerm，这是一种新的FL算法，它通过结合一种新型的内部模型参数改组技术来解决这两个问题，该技术可以放大数据隐私，并基于私人信息检索（PIR）技术，该技术允许允许对客户模型更新的加密聚合。这些技术的组合进一步有助于联邦服务器约束从客户端的参数更新，从而减少对抗性客户的模型中毒攻击的影响。我们进一步介绍了Fedperm独特的超参数，可以有效地使用Model Utilities进行计算开销。我们对MNIST数据集的经验评估表明，FEDPERM对FL中现有差异隐私（DP）执法解决方案的有效性。