我们提出了Swiftagg+,这是一种针对联合学习系统的新颖的安全聚合协议,其中central Server汇总了$ n \ in \ mathbb {n} $分布式用户的本地型号,每个大小$ l \ in \ mathbb {n} $中的每个型号,训练有素,以隐私的方式在其本地数据上。 Swiftagg+可以大大减少通信开销,而不会对安全性进行任何妥协,并在减少差距内实现最佳通信负载。具体而言,最多有$ d = o(n)$ droput用户,Swiftagg+实现了$(1+ \ Mathcal {o}(\ frac {1} {n} {n}))的每个用户通信负载。和$(1+ \ Mathcal {o}(\ frac {1} {n}))的服务器通信负载,具有最差的信息理论安全保证o(n)$半honest用户,也可能与好奇的服务器合谋。此外,拟议的Swiftagg+允许在通信负载和主动通信链接的数量之间进行灵活的权衡。特别是,对于$ t <n-d $,对于任何$ k \ in \ mathbb {n} $,Swiftagg+可以实现$(1+ \ frac {t} {k} {k})l $符号的服务器通信负载,并且 - 用户通信负载最多$(1+ \ frac {t+d} {k})l $符号,其中网络中的配对活动连接的数量为$ \ frac {n} {2}(k +T+D+1)$。
translated by 谷歌翻译
使用分布式学习培训具有大数据集的复杂模型的主要挑战之一是处理陷阱效果。作为解决方案,最近提出了对计算任务有效地增加了冗余的编码计算。在该技术中,跨数据集使用编码,并且计算在编码数据上完成,使得具有特定大小的工作节点的任意子集的结果足以恢复最终结果。这些方法的主要挑战是(1)它们仅限于多项式函数计算,(2)服务器子集的大小,我们需要等待数据集大小的乘法和模型复杂性的乘法(多项式的程度),其可能过大,(3)它们对实际数字的计算不是数值稳定的。在本文中,我们将Berrut近似编码计算(BACC)提出,作为替代方法,其不限于多项式函数计算。此外,主节点可以使用可用工作人员节点的任何任意子集的结果大致计算最终结果。近似方法被证明具有低计算复杂性的数值稳定。另外,理论上建立近似的准确性并通过仿真验证导致不同的设置,例如分布式学习问题。特别地,BACC用于在一组服务器上训练深度神经网络,这在收敛速率方面优于重复计算(重复编码)。
translated by 谷歌翻译