在本文中,我们建议在分散的设置中解决一个正规化的分布鲁棒性学习问题,并考虑到数据分配的变化。通过将Kullback-Liebler正则化功能添加到可靠的Min-Max优化问题中,可以将学习问题降低到修改的可靠最小化问题并有效地解决。利用新配制的优化问题,我们提出了一个强大的版本的分散的随机梯度下降(DSGD),分布在分布方面具有强大的分散性随机梯度下降(DR-DSGD)。在一些温和的假设下,前提是正则化参数大于一个,我们从理论上证明DR-DSGD达到了$ \ MATHCAL {O} \ left的收敛速率$,其中$ k $是设备的数量,而$ t $是迭代次数。仿真结果表明,我们提出的算法可以提高最差的分配测试精度,最高$ 10 \%$。此外,DR-DSGD比DSGD更有效,因为它需要更少的沟通回合(最高$ 20 $ $倍)才能达到相同的最差分配测试准确性目标。此外,进行的实验表明,在测试准确性方面,DR-DSGD会导致整个设备的性能更公平。
translated by 谷歌翻译