我们考虑随着延迟梯度的随机优化,在每次步骤$ $,该算法使用步骤$ t-d_t $的陈旧随机梯度进行更新,从而为某些任意延迟$ d_t $。此设置摘要异步分布式优化,其中中央服务器接收由工作人员计算的渐变更新。这些机器可以体验可能随时间变化而变化的计算和通信负载。在一般的非凸平滑优化设置中,我们提供了一种简单且高效的算法,需要$ o(\ sigma ^ 2 / \ epsilon ^ 4 + \ tau / epsilon ^ 2)$步骤查找$ \ epsilon $ - 静止点$ x $,其中$ \ tau $是\ emph {平均}延迟$ \ smash {\ frac {1} {t} \ sum_ {t = 1} ^ t d_t} $和$ \ sigma ^ 2 $是随机梯度的方差。这改善了以前的工作,这表明随机梯度体面可以实现相同的速率,而是相对于\ emph {maximal}延迟$ \ max_ {t} d_t $,这可以显着大于平均延迟,特别是在异构分布式系统中。我们的实验证明了我们算法在延迟分布歪斜或重尾的情况下的效力和稳健性。
translated by 谷歌翻译