大规模优化问题需要有效和高效的算法。一种如此流行和经过验证的算法是随机梯度下降，其使用一阶梯度信息来解决这些问题。本文研究了随机梯度下降法的几乎肯定的收敛速率而不是确定性，其学习率变得随机。特别是，其学习率配备了乘法的速度性速度，产生随机学习率方案。与确定性 - 学习速率方案相比，理论结果显示使用适当的随机学习率时的非凸起设置中随机梯度下降的几乎肯定的收敛速度。理论结果是经验验证的。
translated by 谷歌翻译
我们的目标是使随机梯度$ \ sigma^2 $在随机梯度和（ii）问题依赖性常数中自适应（i）自适应。当最大程度地减少条件编号$ \ kappa $的平滑，强大的功能时，我们证明，$ t $ t $ toerations sgd的$ t $ toerations sgd具有指数降低的阶跃尺寸和对平滑度的知识可以实现$ \ tilde {o} \ left（\ exp） \ left（\ frac {-t} {\ kappa} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而又不知道$ \ sigma^2 $。为了适应平滑度，我们使用随机线路搜索（SLS）并显示（通过上下距离），其SGD的SGD与SLS以所需的速率收敛，但仅针对溶液的邻域。另一方面，我们证明具有平滑度的离线估计值的SGD会收敛到最小化器。但是，其速率与估计误差成正比的速度减慢。接下来，我们证明具有Nesterov加速度和指数步骤尺寸（称为ASGD）的SGD可以实现接近最佳的$ \ tilde {o} \ left（\ exp \ left（\ frac {-t} {-t} {\ sqrt {\ sqrt {\ sqrt { \ kappa}}} \ right） + \ frac {\ sigma^2} {t} \ right）$ rate，而无需$ \ sigma^2 $。当与平滑度和强频率的离线估计值一起使用时，ASGD仍会收敛到溶液，尽管速度较慢。我们从经验上证明了指数级尺寸的有效性以及新型SLS的变体。
translated by 谷歌翻译
文献中随机梯度方法的绝大多数收敛速率分析集中在预期中的收敛性，而轨迹的几乎确定的收敛对于确保随机算法的任何实例化都会与概率相关。在这里，我们为随机梯度下降（SGD），随机重球（SHB）和随机Nesterov的加速梯度（SNAG）方法提供了几乎确定的收敛速率分析。我们首次显示，这些随机梯度方法在强凸功能上获得的几乎确定的收敛速率已任意接近其最佳收敛速率。对于非凸目标函数，我们不仅表明平方梯度规范的加权平均值几乎可以肯定地收敛到零，而且是算法的最后一次迭代。与文献中的大多数现有结果相反，我们进一步为弱凸平平滑功能的随机梯度方法提供了最后的几乎确定的收敛速率分析，而文献中的大多数现有结果仅提供了对迭代率的加权平均值的预期。
translated by 谷歌翻译
最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。
translated by 谷歌翻译
在这项工作中，我们提供了一种基本的统一收敛定理，用于得出一系列随机优化方法的预期和几乎确定的收敛结果。我们的统一定理仅需要验证几种代表性条件，并且不适合任何特定算法。作为直接应用，我们在更一般的设置下恢复了随机梯度方法（SGD）和随机改组（RR）的预期收敛结果。此外，我们为非滑动非convex优化问题的随机近端梯度方法（Prox-SGD）和基于随机模型的方法（SMM）建立了新的预期和几乎确定的收敛结果。这些应用程序表明，我们的统一定理为广泛的随机优化方法提供了插件类型的收敛分析和强大的收敛保证。
translated by 谷歌翻译
我们研究了具有有限和结构的平滑非凸化优化问题的随机重新洗脱（RR）方法。虽然该方法在诸如神经网络的训练之类的实践中广泛利用，但其会聚行为仅在几个有限的环境中被理解。在本文中，在众所周知的Kurdyka-LojasiewiCz（KL）不等式下，我们建立了具有适当递减步长尺寸的RR的强极限点收敛结果，即，RR产生的整个迭代序列是会聚并会聚到单个静止点几乎肯定的感觉。 In addition, we derive the corresponding rate of convergence, depending on the KL exponent and the suitably selected diminishing step sizes.当KL指数在$ [0，\ FRAC12] $以$ [0，\ FRAC12] $时，收敛率以$ \ mathcal {o}（t ^ { - 1}）$的速率计算，以$ t $ counting迭代号。当KL指数属于$（\ FRAC12,1）$时，我们的派生收敛速率是FORM $ \ MATHCAL {O}（T ^ { - Q}）$，$ Q \ IN（0,1）$取决于在KL指数上。基于标准的KL不等式的收敛分析框架仅适用于具有某种阶段性的算法。我们对基于KL不等式的步长尺寸减少的非下降RR方法进行了新的收敛性分析，这概括了标准KL框架。我们总结了我们在非正式分析框架中的主要步骤和核心思想，这些框架是独立的兴趣。作为本框架的直接应用，我们还建立了类似的强极限点收敛结果，为重组的近端点法。
translated by 谷歌翻译
在本文中，我们提出了一种随机梯度算法，用于最大程度地减少对嘈杂成本样本的期望，而对于任何给定参数，则只观察到后者。我们的算法采用带有随机扰动的梯度估计方案，该方案是使用单位球体截断的cauchy分布形成的。我们分析了提出的梯度估计量的偏差和方差。发现我们的算法在目标函数是非凸且参数维度较高的情况下特别有用。从渐近收敛分析中，我们确定我们的算法几乎可以肯定地收敛到目标函数的固定点并获得渐近收敛速率。我们还表明，我们的算法避免了不稳定的平衡，这意味着与局部最小值的融合。此外，我们对我们的算法进行非反应收敛分析。特别是，我们在这里建立了一个非质子绑定，用于寻找非convex目标函数的$ \ epsilon $ stationary点。最后，我们通过模拟以数字方式证明我们的算法的性能在一些非凸面设置上优于GSF，SPSA和RDSA，并进一步验证其在凸（NOISY）目标上的性能。
translated by 谷歌翻译
亚当是训练深神经网络的最具影响力的自适应随机算法之一，即使在简单的凸面设置中，它也被指出是不同的。许多尝试，例如降低自适应学习率，采用较大的批量大小，结合了时间去相关技术，寻求类似的替代物，\ textit {etc。}，以促进Adam-type算法融合。与现有方法相反，我们引入了另一种易于检查的替代条件，这仅取决于基础学习率的参数和历史二阶时刻的组合，以确保通用ADAM的全球融合以解决大型融合。缩放非凸随机优化。这种观察结果以及这种足够的条件，对亚当的差异产生了更深刻的解释。另一方面，在实践中，无需任何理论保证，广泛使用了迷你ADAM和分布式ADAM。我们进一步分析了分布式系统中的批次大小或节点的数量如何影响亚当的收敛性，从理论上讲，这表明迷你批次和分布式亚当可以通过使用较大的迷你批量或较大的大小来线性地加速节点的数量。最后，我们应用了通用的Adam和Mini Batch Adam，具有足够条件来求解反例并在各种真实世界数据集上训练多个神经网络。实验结果完全符合我们的理论分析。
translated by 谷歌翻译
用于解决无约束光滑游戏的两个最突出的算法是经典随机梯度下降 - 上升（SGDA）和最近引入的随机共识优化（SCO）[Mescheder等，2017]。已知SGDA可以收敛到特定类别的游戏的静止点，但是当前的收敛分析需要有界方差假设。 SCO用于解决大规模对抗问题，但其收敛保证仅限于其确定性变体。在这项工作中，我们介绍了预期的共同胁迫条件，解释了它的好处，并在这种情况下提供了SGDA和SCO的第一次迭代收敛保证，以解决可能是非单调的一类随机变分不等式问题。我们将两种方法的线性会聚到解决方案的邻域时，当它们使用恒定的步长时，我们提出了富有识别的步骤化切换规则，以保证对确切解决方案的融合。此外，我们的收敛保证在任意抽样范式下担保，因此，我们对迷你匹配的复杂性进行了解。
translated by 谷歌翻译
我们提出了一类新的Langevin基础算法，它克服了当前用于深度学习模型的微调的流行自适应优化器的许多已知缺点。其支撑性理论依赖于欧拉多面近似对随机微分方程（SDES）的多边形近似的进步。结果，它继承了授权算法的稳定性属性，而它讨论了其他已知问题，例如，涉及其他已知问题。在神经网络中消失梯度。特别是，我们为这部小型课程的算法的融合性能提供了令人反感的分析和完全理论上，我们将其命名为$ \ varepsilon $ o poula（或简单地，opopoura）。最后，有几种实验呈现出不同类型的深度学习模型，其展示了opopoula在许多流行的自适应优化算法上的优越性。
translated by 谷歌翻译
近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。
translated by 谷歌翻译
联合学习（FL）使大量优化的优势计算设备（例如，移动电话）联合学习全局模型而无需数据共享。在FL中，数据以分散的方式产生，具有高异质性。本文研究如何在联邦设置中对统计估算和推断进行统计估算和推理。我们分析所谓的本地SGD，这是一种使用间歇通信来提高通信效率的多轮估计过程。我们首先建立一个{\ IT功能的中央极限定理}，显示了本地SGD的平均迭代弱融合到重新定位的布朗运动。我们接下来提供两个迭代推断方法：{\ IT插件}和{\ IT随机缩放}。随机缩放通过沿整个本地SGD路径的信息构造推断的渐近枢转统计。这两种方法都是通信高效且适用于在线数据。我们的理论和经验结果表明，本地SGD同时实现了统计效率和通信效率。
translated by 谷歌翻译
在分布式学习中，中央服务器根据持有本地数据样本的节点提供的更新来训练模型。在一个或多个发送不正确信息（拜占庭对手）的恶意服务器的情况下，用于模型训练的标准算法（例如随机梯度下降（SGD））无法收敛。在本文中，我们提出了Blanchard等人最初提出的通用拜占庭弹性SGD方法的简化收敛理论。[Neurips 2017]。与现有分析相比，我们在（可能是非convex）目标函数（可能是非凸）的标准假设和随机梯度上的灵活假设上表明了收敛到固定点的固定点。
translated by 谷歌翻译
人工神经网络（ANNS）通常是高度非线性系统，其通过优化其相关的非凸损函数精细调整。在许多情况下，任何这种损失函数的梯度具有超线性生长，利用广泛接受的（随机）梯度下降方法，其基于欧拉数值方案，有问题。我们提供了一种基于受欢迎的随机梯度Langevin Dynamics（SGLD）的适当构造的变体的新学习算法，该算法被称为不调整的随机的随机Langevin算法（Tusla）。我们还提供了对新算法在非凸起学习问题的环境中对新算法的融合性质进行了巨大分析。因此，我们为Tusla提供有限时间担保，以查找经验和人口风险的大致减少体。 TUSLA算法的根源基于\ CiteT {TARE-EULER，SABANISAOAP}和MCMC算法中开发的超连线系数的扩散过程的驯化技术。提出了数值实验，该实验证实了理论发现，并说明了与ANNS框架内的Vanilla SGLD相比使用新算法。
translated by 谷歌翻译
随机梯度下降（SGD）算法是许多机器学习任务中选择的方法，这要归功于其在处理大规模问题方面的可扩展性和效率。在本文中，我们专注于与主流实践启发式符合SGD的改组版。我们将收敛性与过度参数化设置下的一类非凸功率函数的全局解决方案展示为全局解决方案。与以前的文献相比，我们的分析采用更轻松的非凸假设。然而，我们保持了所需的计算复杂性，因为改组SGD在一般凸设置中已实现。
translated by 谷歌翻译
在本文中，我们提出了具有能量和动量的随机梯度的SGEM，以基于起源于工作[AEGD：适应性梯度下降的能量下降的AEGD方法，以解决一大批一般的非凸随机优化问题。ARXIV：2010.05109]。SGEM同时结合了能量和动量，以继承其双重优势。我们表明，SGEM具有无条件的能量稳定性，并在一般的非convex随机设置中得出能量依赖性收敛速率，以及在线凸台设置中的遗憾。还提供了能量变量的较低阈值。我们的实验结果表明，SGEM的收敛速度比AEGD快，并且至少在训练某些深层神经网络方面概述了SGDM。
translated by 谷歌翻译
自适应方法（例如自适应力矩估计（ADAM）及其变体）的收敛性和收敛速率分析已被广泛研究以进行非convex优化。分析基于假设，即预期或经验的平均损失函数是Lipschitz平滑的（即其梯度是Lipschitz的连续），并且学习率取决于Lipschitz连续梯度的Lipschitz常数。同时，对亚当及其变体的数值评估已经澄清说，使用较小的恒定学习速率而不依赖Lipschitz常数和超级参数（$ \ beta_1 $和$ \ beta_2 $）接近一个是有利的，这对于训练深神经网络是有利的。由于计算Lipschitz常数为NP-HARD，因此Lipschitz的平滑度条件是不现实的。本文提供了亚当的理论分析，而没有假设Lipschitz的平滑度条件，以弥合理论和实践之间的差距。主要的贡献是显示理论证据表明，亚当使用较小的学习率和接近一个的超级参数表现良好，而先前的理论结果全部用于接近零的超参数。我们的分析还导致发现亚当在大批量尺寸方面表现良好。此外，我们表明，当亚当使用学习率降低和接近一个的超级参数时，它的表现良好。
translated by 谷歌翻译
我们研究了在[1]中研究的无噪声回归的情况下，在[1]中所研究的无噪声回归的情况下，在无限梯度下降（SGD）算法的启发下，一组运算师在无限尺寸希尔伯特空间上的随机迭代序列的收敛性。我们确定的条件比以前在各种规范的多项式收敛速率上更广泛，并表征了随机性在确定最佳乘法常数中所起的作用。此外，我们几乎证明了序列的收敛性。
translated by 谷歌翻译
我们认为随机梯度下降及其在繁殖内核希尔伯特空间中二进制分类问题的平均变体。在使用损失函数的一致性属性的传统分析中，众所周知，即使在条件标签概率上假设低噪声状态时，预期的分类误差也比预期风险更慢。因此，最终的速率为sublinear。因此，重要的是要考虑是否可以实现预期分类误差的更快收敛。在最近的研究中，随机梯度下降的指数收敛速率在强烈的低噪声条件下显示，但前提是理论分析仅限于平方损耗函数，这对于二元分类任务来说是不足的。在本文中，我们在随机梯度下降的最后阶段中显示了预期分类误差的指数收敛性，用于在相似的假设下进行一类宽类可区分的凸损失函数。至于平均的随机梯度下降，我们表明相同的收敛速率来自训练的早期阶段。在实验中，我们验证了对$ L_2 $调查的逻辑回归的分析。
translated by 谷歌翻译
随机多变最小化 - 最小化（SMM）是大多数变化最小化的经典原则的在线延伸，这包括采样I.I.D。来自固定数据分布的数据点，并最小化递归定义的主函数的主要替代。在本文中，我们引入了随机块大大化 - 最小化，其中替代品现在只能块多凸，在半径递减内的时间优化单个块。在SMM中的代理人放松标准的强大凸起要求，我们的框架在内提供了更广泛的适用性，包括在线CANDECOMP / PARAFAC（CP）字典学习，并且尤其是当问题尺寸大时产生更大的计算效率。我们对所提出的算法提供广泛的收敛性分析，我们在可能的数据流下派生，放松标准i.i.d。对数据样本的假设。我们表明，所提出的算法几乎肯定会收敛于速率$ O（（\ log n）^ {1+ \ eps} / n ^ {1/2}）$的约束下的非凸起物镜的静止点集合。实证丢失函数和$ O（（\ log n）^ {1+ \ eps} / n ^ {1/4}）$的预期丢失函数，其中$ n $表示处理的数据样本数。在一些额外的假设下，后一趋同率可以提高到$ o（（\ log n）^ {1+ \ eps} / n ^ {1/2}）$。我们的结果为一般马尔维亚数据设置提供了各种在线矩阵和张量分解算法的第一融合率界限。
translated by 谷歌翻译