嵌入学习在其他域中发现了推荐系统和自然语言建模中的广泛应用。为了有效地学习质量嵌入，自适应学习率算法已经证明了SGD的卓越经验性能，主要是对其令牌依赖学习率的认可。然而，令牌依赖学习率效率的潜在机制仍然是缺乏缺陷的。我们表明，在嵌入学习问题中结合令牌的频率信息导致可提供的可提供有效的算法，并且证明普通的自适应算法在很大程度上隐含地利用频率信息。具体地，我们提出（基于计数器的）频率感知随机梯度下降，其为每个令牌应用频率相关的学习率，并且当令牌分布不平衡时，与SGD相比表现出可提供的速度。凭经验，我们显示所提出的算法能够改进或匹配基准推荐任务和大型工业推荐系统的自适应算法，关闭SGD和自适应算法之间的性能差距。我们的结果是第一个显示令牌依赖学习率，可否改善非凸嵌入学习问题的收敛。

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。

BREGMAN近端点算法（BPPA）是优化工具箱中的核心之一，一直在目睹新兴应用程序。通过简单易于实现更新规则，该算法对实证成功进行了几种引人注目的直觉，但严格的理由仍然很大程度上是未开发的。我们通过具有可分离数据的分类任务研究BPPA的计算属性，并证明与BPPA相关的可提供算法正则化效果。我们表明BPPA达到了非平凡的余量，这密切依赖于诱导BREGMAN发散的距离产生功能的条件数。我们进一步证明，对于一类问题，对条件数量的依赖性是紧张的，从而表明发散在影响所获得的解决方案的质量方面的重要性。此外，我们还将我们的调查结果扩展到镜像血统（MD），我们建立了边缘和BREGMAN发散之间的类似联系。我们通过具体示例演示，并显示BPPA / MD在相对于Mahalanobis距离的最大边缘解决方案方向上会聚。我们的理论调查结果是第一个展示良性学习特性BPPA / MD的态度，并且还提供校正算法设计中仔细选择的腐败。

我们研究基于梯度的随机近似问题的甲骨文复杂性。尽管在许多设置中，最佳算法和紧密的下界因这些问题而闻名，但在实践中使用时，这些最佳算法并不能达到最佳性能。我们通过关注实例依赖性复杂性而不是最坏情况的复杂性来解决这个理论实践差距。特别是，我们首先总结了已知的实例依赖性复杂性结果，并将它们分为三个级别。我们确定不同级别之间的支配关系，并提出了主导现有的第四个实例依赖性界限。然后，我们提供了足够的条件，根据该条件，具有时刻估计的自适应算法可以在不知道噪声水平的情况下达到拟议的结合。我们提出的算法及其分析为矩估计的成功提供了理论上的理由，因为它可以提高实例复杂性。

学习率调度程序已在培训深层神经网络中广泛采用。尽管它们的实际重要性，但其实践与理论分析之间存在差异。例如，即使是出于优化二次目标等简单问题，也不知道哪些SGD的时间表达到了最佳收敛性。在本文中，我们提出了本特征库，这是第一个可以在二次目标上获得最小值最佳收敛速率（最多达到常数）的最佳最佳收敛速率（最多达到常数），当时基础Hessian矩阵的特征值分布偏好。这种情况在实践中很普遍。实验结果表明，在CIFAR-10上的图像分类任务中，特征库可以显着超过阶跃衰减，尤其是当时期数量较小时。此外，该理论激发了两个简单的学习率调度程序，用于实用应用程序，可以近似特征。对于某些问题，提议的调度程序的最佳形状类似于余弦衰减的最佳形状，这阐明了余弦衰减在这种情况下的成功。对于其他情况，建议的调度程序优于余弦衰减。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

在本文中，我们提出了一种新的策略梯度（PG）方法，即用于解决一类正规化加固学习（RL）问题的块策略镜下降（BPMD）方法（强烈） - convex正规化器。与带有批处理更新规则的传统PG方法（访问和更新每个状态的策略）相比，BPMD方法通过部分更新规则具有廉价的每卷计算，该规则在采样状态上执行策略更新。尽管问题的性质和部分更新规则具有非概念性质，但我们还是为多种采样方案提供了统一的分析，并表明BPMD可以实现快速的线性收敛到全局最优性。特别是，均匀的采样导致可比的最坏情况总计算复杂性与批处理PG方法。还确定了一种与上policy采样的必要条件。通过混合采样方案，我们进一步表明，BPMD具有潜在的实例依赖性加速度，从而改善了对状态空间的依赖性，因此优于批次PG方法。然后，我们通过利用从样品构建的随机一阶信息扩展到随机设置。使用生成模型，$ \ tilde {\ mathcal {o}}（\ left \ lvert \ lerver \ mathcal {s} \ right \ rvert \ rvert \ left \ lest \ lerver \ lovt \ mathcal {a} \ right \ right \ rvert \ rvert \ rvert /\ epsilon） $ \ tilde {\ mathcal {o}}（\ left \ lvert \ m athcal {s} \ right \ rvert \ rvert \ left \ lest \ lvert \ lerver \ mathcal {a} \ right \ right \ rvert /\ epsilon^2）强率强度（分别为非巧克力符号）正规化器，其中$ \ epsilon $表示目标准确性。据我们所知，这是第一次开发和分析了块坐标下降方法，以进行强化学习的策略优化，这为解决大规模RL问题提供了新的观点。

NDCG是标准化的折扣累积增益，是信息检索和机器学习中广泛使用的排名指标。但是，仍然缺乏最大化NDCG的有效且可证明的随机方法，尤其是对于深层模型。在本文中，我们提出了一种优化NDCG及其最高$ K $变体的原则方法。首先，我们制定了一个新颖的组成优化问题，以优化NDCG替代物，以及一个新型的双层构图优化问题，用于优化顶部$ K $ NDCG代理。然后，我们开发有效的随机算法，并为非凸目标提供可证明的收敛保证。与现有的NDCG优化方法不同，我们的算法量表的均量复杂性与迷你批量大小，而不是总项目的数量。为了提高深度学习的有效性，我们通过使用初始热身和停止梯度操作员进一步提出实用策略。多个数据集的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是首次提出随机算法以优化具有可证明的收敛保证的NDCG。我们提出的方法在https://libauc.org/的libauc库中实现。

与SGD相比，Adam等自适应梯度方法允许对现代深层网络（尤其是大型语言模型）进行强有力的培训。但是，适应性的使用不仅是为了额外的记忆，而且还提出了一个基本问题：SGD等非自适应方法可以享受类似的好处吗？在本文中，我们通过提议通过以下一般配方提议实现健壮和记忆效率的培训来为这个问题提供肯定的答案：（1）修改体系结构并使IT规模不变，即参数规模不影响。网络的输出，（2）使用SGD和重量衰减的训练，以及（3）剪辑全局梯度标准与重量标准成比例成正比，乘以$ \ sqrt {\ tfrac {\ tfrac {2 \ lambda} {\ eta}} {\ eta}}} $， $ \ eta $是学习率，而$ \ lambda $是权重腐烂。我们表明，这种一般方法是通过证明其收敛性仅取决于初始化和损失的规模来重新恢复参数和丢失的强大，而标准SGD甚至可能不会收敛许多初始化。在我们的食谱之后，我们设计了一个名为Sibert的Bert版本的比例不变版本，该版本仅由Vanilla SGD进行训练时，可以实现与Bert在下游任务中受过自适应方法训练的BERT相当的性能。

亚当是训练深神经网络的最具影响力的自适应随机算法之一，即使在简单的凸面设置中，它也被指出是不同的。许多尝试，例如降低自适应学习率，采用较大的批量大小，结合了时间去相关技术，寻求类似的替代物，\ textit {etc。}，以促进Adam-type算法融合。与现有方法相反，我们引入了另一种易于检查的替代条件，这仅取决于基础学习率的参数和历史二阶时刻的组合，以确保通用ADAM的全球融合以解决大型融合。缩放非凸随机优化。这种观察结果以及这种足够的条件，对亚当的差异产生了更深刻的解释。另一方面，在实践中，无需任何理论保证，广泛使用了迷你ADAM和分布式ADAM。我们进一步分析了分布式系统中的批次大小或节点的数量如何影响亚当的收敛性，从理论上讲，这表明迷你批次和分布式亚当可以通过使用较大的迷你批量或较大的大小来线性地加速节点的数量。最后，我们应用了通用的Adam和Mini Batch Adam，具有足够条件来求解反例并在各种真实世界数据集上训练多个神经网络。实验结果完全符合我们的理论分析。

我们使用高斯过程扰动模型在高维二次上的真实和批量风险表面之间的高斯过程扰动模型分析和解释迭代平均的泛化性能。我们从我们的理论结果中获得了三个现象\姓名：}（1）将迭代平均值（ia）与大型学习率和正则化进行了改进的正规化的重要性。 （2）对较少频繁平均的理由。 （3）我们预计自适应梯度方法同样地工作，或者更好，而不是其非自适应对应物的迭代平均值。灵感来自这些结果\姓据{，一起与}对迭代解决方案多样性的适当正则化的重要性，我们提出了两个具有迭代平均的自适应算法。与随机梯度下降（SGD）相比，这些结果具有明显更好的结果，需要较少调谐并且不需要早期停止或验证设定监视。我们在各种现代和古典网络架构上展示了我们对CiFar-10/100，Imagenet和Penn TreeBank数据集的方法的疗效。

自适应优化方法已成为许多机器学习任务的默认求解器。不幸的是，适应性的好处可能会在具有不同隐私的训练时降低，因为噪声增加了，以确保隐私会降低自适应预处理的有效性。为此，我们提出了ADADP，这是一个使用非敏感的侧面信息来预处梯度的一般框架，从而可以在私有设置中有效使用自适应方法。我们正式显示ADADPS减少了获得类似隐私保证所需的噪声量，从而提高了优化性能。从经验上讲，我们利用简单且随时可用的侧面信息来探索实践中ADADP的性能，与集中式和联合设置中的强大基线相比。我们的结果表明，ADADP平均提高了准确性7.7％（绝对） - 在大规模文本和图像基准上产生最先进的隐私性权衡权衡。

Adaptive optimization methods are well known to achieve superior convergence relative to vanilla gradient methods. The traditional viewpoint in optimization, particularly in convex optimization, explains this improved performance by arguing that, unlike vanilla gradient schemes, adaptive algorithms mimic the behavior of a second-order method by adapting to the global geometry of the loss function. We argue that in the context of neural network optimization, this traditional viewpoint is insufficient. Instead, we advocate for a local trajectory analysis. For iterate trajectories produced by running a generic optimization algorithm OPT, we introduce $R^{\text{OPT}}_{\text{med}}$, a statistic that is analogous to the condition number of the loss Hessian evaluated at the iterates. Through extensive experiments, we show that adaptive methods such as Adam bias the trajectories towards regions where $R^{\text{Adam}}_{\text{med}}$ is small, where one might expect faster convergence. By contrast, vanilla gradient methods like SGD bias the trajectories towards regions where $R^{\text{SGD}}_{\text{med}}$ is comparatively large. We complement these empirical observations with a theoretical result that provably demonstrates this phenomenon in the simplified setting of a two-layer linear network. We view our findings as evidence for the need of a new explanation of the success of adaptive methods, one that is different than the conventional wisdom.

Privacy noise may negate the benefits of using adaptive optimizers in differentially private model training. Prior works typically address this issue by using auxiliary information (e.g., public data) to boost the effectiveness of adaptive optimization. In this work, we explore techniques to estimate and efficiently adapt to gradient geometry in private adaptive optimization without auxiliary data. Motivated by the observation that adaptive methods can tolerate stale preconditioners, we propose differentially private adaptive training with delayed preconditioners (DP^2), a simple method that constructs delayed but less noisy preconditioners to better realize the benefits of adaptivity. Theoretically, we provide convergence guarantees for our method for both convex and non-convex problems, and analyze trade-offs between delay and privacy noise reduction. Empirically, we explore DP^2 across several real-world datasets, demonstrating that it can improve convergence speed by as much as 4x relative to non-adaptive baselines and match the performance of state-of-the-art optimization methods that require auxiliary data.

自Reddi等人以来。 2018年指出了亚当的分歧问题，已经设计了许多新变体以获得融合。但是，香草·亚当（Vanilla Adam）仍然非常受欢迎，并且在实践中效果很好。为什么理论和实践之间存在差距？我们指出，理论和实践的设置之间存在不匹配：Reddi等。 2018年选择亚当的超参数后选择问题，即$（\ beta_1，\ beta_2）$;虽然实际应用通常首先解决问题，然后调整$（\ beta_1，\ beta_2）$。由于这一观察，我们猜想只有当我们改变选择问题和超参数的顺序时，理论上的经验收敛才能是合理的。在这项工作中，我们确认了这一猜想。我们证明，当$ \ beta_2 $很大时，$ \ beta_1 <\ sqrt {\ beta_2} <1 $，Adam收集到关键点附近。邻居的大小是随机梯度方差的命题。在额外的条件（强烈生长条件）下，亚当收敛到关键点。随着$ \ beta_2 $的增加，我们的收敛结果可以覆盖[0,1）$中的任何$ \ beta_1 \，包括$ \ beta_1 = 0.9 $，这是深度学习库中的默认设置。我们的结果表明，亚当可以在广泛的超参数下收敛，而无需对其更新规则进行任何修改。据我们所知，我们是第一个证明这一结果的人，而没有强有力的假设，例如有限梯度。当$ \ beta_2 $很小时，我们进一步指出了一个$（\ beta_1，\ beta_2）$的大区域，亚当可以在其中偏离无限。我们的差异结果考虑与我们的收敛结果相同的设置，表明在增加$ \ beta_2 $时从差异到收敛的相变。这些正面和负面的结果可以提供有关如何调整亚当超级参数的建议。

大规模凸孔concave minimax问题在许多应用中出现，包括游戏理论，强大的培训和生成对抗网络的培训。尽管它们的适用性广泛，但使用现有的随机最小值方法在大量数据的情况下，有效，有效地解决此类问题是具有挑战性的。我们研究了一类随机最小值方法，并开发了一种沟通效率的分布式随机外算法Localadaseg，其自适应学习速率适合在参数 - 服务器模型中求解凸Conconcove minimax问题。 Localadaseg具有三个主要功能：（i）定期沟通策略，可降低工人与服务器之间的通信成本； （ii）在本地计算并允许无调实现的自适应学习率； （iii）从理论上讲，在随机梯度的估计中，相对于主要差异项的几乎线性加速在平滑和非平滑凸凸环设置中都证明了。 Localadaseg用于解决随机双线游戏，并训练生成的对抗网络。我们将localadaseg与几个用于最小问题的现有优化者进行了比较，并通过在均质和异质环境中的几个实验来证明其功效。

非凸优化的传统分析通常取决于平滑度的假设，即要求梯度为Lipschitz。但是，最近的证据表明，这种平滑度条件并未捕获一些深度学习目标功能的特性，包括涉及复发性神经网络和LSTM的函数。取而代之的是，他们满足了更轻松的状况，并具有潜在的无界光滑度。在这个轻松的假设下，从理论和经验上表明，倾斜的SGD比香草具有优势。在本文中，我们表明，在解决此类情况时，剪辑对于ADAM型算法是不可或缺的：从理论上讲，我们证明了广义标志GD算法可以获得与带有剪辑的SGD相似的收敛速率，但根本不需要显式剪辑。一端的这个算法家族恢复了符号，另一端与受欢迎的亚当算法非常相似。我们的分析强调了动量在分析符号类型和ADAM型算法中发挥作用的关键作用：它不仅降低了噪声的影响，因此在先前的符号分析中消除了大型迷你批次的需求显着降低了无界平滑度和梯度规范的影响。我们还将这些算法与流行的优化器进行了比较，在一组深度学习任务上，观察到我们可以在击败其他人的同时匹配亚当的性能。

通过确保学习算法中的差异隐私，可以严格降低大型模型记忆敏感培训数据的风险。在本文中，我们为此目的研究了两种算法，即DP-SGD和DP-NSGD，它们首先剪辑或归一化\ textIt \ textIt {每样本}梯度以绑定灵敏度，然后添加噪声以使精确信息混淆。我们通过两个常见的假设分析了非凸优化设置中这两种算法的收敛行为，并实现了$ \ nathcal {o} \ left（\ sqrt [4] {\ frac {\ frac {d \ log（1/\ delta） ）} {n^2 \ epsilon^2}} \ right）$ $ d $ - 二维模型，$ n $ samples和$（\ epsilon，\ delta）$ - dp，它改进了以前的改进在较弱的假设下的界限。具体而言，我们在DP-NSGD中引入了一个正规化因素，并表明它对融合证明至关重要，并巧妙地控制了偏见和噪声权衡。我们的证明故意处理针对私人环境指定的按样本梯度剪辑和标准化。从经验上讲，我们证明这两种算法达到了相似的最佳准确性，而DP-NSGD比DP-SGD更容易调整，因此在计算调整工作时可能有助于进一步节省隐私预算。

我们认为随机梯度下降及其在繁殖内核希尔伯特空间中二进制分类问题的平均变体。在使用损失函数的一致性属性的传统分析中，众所周知，即使在条件标签概率上假设低噪声状态时，预期的分类误差也比预期风险更慢。因此，最终的速率为sublinear。因此，重要的是要考虑是否可以实现预期分类误差的更快收敛。在最近的研究中，随机梯度下降的指数收敛速率在强烈的低噪声条件下显示，但前提是理论分析仅限于平方损耗函数，这对于二元分类任务来说是不足的。在本文中，我们在随机梯度下降的最后阶段中显示了预期分类误差的指数收敛性，用于在相似的假设下进行一类宽类可区分的凸损失函数。至于平均的随机梯度下降，我们表明相同的收敛速率来自训练的早期阶段。在实验中，我们验证了对$ L_2 $调查的逻辑回归的分析。

Network data are ubiquitous in modern machine learning, with tasks of interest including node classification, node clustering and link prediction. A frequent approach begins by learning an Euclidean embedding of the network, to which algorithms developed for vector-valued data are applied. For large networks, embeddings are learned using stochastic gradient methods where the sub-sampling scheme can be freely chosen. Despite the strong empirical performance of such methods, they are not well understood theoretically. Our work encapsulates representation methods using a subsampling approach, such as node2vec, into a single unifying framework. We prove, under the assumption that the graph is exchangeable, that the distribution of the learned embedding vectors asymptotically decouples. Moreover, we characterize the asymptotic distribution and provided rates of convergence, in terms of the latent parameters, which includes the choice of loss function and the embedding dimension. This provides a theoretical foundation to understand what the embedding vectors represent and how well these methods perform on downstream tasks. Notably, we observe that typically used loss functions may lead to shortcomings, such as a lack of Fisher consistency.