随机一阶方法是训练大规模机器学习模型的标准。随机行为可能导致算法的特定运行导致高度次优的目标值，而通常证明理论保证是出于目标值的期望。因此，从理论上保证算法具有很高的可能性，这一点至关重要。非平滑随机凸优化的现有方法具有复杂的界限，其依赖性对置信度或对数为负功率，但在额外的假设下是高斯（轻尾）噪声分布的额外假设，这些噪声分布在实践中可能不存在。在我们的论文中，我们解决了这个问题，并得出了第一个高概率收敛的结果，并以对数依赖性对非平滑凸的随机优化问题的置信度依赖，并带有非Sub-Gaussian（重尾）噪声。为了得出我们的结果，我们建议针对两种随机方法进行梯度剪辑的新步骤规则。此外，我们的分析适用于使用H \“较旧连续梯度的通用平滑目标，对于这两种方法，我们都为强烈凸出问题提供了扩展。最后，我们的结果暗示我们认为的第一种（加速）方法也具有最佳的迭代。在所有制度中，Oracle的复杂性，第二个机制在非平滑设置中都是最佳的。
translated by 谷歌翻译
近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。
translated by 谷歌翻译
新催化剂的发现是计算化学的重要主题之一，因为它有可能加速采用可再生能源。最近开发的深度学习方法，例如图形神经网络（GNNS）开放的新机会，以显着扩大新型高性能催化剂的范围。然而，由于模棱两可的连接方案和节点和边缘的众多嵌入，特定晶体结构的图表并不是一项简单的任务。在这里，我们提出了GNN的嵌入改进，该改进已通过Voronoi Tesselation修改，并能够预测开放催化剂项目数据集中催化系统的能量。通过Voronoi镶嵌计算图的富集，并将相应的触点固体角度和类型（直接或间接）视为边缘的特征，而Voronoi体积用作节点特征。辅助方法是通过内在的原子特性（电负性，周期和组位置）富集节点表示。提出的修改使我们能够改善原始模型的平均绝对误差，最终误差等于“开放催化剂项目数据集”上每个原子的651 MeV，并且在金属中数据集上的每个原子6 MeV。同样，通过考虑其他数据集，我们表明，明智的数据选择可以将误差降低到高于每个原子阈值20 MEV的值的值。
translated by 谷歌翻译