在给出深层神经网络成功的理论上说明的尝试中，最近的一项工作已经确定了所谓的“懒惰”制度，在该制度中，网络可以通过其围绕初始化的线性化来很好地近似。在这里，我们根据示例的难度研究了懒惰（线性）和特征学习（非线性）制度对示例子组的比较效应。具体而言，我们表明，在功能学习模式下给出了更容易的示例，与更困难的训练相比，训练更快。换句话说，非线性动力学倾向于顺序学习增加难度的示例。我们在不同的方式上说明了这种现象，以量化示例难度，包括C得分，标签噪声以及存在虚假相关性。我们的结果揭示了对深度网络在示例难度范围内如何优先资源的新理解。

深度学习归一化技术的基本特性，例如批准归一化，正在使范围前的参数量表不变。此类参数的固有域是单位球，因此可以通过球形优化的梯度优化动力学以不同的有效学习率（ELR）来表示，这是先前研究的。在这项工作中，我们使用固定的ELR直接研究了训练量表不变的神经网络的特性。我们根据ELR值发现了这种训练的三个方案：收敛，混乱平衡和差异。我们详细研究了这些制度示例的理论检查，以及对真实规模不变深度学习模型的彻底经验分析。每个制度都有独特的特征，并反映了内在损失格局的特定特性，其中一些与先前对常规和规模不变的神经网络培训的研究相似。最后，我们证明了如何在归一化网络的常规培训以及如何利用它们以实现更好的Optima中反映发现的制度。

使用DataSet的真实标签培训而不是随机标签导致更快的优化和更好的泛化。这种差异归因于自然数据集中的输入和标签之间的对齐概念。我们发现，随机或真正标签上的具有不同架构和优化器的培训神经网络在隐藏的表示和训练标签之间强制执行相同的关系，阐明为什么神经网络表示为转移如此成功。我们首先突出显示为什么对齐的特征在经典的合成转移问题中促进转移和展示，即对齐是对相似和不同意任务的正负传输的确定因素。然后我们调查各种神经网络架构，并发现（a）在各种不同的架构和优化器中出现的对齐，并且从深度（b）对准产生的更多对准对于更接近输出的层和（c）现有的性能深度CNN表现出高级别的对准。

Deep neural networks may easily memorize noisy labels present in real-world data, which degrades their ability to generalize. It is therefore important to track and evaluate the robustness of models against noisy label memorization. We propose a metric, called susceptibility, to gauge such memorization for neural networks. Susceptibility is simple and easy to compute during training. Moreover, it does not require access to ground-truth labels and it only uses unlabeled data. We empirically show the effectiveness of our metric in tracking memorization on various architectures and datasets and provide theoretical insights into the design of the susceptibility metric. Finally, we show through extensive experiments on datasets with synthetic and real-world label noise that one can utilize susceptibility and the overall training accuracy to distinguish models that maintain a low memorization on the training set and generalize well to unseen clean data.

在许多情况下，更简单的模型比更复杂的模型更可取，并且该模型复杂性的控制是机器学习中许多方法的目标，例如正则化，高参数调整和体系结构设计。在深度学习中，很难理解复杂性控制的潜在机制，因为许多传统措施并不适合深度神经网络。在这里，我们开发了几何复杂性的概念，该概念是使用离散的dirichlet能量计算的模型函数变异性的量度。使用理论论据和经验结果的结合，我们表明，许多常见的训练启发式方法，例如参数规范正规化，光谱规范正则化，平稳性正则化，隐式梯度正则化，噪声正则化和参数初始化的选择，都可以控制几何学复杂性，并提供一个统一的框架，以表征深度学习模型的行为。

当我们扩大数据集，模型尺寸和培训时间时，深入学习方法的能力中存在越来越多的经验证据。尽管有一些关于这些资源如何调节统计能力的说法，但对它们对模型培训的计算问题的影响知之甚少。这项工作通过学习$ k $ -sparse $ n $ bits的镜头进行了探索，这是一个构成理论计算障碍的规范性问题。在这种情况下，我们发现神经网络在扩大数据集大小和运行时间时会表现出令人惊讶的相变。特别是，我们从经验上证明，通过标准培训，各种体系结构以$ n^{o（k）} $示例学习稀疏的平等，而损失（和错误）曲线在$ n^{o（k）}后突然下降。 $迭代。这些积极的结果几乎匹配已知的SQ下限，即使没有明确的稀疏性先验。我们通过理论分析阐明了这些现象的机制：我们发现性能的相变不到SGD“在黑暗中绊倒”，直到它找到了隐藏的特征集（自然算法也以$ n^中的方式运行{o（k）} $ time）;取而代之的是，我们表明SGD逐渐扩大了人口梯度的傅立叶差距。

我们识别并形式化基本梯度下降现象，导致过度参数化神经网络中的学习倾向。尽管存在对任务相关的特征的子集最小化跨熵损失最小化梯度饥饿，尽管存在是否存在无法被发现的其他预测功能。这项工作为神经网络中这种特征不平衡的出现提供了理论解释。使用来自动态系统理论的工具，我们在梯度下降期间确定了学习动态的简单属性，从而导致这种不平衡，并证明可以预期这种情况在训练数据中提供某些统计结构。根据我们拟议的形式主义，我们为旨在解耦特征学习动态的新型正则化方法，提高患者渐变饥饿阻碍的准确性和鲁棒性的担保。我们用简单和真实的分配（OOD）泛化实验说明了我们的研究结果。

Many recent works on understanding deep learning try to quantify how much individual data instances influence the optimization and generalization of a model, either by analyzing the behavior of the model during training or by measuring the performance gap of the model when the instance is removed from the dataset. Such approaches reveal characteristics and importance of individual instances, which may provide useful information in diagnosing and improving deep learning. However, most of the existing works on data valuation require actual training of a model, which often demands high-computational cost. In this paper, we provide a training-free data valuation score, called complexity-gap score, which is a data-centric score to quantify the influence of individual instances in generalization of two-layer overparameterized neural networks. The proposed score can quantify irregularity of the instances and measure how much each data instance contributes in the total movement of the network parameters during training. We theoretically analyze and empirically demonstrate the effectiveness of the complexity-gap score in finding 'irregular or mislabeled' data instances, and also provide applications of the score in analyzing datasets and diagnosing training dynamics.

机器学习模型的概括对数据，模型和学习算法具有复杂的依赖性。我们研究训练和测试性能，以及它们在不同数据集样本上的差异给出的概括差距，以理解其``典型''行为。我们得出了差距的表达式，作为模型之间协方差的函数参数分布和列车损耗以及平均测试性能的另一种表达，显示了测试概括仅取决于数据平均参数分布和数据平均损失。我们显示，对于大型模型参数分布，修改的概括差距为始终是非负的。通过进一步专门针对由随机梯度下降（SGD）产生的参数分布，以及一些近似值和建模考虑，我们能够预测有关通用差距和模型训练和测试性能如何变化为一个方面的一些方面SGD噪声的功能。我们基于RESNET体系结构对CIFAR10分类任务进行经验评估这些预测。

懒惰培训制度中的神经网络收敛到内核机器。在丰富的特征学习制度中可以在丰富的特征学习制度中可以使用数据依赖性内核来学习内核机器吗？我们证明，这可以是由于我们术语静音对准的现象，这可能需要网络的切线内核在特征内演变，而在小并且在损失明显降低，并且之后仅在整体尺度上生长。我们表明这种效果在具有小初始化和白化数据的同质神经网络中进行。我们在线性网络壳体提供了对这种效果的分析处理。一般来说，我们发现内核在训练的早期阶段开发了低级贡献，然后在总体上发展，产生了与最终网络的切线内核的内核回归解决方案等同的函数。内核的早期光谱学习取决于深度。我们还证明了非白化数据可以削弱无声的对准效果。

在过分层化的模型中，随机梯度下降（SGD）中的噪声隐含地规则地规则地规范优化轨迹并确定哪个局部最小SGD收敛到。通过实证研究的推动，表明利用嘈杂标签的培训改善了泛化，我们研究了SGD与标签噪声的隐式正则化效果。我们展示了标签噪声的SGD收敛到正规化损失$ l（\θ）+ \ lambda r（\ theta）$的静止点，其中$ l（\ theta）$是培训损失，$ \ lambda $有效的正则化参数，具体取决于步骤尺寸，标签噪声的强度和批量大小，以及$ r（\ theta）$是一个惩罚剧本最小化器的显式规范器。我们的分析揭示了大型学习率的额外正则化效果，超出了线性扩展规则，这些规则惩罚了Hessian的大型特征值，而不是小小的。我们还证明了与一般损失职能，SGD的分类分类，以及具有一般噪声协方差的SGD，大大加强了Blanc等人的前后工作。全球融合和大型学习率和哈奇等人。一般模型。

最近的工作表明，不同体系结构的卷积神经网络学会按照相同的顺序对图像进行分类。为了理解这种现象，我们重新审视了过度参数的深度线性网络模型。我们的分析表明，当隐藏层足够宽时，该模型参数的收敛速率沿数据的较大主组件的方向呈指数级数，该方向由由相应的奇异值控制的速率。我们称这种收敛模式主成分偏差（PC偏置）。从经验上讲，我们展示了PC偏差如何简化线性和非线性网络的学习顺序，在学习的早期阶段更为突出。然后，我们将结果与简单性偏见进行比较，表明可以独立看到这两个偏见，并以不同的方式影响学习顺序。最后，我们讨论了PC偏差如何解释早期停止及其与PCA的联系的一些好处，以及为什么深网与随机标签更慢地收敛。

Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We

数据增强是机器学习管道的基石，但其理论基础尚不清楚。它只是人为增加数据集大小的一种方法吗？还是鼓励模型满足某些不变性？在这项工作中，我们考虑了另一个角度，我们研究了数据增强对学习过程动态的影响。我们发现，数据增强可以改变各种功能的相对重要性，从而有效地使某些信息性但难以学习的功能更有可能在学习过程中捕获。重要的是，我们表明，对于非线性模型，例如神经网络，这种效果更为明显。我们的主要贡献是对Allen-Zhu和Li [2020]最近提出的多视图数据模型中两层卷积神经网络的学习动态数据的详细分析。我们通过进一步的实验证据来补充这一分析，证明数据增加可以看作是特征操纵。

我们对深度学习的理论理解并没有与其经验成功保持同步。尽管已知网络体系结构至关重要，但我们尚不了解其对学习的表示和网络行为的影响，或者该体系结构如何反映任务结构。在这项工作中，我们开始通过引入门控的深层线性网络框架来解决此差距。这阐明了信息流的路径如何影响体系结构内的学习动态。至关重要的是，由于门控，这些网络可以计算其输入的非线性函数。我们得出了精确的减少，并且在某些情况下，我们可以确切解决学习动力学的方法。我们的分析表明，结构化网络中的学习动态可以概念化为具有隐性偏见的神经种族，然后控制模型的系统概括，多任务和转移的能力。我们通过自然主义数据集并使用轻松的假设来验证我们的关键见解。综上所述，我们的工作提出了将神经体系结构与学习有关的一般假设，并提供了一种数学方法，以理解更复杂的架构的设计以及模块化和组成性在解决现实世界中问题中的作用。代码和结果可在https://www.saxelab.org/gated-dln上找到。

标签 - 不平衡和组敏感分类中的目标是优化相关的指标，例如平衡错误和相同的机会。经典方法，例如加权交叉熵，在训练深网络到训练（TPT）的终端阶段时，这是超越零训练误差的训练。这种观察发生了最近在促进少数群体更大边值的直观机制之后开发启发式替代品的动力。与之前的启发式相比，我们遵循原则性分析，说明不同的损失调整如何影响边距。首先，我们证明，对于在TPT中训练的所有线性分类器，有必要引入乘法，而不是添加性的Logit调整，以便对杂项边缘进行适当的变化。为了表明这一点，我们发现将乘法CE修改的连接到成本敏感的支持向量机。也许是违反，我们还发现，在培训开始时，相同的乘法权重实际上可以损害少数群体。因此，虽然在TPT中，添加剂调整无效，但我们表明它们可以通过对乘法重量的初始负效应进行抗衡来加速会聚。通过这些发现的动机，我们制定了矢量缩放（VS）丢失，即捕获现有技术作为特殊情况。此外，我们引入了对群体敏感分类的VS损失的自然延伸，从而以统一的方式处理两种常见类型的不平衡（标签/组）。重要的是，我们对最先进的数据集的实验与我们的理论见解完全一致，并确认了我们算法的卓越性能。最后，对于不平衡的高斯 - 混合数据，我们执行泛化分析，揭示平衡/标准错误和相同机会之间的权衡。

尽管通常认为在高维度中学习受到维度的诅咒，但现代的机器学习方法通​​常具有惊人的力量，可以解决广泛的挑战性现实世界学习问题而无需使用大量数据。这些方法如何打破这种诅咒仍然是深度学习理论中的一个基本开放问题。尽管以前的努力通过研究数据（D），模型（M）和推理算法（i）作为独立模块来研究了这个问题，但在本文中，我们将三胞胎（D，M，I）分析为集成系统和确定有助于减轻维度诅咒的重要协同作用。我们首先研究了与各种学习算法（M，i）相关的基本对称性，重点是深度学习中的四个原型体系结构：完全连接的网络（FCN），本地连接的网络（LCN）和卷积网络，而无需合并（有和没有合并）（ GAP/VEC）。我们发现，当这些对称性与数据分布的对称性兼容时，学习是最有效的，并且当（d，m，i）三重态的任何成员不一致或次优时，性能会显着恶化。

深度学习的概括分析通常假定训练会收敛到固定点。但是，最近的结果表明，实际上，用随机梯度下降优化的深神经网络的权重通常无限期振荡。为了减少理论和实践之间的这种差异，本文着重于神经网络的概括，其训练动力不一定会融合到固定点。我们的主要贡献是提出一个统计算法稳定性（SAS）的概念，该算法将经典算法稳定性扩展到非convergergent算法并研究其与泛化的联系。与传统的优化和学习理论观点相比，这种崇高的理论方法可导致新的见解。我们证明，学习算法的时间复杂行为的稳定性与其泛化有关，并在经验上证明了损失动力学如何为概括性能提供线索。我们的发现提供了证据表明，即使训练无限期继续并且权重也不会融合，即使训练持续进行训练，训练更好地概括”的网络也是如此。

In a series of recent theoretical works, it was shown that strongly overparameterized neural networks trained with gradient-based methods could converge exponentially fast to zero training loss, with their parameters hardly varying. In this work, we show that this "lazy training" phenomenon is not specific to overparameterized neural networks, and is due to a choice of scaling, often implicit, that makes the model behave as its linearization around the initialization, thus yielding a model equivalent to learning with positive-definite kernels. Through a theoretical analysis, we exhibit various situations where this phenomenon arises in non-convex optimization and we provide bounds on the distance between the lazy and linearized optimization paths. Our numerical experiments bring a critical note, as we observe that the performance of commonly used non-linear deep convolutional neural networks in computer vision degrades when trained in the lazy regime. This makes it unlikely that "lazy training" is behind the many successes of neural networks in difficult high dimensional tasks.

建立深度学习的理论基础的一个关键挑战是神经网络的复杂优化动态，由大量网络参数之间的高维相互作用产生。这种非琐碎的动态导致有趣的行为，例如概括误差的“双重下降”的现象。这种现象的越常见的方面对应于模型 - 明智的双下降，其中测试误差具有增加模型复杂性的第二下降，超出经典的U形误差曲线。在这项工作中，我们研究了研究误差在训练时间增加时进行了测试误差的较低学习的巨头双重下降的起源。通过利用统计物理学的工具，我们研究了展示了与深神经网络中的EPOCH-WISE Double Countcle的线性师生设置。在此设置中，我们导出了封闭式的分析表达式，用于培训泛化误差的演变。我们发现双重血统可以归因于不同尺度的不同特征：作为快速学习功能过度装备，较慢的学习功能开始适合，导致测试错误的第二个下降。我们通过数字实验验证了我们的研究结果，其中我们的理论准确预测了实证发现，并与深神经网络中的观察结果保持一致。