使用神经网络学习依赖于可代表功能的复杂性，但更重要的是，典型参数的特定分配与不同复杂度的功能。将激活区域的数量作为复杂性度量，最近的作品表明，深度释放网络的实际复杂性往往远远远非理论最大值。在这项工作中，我们表明这种现象也发生在具有颤扬（多参数）激活功能的网络中，并且在考虑分类任务中的决策边界时。我们还表明参数空间具有多维全维区域，具有广泛不同的复杂性，并在预期的复杂性上获得非竞争下限。最后，我们调查了不同的参数初始化程序，并表明他们可以提高培训的收敛速度。

我们介绍了可以由具有Maxout单位的人造馈电神经网络表示的功能线性区域的数量。排名kaxout单元是一个函数，计算$ k $线性函数的最大值。对于具有单层Maxout单元的网络，线性区域对应于Minkowski多型的上顶点。我们根据热带超曲面的交点或部分Minkowski总和的上面数，以及任何输入维度的区域数，任何单位数量，任何等级，任何等级，任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，在有和没有偏见的情况下。基于这些结果，我们还为具有多层的网络获得了渐近的上限。

We study the complexity of functions computable by deep feedforward neural networks with piecewise linear activations in terms of the symmetries and the number of linear regions that they have. Deep networks are able to sequentially map portions of each layer's input-space to the same output. In this way, deep models compute functions that react equally to complicated patterns of different inputs. The compositional structure of these functions enables them to re-use pieces of computation exponentially often in terms of the network's depth. This paper investigates the complexity of such compositional maps and contributes new theoretical results regarding the advantage of depth for neural networks with piecewise linear activation functions. In particular, our analysis is not specific to a single family of models, and as an example, we employ it for rectifier and maxout networks. We improve complexity bounds from pre-existing work and investigate the behavior of units in higher layers.

Deep neural networks can approximate functions on different types of data, from images to graphs, with varied underlying structure. This underlying structure can be viewed as the geometry of the data manifold. By extending recent advances in the theoretical understanding of neural networks, we study how a randomly initialized neural network with piece-wise linear activation splits the data manifold into regions where the neural network behaves as a linear function. We derive bounds on the density of boundary of linear regions and the distance to these boundaries on the data manifold. This leads to insights into the expressivity of randomly initialized deep neural networks on non-Euclidean data sets. We empirically corroborate our theoretical results using a toy supervised learning problem. Our experiments demonstrate that number of linear regions varies across manifolds and the results hold with changing neural network architectures. We further demonstrate how the complexity of linear regions is different on the low dimensional manifold of images as compared to the Euclidean space, using the MetFaces dataset.

许多前馈神经网络会产生连续和分段线性（CPWL）映射。具体而言，它们将输入域分配给映射为仿射函数的区域。这些所谓的线性区域的数量提供了自然度量标准，可以表征CPWL映射的表现力。尽管该数量的精确确定通常是无法触及的，但已经针对包括众所周知的Relu和Maxout网络提出了界限。在这项工作中，我们提出了一个更一般的观点，并基于三种表达能力来源：深度，宽度和激活复杂性，就CPWL网络的最大线性区域数量提供精确的界限。我们的估计依赖于凸形分区的组合结构，并突出了深度的独特作用，该作用本身能够呈指数级增加区域数量。然后，我们引入了一个互补的随机框架，以估计CPWL网络体系结构产生的线性区域的平均数量。在合理的假设下，沿任何一维路径的线性区域的预期密度都受深度，宽度和激活复杂度度量（最高缩放系数）的量的限制。这对三种表达能力产生了相同的作用：不再观察到深度的指数增长。

我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化，多面体理论和热带几何的技术，我们为普遍近似定理提供了数学逆向，这表明单个隐藏层足以用于学习任务。特别是，我们调查完全可增值功能是否完全可以通过添加更多层（没有限制大小）来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面，这个问题对算法和统计方面具有潜在的影响。然而，据我们所知，这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。

在本文中，我们研究了与具有多种激活函数的浅神经网络相对应的变异空间的近似特性。我们介绍了两个主要工具，用于估计这些空间的度量熵，近似率和$ n $宽度。首先，我们介绍了平滑参数化词典的概念，并在非线性近似速率，度量熵和$ n $ widths上给出了上限。上限取决于参数化的平滑度。该结果适用于与浅神经网络相对应的脊功能的字典，并且在许多情况下它们的现有结果改善了。接下来，我们提供了一种方法，用于下限度量熵和$ n $ widths的变化空间，其中包含某些类别的山脊功能。该结果给出了$ l^2 $ approximation速率，度量熵和$ n $ widths的变化空间的急剧下限具有界变化的乙状结激活函数。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

我们研究神经网络表达能力的基本限制。给定两组$ f $，$ g $的实值函数，我们首先证明了$ f $中的功能的一般下限，可以在$ l^p（\ mu）$ norm中通过$ g中的功能近似$，对于任何$ p \ geq 1 $和任何概率度量$ \ mu $。下限取决于$ f $的包装数，$ f $的范围以及$ g $的脂肪震动尺寸。然后，我们实例化了$ g $对应于分段的馈电神经网络的情况，并详细描述了两组$ f $：h {\“ o} lder balls和多变量单调函数。除了匹配（已知或新的）上限与日志因素外，我们的下限还阐明了$ l^p $ Norm或SUP Norm中近似之间的相似性或差异，解决了Devore等人的开放问题（2021年））。我们的证明策略与SUP Norm案例不同，并使用了Mendelson（2002）的关键概率结果。

众所周知，具有重新激活函数的完全连接的前馈神经网络可以表示的参数化函数家族恰好是一类有限的分段线性函数。鲜为人知的是，对于Relu神经网络的每个固定架构，参数空间都允许对称的正维空间，因此，在任何给定参数附近的局部功能维度都低于参数维度。在这项工作中，我们仔细地定义了功能维度的概念，表明它在Relu神经网络函数的参数空间中是不均匀的，并继续进行[14]和[5]中的调查 - 何时在功能维度实现其理论时最大。我们还研究了从参数空间到功能空间的实现图的商空间和纤维，提供了断开连接的纤维的示例，功能尺寸为非恒定剂的纤维以及对称组在其上进行非转换的纤维。

深度分离结果提出了对深度神经网络过较浅的架构的好处的理论解释，建立前者具有卓越的近似能力。然而，没有已知的结果，其中更深的架构利用这种优势成为可提供的优化保证。我们证明，当数据由具有满足某些温和假设的径向对称的分布产生的数据时，梯度下降可以使用具有两层S形激活的深度2神经网络有效地学习球指示器功能，并且隐藏层固定在一起训练。由于众所周知，当使用用单层非线性的深度2网络（Safran和Shamir，2017）使用深度2网络时，球指示器难以近似于一定的重型分配，这建立了我们最好的知识，基于第一优化的分离结果，其中近似架构的近似效益在实践中可怕的。我们的证明技术依赖于随机特征方法，该方法减少了用单个神经元学习的问题，其中新工具需要在数据分布重尾时显示梯度下降的收敛。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

现代神经网络通常以强烈的过度构造状态运行：它们包含许多参数，即使实际标签被纯粹随机的标签代替，它们也可以插入训练集。尽管如此，他们在看不见的数据上达到了良好的预测错误：插值训练集并不会导致巨大的概括错误。此外，过度散色化似乎是有益的，因为它简化了优化景观。在这里，我们在神经切线（NT）制度中的两层神经网络的背景下研究这些现象。我们考虑了一个简单的数据模型，以及各向同性协变量的矢量，$ d $尺寸和$ n $隐藏的神经元。我们假设样本量$ n $和尺寸$ d $都很大，并且它们在多项式上相关。我们的第一个主要结果是对过份术的经验NT内核的特征结构的特征。这种表征意味着必然的表明，经验NT内核的最低特征值在$ ND \ gg n $后立即从零界限，因此网络可以在同一制度中精确插值任意标签。我们的第二个主要结果是对NT Ridge回归的概括误差的表征，包括特殊情况，最小值-ULL_2 $ NORD插值。我们证明，一旦$ nd \ gg n $，测试误差就会被内核岭回归之一相对于无限宽度内核而近似。多项式脊回归的误差依次近似后者，从而通过与激活函数的高度组件相关的“自我诱导的”项增加了正则化参数。多项式程度取决于样本量和尺寸（尤其是$ \ log n/\ log d $）。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

了解通过随机梯度下降（SGD）训练的神经网络的特性是深度学习理论的核心。在这项工作中，我们采取了平均场景，并考虑通过SGD培训的双层Relu网络，以实现一个非变量正则化回归问题。我们的主要结果是SGD偏向于简单的解决方案：在收敛时，Relu网络实现输入的分段线性图，以及“结”点的数量 - 即，Relu网络估计器的切线变化的点数 - 在两个连续的训练输入之间最多三个。特别地，随着网络的神经元的数量，通过梯度流的解决方案捕获SGD动力学，并且在收敛时，重量的分布方法接近相关的自由能量的独特最小化器，其具有GIBBS形式。我们的主要技术贡献在于分析了这一最小化器产生的估计器：我们表明其第二阶段在各地消失，除了代表“结”要点的一些特定地点。我们还提供了经验证据，即我们的理论预测的不同可能发生与数据点不同的位置的结。

我们在决策边界是一定规律的假设下，研究从无噪声训练样本的学习分类功能的问题。我们为这一估计问题建立了普遍的下限，对于连续决策边界的一般阶级。对于本地禁区的类别，我们发现最佳估计率基本上独立于底层维度，并且可以通过在适当类的深神经网络上通过经验风险最小化方法实现。这些结果基于$ l ^ 1 $和$ l ^ \ infty $ intty $ inthty $ off的禁区常规职能的新颖估计数。

对于高维和非参数统计模型，速率最优估计器平衡平方偏差和方差是一种常见的现象。虽然这种平衡被广泛观察到，但很少知道是否存在可以避免偏差和方差之间的权衡的方法。我们提出了一般的策略，以获得对任何估计方差的下限，偏差小于预先限定的界限。这表明偏差差异折衷的程度是不可避免的，并且允许量化不服从其的方法的性能损失。该方法基于许多抽象的下限，用于涉及关于不同概率措施的预期变化以及诸如Kullback-Leibler或Chi-Sque-diversence的信息措施的变化。其中一些不平等依赖于信息矩阵的新概念。在该物品的第二部分中，将抽象的下限应用于几种统计模型，包括高斯白噪声模型，边界估计问题，高斯序列模型和高维线性回归模型。对于这些特定的统计应用，发生不同类型的偏差差异发生，其实力变化很大。对于高斯白噪声模型中集成平方偏置和集成方差之间的权衡，我们将较低界限的一般策略与减少技术相结合。这允许我们将原始问题与估计的估计器中的偏差折衷联动，以更简单的统计模型中具有额外的对称性属性。在高斯序列模型中，发生偏差差异的不同相位转换。虽然偏差和方差之间存在非平凡的相互作用，但是平方偏差的速率和方差不必平衡以实现最小估计速率。

对于由缺陷线性回归中的标签噪声引起的预期平均平方概率，我们证明了无渐近分布的下限。我们的下部结合概括了过度公共数据（内插）制度的类似已知结果。与最先前的作品相比，我们的分析适用于广泛的输入分布，几乎肯定的全排列功能矩阵，允许我们涵盖各种类型的确定性或随机特征映射。我们的下限是渐近的锐利，暗示在存在标签噪声时，缺陷的线性回归不会在任何这些特征映射中围绕内插阈值进行良好的。我们详细分析了强加的假设，并为分析（随机）特征映射提供了理论。使用此理论，我们可以表明我们的假设对于具有（Lebesgue）密度的输入分布以及随机深神经网络给出的特征映射，具有Sigmoid，Tanh，SoftPlus或Gelu等分析激活功能。作为进一步的例子，我们示出了来自随机傅里叶特征和多项式内核的特征映射也满足我们的假设。通过进一步的实验和分析结果，我们补充了我们的理论。

在本说明中，我们研究了如何使用单个隐藏层和RELU激活的神经网络插值数据，该数据是从径向对称分布中的，目标标签1处的目标标签1和单位球外部0，如果单位球内没有标签。通过重量衰减正则化和无限神经元的无限数据限制，我们证明存在独特的径向对称最小化器，其重量衰减正常器和Lipschitz常数分别为$ d $和$ \ sqrt {d} $。我们此外表明，如果标签$ 1 $强加于半径$ \ varepsilon $，而不仅仅是源头，则重量衰减正规剂会在$ d $中成倍增长。相比之下，具有两个隐藏层的神经网络可以近似目标函数，而不会遇到维度的诅咒。

Neural networks with random weights appear in a variety of machine learning applications, most prominently as the initialization of many deep learning algorithms and as a computationally cheap alternative to fully learned neural networks. In the present article, we enhance the theoretical understanding of random neural networks by addressing the following data separation problem: under what conditions can a random neural network make two classes $\mathcal{X}^-, \mathcal{X}^+ \subset \mathbb{R}^d$ (with positive distance) linearly separable? We show that a sufficiently large two-layer ReLU-network with standard Gaussian weights and uniformly distributed biases can solve this problem with high probability. Crucially, the number of required neurons is explicitly linked to geometric properties of the underlying sets $\mathcal{X}^-, \mathcal{X}^+$ and their mutual arrangement. This instance-specific viewpoint allows us to overcome the usual curse of dimensionality (exponential width of the layers) in non-pathological situations where the data carries low-complexity structure. We quantify the relevant structure of the data in terms of a novel notion of mutual complexity (based on a localized version of Gaussian mean width), which leads to sound and informative separation guarantees. We connect our result with related lines of work on approximation, memorization, and generalization.