在本文中，我们用relu，正弦和$ 2^x $构建神经网络作为激活功能。对于$ [0,1]^d $定义的一般连续$ f $，带有连续模量$ \ omega_f（\ cdot）$，我们构造了Relu-sine- $ 2^x $网络，这些网络享受近似值$ \ MATHCAL {o }（\ omega_f（\ sqrt {d}）\ cdot2^{ - m}+\ omega_ {f} \ in \ Mathbb {n}^{+} $表示与网络宽度相关的超参数。结果，我们可以构建Relu-Sine- $ 2^x $网络，其深度为$ 5 $和宽度$ \ max \ left \ weft \ {\ left \ lceil2d^{3/2} \ left（\ frac {3 \ mu}） {\ epsilon} \ right）^{1/{\ alpha}} \ right \ rceil，2 \ left \ lceil \ log_2 \ frac {3 \ mu d^{\ alpha/2}} \ rceil+2 \ right \} $ tht \ Mathcal {h} _ {\ mu}^{\ alpha}（[0,1]^d）$近似$ f \以$ l^p $ norm $ p \在[1，\ infty）$中的测量，其中$ \ mathcal {h} _ {\ mu}^{\ alpha}（\ alpha}（[0,1]^d）$表示H \“ $ [0,1]^d $定义的旧连续函数类，带有订单$ \ alpha \ in（0,1] $和常数$ \ mu> 0 $。因此，relu-sine- $ 2^x $网络克服了$ \ Mathcal {h} _ {\ mu}^{\ alpha}（[0,1]^d）$。除了其晚餐表达能力外，由relu-sine- $ 2实施的功能，也克服了维度的诅咒。 ^x $网络是（广义）可区分的，使我们能够将SGD应用于训练。

我们研究了深层神经网络的表达能力，以在扩张的转移不变空间中近似功能，这些空间被广泛用于信号处理，图像处理，通信等。相对于神经网络的宽度和深度估算了近似误差界限。网络构建基于深神经网络的位提取和数据拟合能力。作为我们主要结果的应用，获得了经典函数空间（例如Sobolev空间和BESOV空间）的近似速率。我们还给出了$ l^p（1 \ le p \ le \ infty）$近似误差的下限，这表明我们的神经网络的构建是渐近的最佳选择，即最大程度地达到对数因素。

本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。

This paper investigates the approximation properties of deep neural networks with piecewise-polynomial activation functions. We derive the required depth, width, and sparsity of a deep neural network to approximate any H\"{o}lder smooth function up to a given approximation error in H\"{o}lder norms in such a way that all weights of this neural network are bounded by $1$. The latter feature is essential to control generalization errors in many statistical and machine learning applications.

众所周知，现代神经网络容易受到对抗例子的影响。为了减轻这个问题，已经提出了一系列强大的学习算法。但是，尽管通过某些方法可以通过某些方法接近稳定的训练误差，但所有现有的算法都会导致较高的鲁棒概括误差。在本文中，我们从深层神经网络的表达能力的角度提供了对这种令人困惑的现象的理论理解。具体而言，对于二进制分类数据，我们表明，对于Relu网络，虽然轻度的过度参数足以满足较高的鲁棒训练精度，但存在持续的稳健概括差距，除非神经网络的大小是指数的，却是指数的。数据维度$ d $。即使数据是线性可分离的，这意味着要实现低清洁概括错误很容易，我们仍然可以证明$ \ exp（{\ omega}（d））$下限可用于鲁棒概括。通常，只要它们的VC维度最多是参数数量，我们的指数下限也适用于各种神经网络家族和其他功能类别。此外，我们为网络大小建立了$ \ exp（{\ mathcal {o}}（k））$的改进的上限，当数据放在具有内在尺寸$ k $的歧管上时，以实现低鲁棒的概括错误（$） k \ ll d $）。尽管如此，我们也有一个下限，相对于$ k $成倍增长 - 维度的诅咒是不可避免的。通过证明网络大小之间的指数分离以实现较低的鲁棒训练和泛化错误，我们的结果表明，鲁棒概括的硬度可能源于实用模型的表现力。

众所周知，$ O（n）$参数足以让神经网络记住任意$ N $ INPUT-LABE标签对。通过利用深度，我们显示$ O（n ^ {2/3}）$参数足以在输入点的分离的温和条件下记住$ n $对。特别是，更深的网络（即使是宽度为3美元），也会显示比浅网络更有成对，这也同意最近的作品对函数近似的深度的好处。我们还提供支持我们理论发现的经验结果。

我们研究神经网络表达能力的基本限制。给定两组$ f $，$ g $的实值函数，我们首先证明了$ f $中的功能的一般下限，可以在$ l^p（\ mu）$ norm中通过$ g中的功能近似$，对于任何$ p \ geq 1 $和任何概率度量$ \ mu $。下限取决于$ f $的包装数，$ f $的范围以及$ g $的脂肪震动尺寸。然后，我们实例化了$ g $对应于分段的馈电神经网络的情况，并详细描述了两组$ f $：h {\“ o} lder balls和多变量单调函数。除了匹配（已知或新的）上限与日志因素外，我们的下限还阐明了$ l^p $ Norm或SUP Norm中近似之间的相似性或差异，解决了Devore等人的开放问题（2021年））。我们的证明策略与SUP Norm案例不同，并使用了Mendelson（2002）的关键概率结果。

本文在内在参数的数量（即，根据目标函数$ F $）的数量来研究Relu网络的近似误差。首先，我们证明了建设，对于任何Lipschitz连续功能$ f $ w $ thy $ [0,1] ^ d $与lipschitz常数$ \ lambda> 0 $，带有$ n + 2 $ 2 $ 2 $ contrincic参数的Relu网络可以近似$ f $与$ l ^ p $ -norm以$ p \ in [1，\ idty）$中，$ f $ 5 \ lambda \ sqrt {d} \，2 ^ { - n} $。更一般于任意连续函数$ [0,1] ^ d $与连续性$ \ omega_f（\ cdot）$的模数，近似误差是$ \ omega_f（\ sqrt {d} \，2 ^ { - n}）+ 2 ^ { - n + 2} \ omega_f（\ sqrt {d}）$。接下来，我们以$ l ^ p $ -norm延长这两个结果，以$ 3 ^ d n + 2美元的价格为$ l ^ \ infty $ -norm。最后，通过使用高精度二进制表示和比特提取技术，通过固定的Relu网络独立于目标函数，我们设计，只有三个内在参数的Relu网络，以近似H +“较旧的连续功能小错误。

神经网络的通用近似特性（UAP）对于深度学习至关重要，众所周知，广泛的神经网络是$ l^p $ norm和连续/统一规范中连续功能的通用近似概要。但是，确切的最小宽度，$ w _ {\ min} $，尚未对UAP进行彻底研究。最近，使用解码器模式编码器方案，\ citet {park2021mimine}发现$ w _ {\ min} = \ max（d_x+1，d_y）$ for $ l^p $ up of relu Networks和the $ c $ - relu+step网络，其中$ d_x，d_y $分别是输入和输出尺寸。在本文中，我们考虑具有任意激活功能的神经网络。我们证明，紧凑型域上功能的$ c $ uap和$ l^p $ -uap共享最小宽度的通用下限；也就是说，$ w^*_ {\ min} = \ max（d_x，d_y）$。特别是，只要输入或输出尺寸大于一个，就可以通过泄漏的relu网络来实现临界宽度，$ w^*_ {\ min} $，可以通过泄漏的relu网络来实现。我们的构建基于神经普通微分方程的近似能力以及通过神经网络近似流量图的能力。还讨论了非单极管或不连续的激活函数情况和一维情况。

在这项工作中，我们探讨了H +“旧常规功能的深度整流二次单位神经网络的近似能力，相对于统一标准。我们发现理论近似大量取决于神经网络中的所选激活函数。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

We show that deep sparse ReLU networks with ternary weights and deep ReLU networks with binary weights can approximate β-Hölder functions on [0, 1] d . Also, for any interval [a, b) ⊂ R, continuous functions on [0, 1] d can be approximated by networks of depth 2 with binary activation function 1 [a,b) .

其中的许多神经网络能够复制复杂的任务或功能的原因之一是其普遍性财产。在过去的几十年里已经在提供单一或类神经网络的构造性证明见过很多尝试。本文是为了提供一大类，包括激活现有的大多数激活和超越的普遍性统一的和建设性的框架。在框架的心脏是神经网络近似标识的概念。事实证明，大多数现有的激活是神经网络近似的标志，因此在连续的函数对致密的空间普遍。该框架诱导几个优点。首先，它是建设性与功能分析，概率论，和数值分析的基本手段。其次，它是第一个统一的尝试，其有效期为大多数现有的激活。第三，作为一个以产品，该框架提供了一些现有的激活功能，包括米什司炉ELU，格鲁，等四的第一所大学证明，它发现带有普遍性的保证财产新的激活。事实上，任何活化\ textemdash其$ \ķ$阶导数，以$ \ķ$为整数，是积并且基本上界定\ textemdash是普遍的。第五，对于给定的激活和容错，框架精确地提供了具有预定数量的神经元，和重量/偏差的值中对应的一个隐藏神经网络的体系结构。

We study expressive power of shallow and deep neural networks with piece-wise linear activation functions. We establish new rigorous upper and lower bounds for the network complexity in the setting of approximations in Sobolev spaces. In particular, we prove that deep ReLU networks more efficiently approximate smooth functions than shallow networks. In the case of approximations of 1D Lipschitz functions we describe adaptive depth-6 network architectures more efficient than the standard shallow architecture.

This paper investigates the stability of deep ReLU neural networks for nonparametric regression under the assumption that the noise has only a finite p-th moment. We unveil how the optimal rate of convergence depends on p, the degree of smoothness and the intrinsic dimension in a class of nonparametric regression functions with hierarchical composition structure when both the adaptive Huber loss and deep ReLU neural networks are used. This optimal rate of convergence cannot be obtained by the ordinary least squares but can be achieved by the Huber loss with a properly chosen parameter that adapts to the sample size, smoothness, and moment parameters. A concentration inequality for the adaptive Huber ReLU neural network estimators with allowable optimization errors is also derived. To establish a matching lower bound within the class of neural network estimators using the Huber loss, we employ a different strategy from the traditional route: constructing a deep ReLU network estimator that has a better empirical loss than the true function and the difference between these two functions furnishes a low bound. This step is related to the Huberization bias, yet more critically to the approximability of deep ReLU networks. As a result, we also contribute some new results on the approximation theory of deep ReLU neural networks.

我们因与Relu神经网络的参数双曲标量保护定律的近似值所产生的误差得出了严格的界限。我们表明，通过克服维度诅咒的relu神经网络，可以使近似误差尽可能小。此外，我们在训练误差，训练样本数量和神经网络大小方面提供了明确的上限。理论结果通过数值实验说明。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

实施深层神经网络来学习参数部分微分方程（PDE）的解决方案图比使用许多常规数值方法更有效。但是，对这种方法进行了有限的理论分析。在这项研究中，我们研究了深层二次单元（requ）神经网络的表达能力，以近似参数PDE的溶液图。拟议的方法是由G. Kutyniok，P。Petersen，M。Raslan和R. Schneider（Gitta Kutyniok，Philipp Petersen，Mones Raslan和Reinhold Schneider。深层神经网络和参数PDES的理论分析）的最新重要工作激励的。 。建设性近似，第1-53、2021页，该第1-53、2021页，它使用深层的线性单元（relu）神经网络来求解参数PDE。与先前建立的复杂性$ \ MATHCAL {O} \ left（d^3 \ log_ {2}}^{q}（1/ \ epsilon）\ right）$用于relu神经网络，我们得出了上限的上限$ \ MATHCAL {o} \ left（d^3 \ log_ {2}^{q} \ log_ {2}（1/ \ epsilon）\ right）$）$ right Requ Neural网络的大小，以实现精度$ \ epsilon> 0 $，其中$ d $是代表解决方案的减少基础的维度。我们的方法充分利用了解决方案歧管的固有低维度和深层reque neural网络的更好近似性能。进行数值实验以验证我们的理论结果。

直到最近，神经网络在机器学习中的应用几乎完全依赖于实际网络。然而，它最近观察到，该复合值的神经网络（CVNNS）在应用中表现出卓越的性能，其中输入自然复合值，例如MRI指纹识别。虽然现实价值网络的数学理论已经达到了一定程度的成熟度，但这远远不适用于复合网络。在本文中，我们通过提供近似美元的Compact Qualets上的Compact Value的神经网络上的Compact-valued神经网络，通过提供明确的定量误差界来分析复合网络的表达性。激活函数，由$ \ sigma（z）= \ mathrm {creu}（| z | - 1）\，\ mathrm {sgn}（z）$，它是实际使用的最受欢迎的复杂激活功能之一。我们表明，衍生的近似值率在Modroleu网络类中的最佳（最多为日志因子），其具有适度增长的重量。

由于网络的深度倾向于无穷大，我们探讨了深神经网络与流行的Relu激活函数的收敛。为此，我们介绍了Relu网络的激活域和激活矩阵的概念。通过用激活域上的激活矩阵替换Relu激活函数的应用，我们获得了Relu网络的显式表达。然后，我们将Relu网络的收敛性确定为一类无限矩阵产物的收敛性。研究了这些无限矩阵产物的足够和必要条件。结果，我们为Relu网络建立了必要的条件，即使权重矩阵的顺序收敛到身份矩阵，并且随着Relu网络的深度增加到无穷大，偏置向量的序列会收敛到零。此外，我们从隐藏层的重量矩阵和偏置向量方面获得了足够的条件，以便在深度relu网络的点上收敛。这些结果为图像分类中众所周知的深残留网络的设计策略提供了数学见解。