我们表明，具有二进制隐藏单元的深度信念网络可以在可见节点的父母密度上近似于任何多元概率密度。近似值以$ l^q $ -norm为$ q \ in [1，\ infty] $（$ q = \ infty $，对应于最高标准）和kullback-leibler Divergence。此外，我们根据隐藏单元数量在近似误差上建立了尖锐的定量界限。

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

We generalize the classical universal approximation theorem for neural networks to the case of complex-valued neural networks. Precisely, we consider feedforward networks with a complex activation function $\sigma : \mathbb{C} \to \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N \to \mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We completely characterize those activation functions $\sigma$ for which the associated complex networks have the universal approximation property, meaning that they can uniformly approximate any continuous function on any compact subset of $\mathbb{C}^d$ arbitrarily well. Unlike the classical case of real networks, the set of "good activation functions" which give rise to networks with the universal approximation property differs significantly depending on whether one considers deep networks or shallow networks: For deep networks with at least two hidden layers, the universal approximation property holds as long as $\sigma$ is neither a polynomial, a holomorphic function, or an antiholomorphic function. Shallow networks, on the other hand, are universal if and only if the real part or the imaginary part of $\sigma$ is not a polyharmonic function.

近年来，生成的对抗性网络（GANS）已经证明了令人印象深刻的实验结果，同时只有一些作品促进了统计学习理论。在这项工作中，我们提出了一种用于生成对抗性学习的无限尺寸理论框架。假设统一界限的$ k $-times $ \ alpha $ -h \“较旧的可分辨率和统一的正密度，我们表明Rosenblatt的转换引起了最佳发电机，可在$ \ alpha $的假设空间中可实现H \“较旧的微分发电机。通过一致的鉴别者假设空间的定义，我们进一步表明，在我们的框架中，由发电机引起的分布与来自对手学习过程的分布之间的jensen-shannon发散，并且数据生成分布会聚到零。在足够严格的规律性假设下对数据产生过程密度的假设，我们还基于浓度和链接提供会聚率。

众所周知，进食前馈神经网络的学习速度很慢，并且在深度学习应用中呈现了几十年的瓶颈。例如，广泛用于训练神经网络的基于梯度的学习算法在所有网络参数都必须迭代调整时往往会缓慢起作用。为了解决这个问题，研究人员和从业人员都尝试引入随机性来减少学习要求。基于Igelnik和Pao的原始结构，具有随机输入层的重量和偏见的单层神经网络在实践中取得了成功，但是缺乏必要的理论理由。在本文中，我们开始填补这一理论差距。我们提供了一个（校正的）严格证明，即Igelnik和PAO结构是连续函数在紧凑型域上连续函数的通用近似值，并且近似错误渐近地衰减，例如$ o（1/\ sqrt {n}）网络节点。然后，我们将此结果扩展到非反应设置，证明人们可以在$ n $的情况下实现任何理想的近似误差，而概率很大。我们进一步调整了这种随机神经网络结构，以近似欧几里得空间的平滑，紧凑的亚曼叶量的功能，从而在渐近和非催化形式的理论保证中提供了理论保证。最后，我们通过数值实验说明了我们在歧管上的结果。

我们研究基于度量传输的非参数密度估计器的收敛性和相关距离。这些估计量代表了利息的度量，作为传输图下选择的参考分布的推动力，其中地图是通过最大似然目标选择（等效地，将经验性的kullback-leibler损失）或其受惩罚版本选择。我们通过将M估计的技术与基于运输的密度表示的分析性能相结合，为一般惩罚措施估计量的一般类别的措施运输估计器建立了浓度不平等。然后，我们证明了我们的理论对三角形knothe-rosenblatt（kr）在$ d $维单元方面的运输的含义，并表明该估计器的惩罚和未化的版本都达到了Minimax最佳收敛速率，超过了H \ \ \'“较旧的密度类别。具体来说，我们建立了在有限的h \“较旧型球上，未确定的非参数最大似然估计，然后在某些sobolev-penalate的估计器和筛分的小波估计器中建立了最佳速率。

我们研究神经网络表达能力的基本限制。给定两组$ f $，$ g $的实值函数，我们首先证明了$ f $中的功能的一般下限，可以在$ l^p（\ mu）$ norm中通过$ g中的功能近似$，对于任何$ p \ geq 1 $和任何概率度量$ \ mu $。下限取决于$ f $的包装数，$ f $的范围以及$ g $的脂肪震动尺寸。然后，我们实例化了$ g $对应于分段的馈电神经网络的情况，并详细描述了两组$ f $：h {\“ o} lder balls和多变量单调函数。除了匹配（已知或新的）上限与日志因素外，我们的下限还阐明了$ l^p $ Norm或SUP Norm中近似之间的相似性或差异，解决了Devore等人的开放问题（2021年））。我们的证明策略与SUP Norm案例不同，并使用了Mendelson（2002）的关键概率结果。

我们在决策边界是一定规律的假设下，研究从无噪声训练样本的学习分类功能的问题。我们为这一估计问题建立了普遍的下限，对于连续决策边界的一般阶级。对于本地禁区的类别，我们发现最佳估计率基本上独立于底层维度，并且可以通过在适当类的深神经网络上通过经验风险最小化方法实现。这些结果基于$ l ^ 1 $和$ l ^ \ infty $ intty $ inthty $ off的禁区常规职能的新颖估计数。

量化概率分布之间的异化的统计分歧（SDS）是统计推理和机器学习的基本组成部分。用于估计这些分歧的现代方法依赖于通过神经网络（NN）进行参数化经验变化形式并优化参数空间。这种神经估算器在实践中大量使用，但相应的性能保证是部分的，并呼吁进一步探索。特别是，涉及的两个错误源之间存在基本的权衡：近似和经验估计。虽然前者需要NN课程富有富有表现力，但后者依赖于控制复杂性。我们通过非渐近误差界限基于浅NN的基于浅NN的估计的估算权，重点关注四个流行的$ \ mathsf {f} $ - 分离 - kullback-leibler，chi squared，squared hellinger，以及总变异。我们分析依赖于实证过程理论的非渐近功能近似定理和工具。界限揭示了NN尺寸和样品数量之间的张力，并使能够表征其缩放速率，以确保一致性。对于紧凑型支持的分布，我们进一步表明，上述上三次分歧的神经估算器以适当的NN生长速率接近Minimax率 - 最佳，实现了对数因子的参数速率。

我们研究了随机向量$ {\ boldsymbol x} $ in $ \ mathbb r ^ d $的密度估计问题，概率密度$ f（\ boldsymbol x）$。对于Vertex Set $ \ {1，\ dots，d \} $上定义的生成树$ t $，树密度$ f_ {t} $是一款双变量条件密度的产品。最佳的生成树$ t ^ * $是生成树$ t $，其中klullback-leibler $ f $和$ f_ {t} $的次数是最小的。来自I.I.D.我们识别最佳树$ t ^ * $，并计算有效地构建树密度估计$ f_n $，使得没有任何规律性条件的密度$ f $，其中一个$ \ lim_ {n \ to \ indty} \int | f_n（\ boldsymbol x）-f_ {t ^ *}（\ boldsymbol x）| d \ boldsymbol x = 0 $ as对于LipsChitz连续$ F $与有界支持，$ \ mathbb e \ {\ int | f_n（\ boldsymbol x）-f_ {t ^ *}（\ boldsymbol x）| d \ boldsymbol x \} = o（n ^ {-1/4}）$。

其中的许多神经网络能够复制复杂的任务或功能的原因之一是其普遍性财产。在过去的几十年里已经在提供单一或类神经网络的构造性证明见过很多尝试。本文是为了提供一大类，包括激活现有的大多数激活和超越的普遍性统一的和建设性的框架。在框架的心脏是神经网络近似标识的概念。事实证明，大多数现有的激活是神经网络近似的标志，因此在连续的函数对致密的空间普遍。该框架诱导几个优点。首先，它是建设性与功能分析，概率论，和数值分析的基本手段。其次，它是第一个统一的尝试，其有效期为大多数现有的激活。第三，作为一个以产品，该框架提供了一些现有的激活功能，包括米什司炉ELU，格鲁，等四的第一所大学证明，它发现带有普遍性的保证财产新的激活。事实上，任何活化\ textemdash其$ \ķ$阶导数，以$ \ķ$为整数，是积并且基本上界定\ textemdash是普遍的。第五，对于给定的激活和容错，框架精确地提供了具有预定数量的神经元，和重量/偏差的值中对应的一个隐藏神经网络的体系结构。

In this paper we prove Gamma-convergence of a nonlocal perimeter of Minkowski type to a local anisotropic perimeter. The nonlocal model describes the regularizing effect of adversarial training in binary classifications. The energy essentially depends on the interaction between two distributions modelling likelihoods for the associated classes. We overcome typical strict regularity assumptions for the distributions by only assuming that they have bounded $BV$ densities. In the natural topology coming from compactness, we prove Gamma-convergence to a weighted perimeter with weight determined by an anisotropic function of the two densities. Despite being local, this sharp interface limit reflects classification stability with respect to adversarial perturbations. We further apply our results to deduce Gamma-convergence of the associated total variations, to study the asymptotics of adversarial training, and to prove Gamma-convergence of graph discretizations for the nonlocal perimeter.

我们研究了随着正则化参数的消失，差异调节的最佳转运的收敛性消失。一般差异的尖锐费率包括相对熵或$ l^{p} $正则化，一般运输成本和多边界问题。使用量化和Martingale耦合的新方法适用于非紧密的边际和实现，特别是对于所有有限$（2+ \ delta）$ - 时刻的边缘的熵正规化2-wasserstein距离的尖锐前阶项。

比较概率分布是许多机器学习算法的关键。最大平均差异（MMD）和最佳运输距离（OT）是在过去几年吸引丰富的关注的概率措施之间的两类距离。本文建立了一些条件，可以通过MMD规范控制Wassersein距离。我们的作品受到压缩统计学习（CSL）理论的推动，资源有效的大规模学习的一般框架，其中训练数据总结在单个向量（称为草图）中，该训练数据捕获与所考虑的学习任务相关的信息。在CSL中的现有结果启发，我们介绍了H \“较旧的较低限制的等距属性（H \”较旧的LRIP）并表明这家属性具有有趣的保证对压缩统计学习。基于MMD与Wassersein距离之间的关系，我们通过引入和研究学习任务的Wassersein可读性的概念来提供压缩统计学习的保证，即概率分布之间的某些特定于特定的特定度量，可以由Wassersein界定距离。

显示了最佳的收敛速率，显示了对保守随机偏微分方程的平均场限制对解决方案解决方案解决方案解决方案的收敛。作为第二个主要结果，该SPDE的定量中心极限定理再次得出，并以最佳的收敛速率得出。该结果尤其适用于在过叠层化的，浅的神经网络中与SPDES溶液中随机梯度下降动力学的平均场缩放率的收敛性。结果表明，在限制SPDE中包含波动可以提高收敛速度，并保留有关随机梯度下降的波动的信息。

概率分布之间的差异措施，通常被称为统计距离，在概率理论，统计和机器学习中普遍存在。为了在估计这些距离的距离时，对维度的诅咒，最近的工作已经提出了通过带有高斯内核的卷积在测量的分布中平滑局部不规则性。通过该框架的可扩展性至高维度，我们研究了高斯平滑$ P $ -wassersein距离$ \ mathsf {w} _p ^ {（\ sigma）} $的结构和统计行为，用于任意$ p \ GEQ 1 $。在建立$ \ mathsf {w} _p ^ {（\ sigma）} $的基本度量和拓扑属性之后，我们探索$ \ mathsf {w} _p ^ {（\ sigma）}（\ hat {\ mu} _n，\ mu）$，其中$ \ hat {\ mu} _n $是$ n $独立观察的实证分布$ \ mu $。我们证明$ \ mathsf {w} _p ^ {（\ sigma）} $享受$ n ^ { - 1/2} $的参数经验融合速率，这对比$ n ^ { - 1 / d} $率对于未平滑的$ \ mathsf {w} _p $ why $ d \ geq 3 $。我们的证明依赖于控制$ \ mathsf {w} _p ^ {（\ sigma）} $ by $ p $ th-sting spoollow sobolev restion $ \ mathsf {d} _p ^ {（\ sigma）} $并导出限制$ \ sqrt {n} \，\ mathsf {d} _p ^ {（\ sigma）}（\ hat {\ mu} _n，\ mu）$，适用于所有尺寸$ d $。作为应用程序，我们提供了使用$ \ mathsf {w} _p ^ {（\ sigma）} $的两个样本测试和最小距离估计的渐近保证，使用$ p = 2 $的实验使用$ \ mathsf {d} _2 ^ {（\ sigma）} $。

我们考虑在只能计算出L2-核的加权蒙特卡洛估计值时，在L2的一般非线性子集中近似函数的问题。在这种情况下特别感兴趣的是样本复杂性的概念，即以高概率实现规定误差所需的样品点数。该数量的合理最坏情况仅适用于L2的特定子集，例如线性空间或一组稀疏向量。对于更通用的子集，例如张量网络，当前现有的界限非常悲观。通过将模型类限制为最佳近似的邻域，我们可以为样品复杂性得出改善的最差案例边界。当被考虑的邻域是具有正局部覆盖范围的多种歧视时，可以通过切线空间的样品复杂性以及正常空间的样品复杂性和歧管曲率的样品复杂性来估计样品复杂性。

我们研究具有随机生成内部权重的回声状态网络的均匀近似。这些模型在训练过程中仅优化了读数权重，在学习动态系统方面取得了经验成功。我们通过证明它们在弱条件下是普遍的来解决这些模型的代表性。我们的主要结果为激活函数提供了足够的条件和内部权重的采样过程，因此回声状态网络可以近似具有高概率的任何连续的休闲时间不变的操作员。特别是，对于Relu激活，我们量化了足够常规运算符的回声状态网络的近似误差。

给定$ n $数据点$ \ mathbb {r}^d $中的云，请考虑$ \ mathbb {r}^d $的$ m $ dimensional子空间预计点。当$ n，d $增长时，这一概率分布的集合如何？我们在零模型下考虑了这个问题。标准高斯矢量，重点是渐近方案，其中$ n，d \ to \ infty $，$ n/d \ to \ alpha \ in（0，\ infty）$，而$ m $是固定的。用$ \ mathscr {f} _ {m，\ alpha} $表示$ \ mathbb {r}^m $中的一组概率分布，在此限制中以低维度为单位，我们在此限制中建立了新的内部和外部界限$ \ mathscr {f} _ {m，\ alpha} $。特别是，我们将$ \ mathscr {f} _ {m，\ alpha} $的Wasserstein Radius表征为对数因素，并以$ M = 1 $确切确定它。我们还通过kullback-leibler差异和r \'{e} NYI信息维度证明了尖锐的界限。上一个问题已应用于无监督的学习方法，例如投影追求和独立的组件分析。我们介绍了与监督学习相关的相同问题的版本，并证明了尖锐的沃斯坦斯坦半径绑定。作为一个应用程序，我们在具有$ M $隐藏神经元的两层神经网络的插值阈值上建立了上限。

着名的工作系列（Barron，1993; Bresiman，1993; Klusowski＆Barron，2018）提供了宽度$ N $的界限，所需的relu两层神经网络需要近似函数$ f $超过球。 \ mathcal {b} _r（\ mathbb {r} ^ d）$最终$ \ epsilon $，当傅立叶的数量$ c_f = \ frac {1} {（2 \ pi）^ {d / 2}} \ int _ {\ mathbb {r} ^ d} \ | \ xi \ | ^ 2 | \ hat {f}（\ xi）| \ d \ xi $是有限的。最近ongie等。 （2019）将Radon变换用作分析无限宽度Relu两层网络的工具。特别是，他们介绍了基于氡的$ \ mathcal {r} $ - norms的概念，并显示$ \ mathbb {r} ^ d $上定义的函数可以表示为无限宽度的双层神经网络如果只有在$ \ mathcal {r} $ - norm是有限的。在这项工作中，我们扩展了Ongie等人的框架。 （2019）并定义类似的基于氡的半规范（$ \ mathcal {r}，\ mathcal {r} $ - norms），使得函数承认在有界开放式$ \ mathcal上的无限宽度神经网络表示{ u} \ subseteq \ mathbb {r} ^ d $当它$ \ mathcal {r}时，\ mathcal {u} $ - norm是有限的。建立在这方面，我们派生稀疏（有限宽度）神经网络近似界，其优化Breiman（1993）; Klusowski＆Barron（2018）。最后，我们表明有限开放集的无限宽度神经网络表示不是唯一的，并研究其结构，提供模式连接的功能视图。