分析了无限维函数空间之间地图的深层替代物的近似速率，例如作为线性和非线性偏微分方程的数据到解决图。具体而言，我们研究了深神经操作员和广义多项式混乱（GPC）操作员的近似速率，用于无线性，可分开的希尔伯特空间之间的非线性，全态图。假定功能空间的运算符和输出通过稳定的仿射表示系统进行参数化。可接受的表示系统包括正常基础，RIESZ底座或所考虑的空间的合适的紧密框架。建立了代数表达速率界限，为具有有限的Sobolev或BESOV规律性的范围内的深层神经和GPC操作员替代物都作用于可分离的Hilbert空间和拟合图表的范围。我们通过表达速率界限来说明抽象速率界限的系数到测序图，用于圆环上线性椭圆形PDE。

对于人造深神经网络，我们证明了分析函数的表达率$ f：\ mathbb {r} ^ d \ to \ mathbb {r} $中的$ l ^ 2（\ mathbb {r} ^ d，\ gamma_d ）$ down $ d \ in {\ mathbb {n}} \ cup \ {\ idty \} $。 $ \ gamma_d $ denot $ \ mathbb {r} ^ d $的高斯产品概率测量。我们特别考虑relu和relu $ {} ^ $ y ^ $ yrucations for Integer $ k \ geq 2 $。对于$ d \ in \ mathbb {n} $，我们显示了$ l ^ 2（\ mathbb {r} ^ d，\ gamma_d）$的指数融合率。在$ d = \ infty $，在$ f：\ mathbb {r} ^ {\ mathbb {r}} \ to \ mathbb {r} $的适当平滑和稀疏假设下，用$ \ gamma_ \ idty $表示$ \ mathbb {r} ^ {\ mathbb {n}} $的无限（高斯）产品测量值，我们证明了$ l ^ 2（\ mathbb {r} ^ {\ mathbb { n}}，\ gamma_ \ idty）$。该速率仅取决于（分析延续）的量化全阵列（分析延续）地图$ f $到$ \ mathbb {c} ^ d $中的条带产品。作为应用程序，我们将深度Relu-NNS的表达率界限进行了椭圆PDE的响应曲面与Log-Gaussian随机场输入。

无限尺寸空间之间的学习运营商是机器学习，成像科学，数学建模和仿真等广泛应用中出现的重要学习任务。本文研究了利用深神经网络的Lipschitz运营商的非参数估计。 Non-asymptotic upper bounds are derived for the generalization error of the empirical risk minimizer over a properly chosen network class.在假设目标操作员表现出低维结构的情况下，由于训练样本大小增加，我们的误差界限衰减，根据我们估计中的内在尺寸，具有吸引力的快速速度。我们的假设涵盖了实际应用中的大多数情况，我们的结果通过利用操作员估算中的低维结构来产生快速速率。我们还研究了网络结构（例如，网络宽度，深度和稀疏性）对神经网络估计器的泛化误差的影响，并提出了对网络结构的选择来定量地最大化学习效率的一般建议。

Many applications, such as system identification, classification of time series, direct and inverse problems in partial differential equations, and uncertainty quantification lead to the question of approximation of a non-linear operator between metric spaces $\mathfrak{X}$ and $\mathfrak{Y}$. We study the problem of determining the degree of approximation of such operators on a compact subset $K_\mathfrak{X}\subset \mathfrak{X}$ using a finite amount of information. If $\mathcal{F}: K_\mathfrak{X}\to K_\mathfrak{Y}$, a well established strategy to approximate $\mathcal{F}(F)$ for some $F\in K_\mathfrak{X}$ is to encode $F$ (respectively, $\mathcal{F}(F)$) in terms of a finite number $d$ (repectively $m$) of real numbers. Together with appropriate reconstruction algorithms (decoders), the problem reduces to the approximation of $m$ functions on a compact subset of a high dimensional Euclidean space $\mathbb{R}^d$, equivalently, the unit sphere $\mathbb{S}^d$ embedded in $\mathbb{R}^{d+1}$. The problem is challenging because $d$, $m$, as well as the complexity of the approximation on $\mathbb{S}^d$ are all large, and it is necessary to estimate the accuracy keeping track of the inter-dependence of all the approximations involved. In this paper, we establish constructive methods to do this efficiently; i.e., with the constants involved in the estimates on the approximation on $\mathbb{S}^d$ being $\mathcal{O}(d^{1/6})$. We study different smoothness classes for the operators, and also propose a method for approximation of $\mathcal{F}(F)$ using only information in a small neighborhood of $F$, resulting in an effective reduction in the number of parameters involved.

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

我们建立了对椭圆形问题的误差对空间中的椭圆状况的误差，以及不同的边界条件。对于Dirichlet边界条件，我们在通过边界损失方法中大致强制强制执行边界值时估计错误。我们的结果适用于任意和一般非线性类$ v \ subseteq h ^ 1（\ omega）$的ansatz函数，并估算依赖优化精度，ansatz类的近似能力和 - 在案例中Dirichlet边界值 - 惩罚强度$ \ lambda $。对于非基本边界条件，RITZ方法的误差与ansatz类的近似率相同的速率。对于基本边界条件，鉴于$ H ^ 1（\ OMEGA）$的近似率和$ l ^ 2（\ partial \ omega）$的$ l ^ 2（\ partial \ omega）$的近似率，最佳衰减率的估计错误是$ \ min（s / 2，r）$，通过选择$ \ lambda_n \ sim n ^ {s} $来实现。我们讨论了通过Relu网络给出的Ansatz类的影响以及与有限元函数的现有估计的关系。

On general regular simplicial partitions $\mathcal{T}$ of bounded polytopal domains $\Omega \subset \mathbb{R}^d$, $d\in\{2,3\}$, we construct \emph{exact neural network (NN) emulations} of all lowest order finite element spaces in the discrete de Rham complex. These include the spaces of piecewise constant functions, continuous piecewise linear (CPwL) functions, the classical ``Raviart-Thomas element'', and the ``N\'{e}d\'{e}lec edge element''. For all but the CPwL case, our network architectures employ both ReLU (rectified linear unit) and BiSU (binary step unit) activations to capture discontinuities. In the important case of CPwL functions, we prove that it suffices to work with pure ReLU nets. Our construction and DNN architecture generalizes previous results in that no geometric restrictions on the regular simplicial partitions $\mathcal{T}$ of $\Omega$ are required for DNN emulation. In addition, for CPwL functions our DNN construction is valid in any dimension $d\geq 2$. Our ``FE-Nets'' are required in the variationally correct, structure-preserving approximation of boundary value problems of electromagnetism in nonconvex polyhedra $\Omega \subset \mathbb{R}^3$. They are thus an essential ingredient in the application of e.g., the methodology of ``physics-informed NNs'' or ``deep Ritz methods'' to electromagnetic field simulation via deep learning techniques. We indicate generalizations of our constructions to higher-order compatible spaces and other, non-compatible classes of discretizations, in particular the ``Crouzeix-Raviart'' elements and Hybridized, Higher Order (HHO) methods.

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

我们在无限尺寸空间之间构建深度操作网络（ONET），其以指数收敛率的指数到椭圆二阶PDE的系数到溶液映射率。特别是，我们考虑在$ -dimimension周期域中设置的问题，$ d = 1,2，\ dots $，以及分析右手边和系数。我们的分析包括扩散反应问题，参数扩散方程和椭圆体系，例如异质材料的线性各向同性插座。我们利用了解决方案是分析的边值问题的谱串联方法的指数趋同。在本周期性和分析环境中，这是经典椭圆规则的。在[陈和陈，1993]和[Lu等人，2021]的oneet分支和主干构建中，我们展示了深度one的存在，它模拟了溶液映射为精确度$ \ varepsilon> 0 $在$ h ^ 1 $ norm，均匀地通过系数集。我们证明了在某些$ \ kappa> 0 $的oneet中的神经网络具有尺寸$ \ mathcal {o}（\ log | \ log（\ varepsilon）\ reval | ^ \ kappa），具体取决于物理空间维度。

本文涉及使用多项式的有限样品的平滑，高维函数的近似。这项任务是计算科学和工程中许多应用的核心 - 尤其是由参数建模和不确定性量化引起的。通常在此类应用中使用蒙特卡洛（MC）采样，以免屈服于维度的诅咒。但是，众所周知，这种策略在理论上是最佳的。尺寸$ n $有许多多项式空间，样品复杂度尺度划分为$ n $。这种有据可查的现象导致了一致的努力，以设计改进的，实际上是近乎最佳的策略，其样本复杂性是线性的，甚至线性地缩小了$ n $。自相矛盾的是，在这项工作中，我们表明MC实际上是高维度中的一个非常好的策略。我们首先通过几个数值示例记录了这种现象。接下来，我们提出一个理论分析，该分析能够解决这种悖论，以实现无限多变量的全体形态功能。我们表明，基于$ M $ MC样本的最小二乘方案，其错误衰减为$ m/\ log（m）$，其速率与最佳$ n $ term的速率相同多项式近似。该结果是非构造性的，因为它假定了进行近似的合适多项式空间的知识。接下来，我们提出了一个基于压缩感应的方案，该方案达到了相同的速率，除了较大的聚类因子。该方案是实用的，并且在数值上，它的性能和比知名的自适应最小二乘方案的性能和更好。总体而言，我们的发现表明，当尺寸足够高时，MC采样非常适合平滑功能近似。因此，改进的采样策略的好处通常仅限于较低维度的设置。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

着名的工作系列（Barron，1993; Bresiman，1993; Klusowski＆Barron，2018）提供了宽度$ N $的界限，所需的relu两层神经网络需要近似函数$ f $超过球。 \ mathcal {b} _r（\ mathbb {r} ^ d）$最终$ \ epsilon $，当傅立叶的数量$ c_f = \ frac {1} {（2 \ pi）^ {d / 2}} \ int _ {\ mathbb {r} ^ d} \ | \ xi \ | ^ 2 | \ hat {f}（\ xi）| \ d \ xi $是有限的。最近ongie等。 （2019）将Radon变换用作分析无限宽度Relu两层网络的工具。特别是，他们介绍了基于氡的$ \ mathcal {r} $ - norms的概念，并显示$ \ mathbb {r} ^ d $上定义的函数可以表示为无限宽度的双层神经网络如果只有在$ \ mathcal {r} $ - norm是有限的。在这项工作中，我们扩展了Ongie等人的框架。 （2019）并定义类似的基于氡的半规范（$ \ mathcal {r}，\ mathcal {r} $ - norms），使得函数承认在有界开放式$ \ mathcal上的无限宽度神经网络表示{ u} \ subseteq \ mathbb {r} ^ d $当它$ \ mathcal {r}时，\ mathcal {u} $ - norm是有限的。建立在这方面，我们派生稀疏（有限宽度）神经网络近似界，其优化Breiman（1993）; Klusowski＆Barron（2018）。最后，我们表明有限开放集的无限宽度神经网络表示不是唯一的，并研究其结构，提供模式连接的功能视图。

高维偏微分方程（PDE）是一种流行的数学建模工具，其应用从财务到计算化学不等。但是，用于解决这些PDE的标准数值技术通常受维度的诅咒影响。在这项工作中，我们应对这一挑战，同时着重于在具有周期性边界条件的高维域上定义的固定扩散方程。受到高维度稀疏功能近似进展的启发，我们提出了一种称为压缩傅立叶搭配的新方法。结合了压缩感应和光谱搭配的想法，我们的方法取代了结构化置式网格用蒙特卡洛采样的使用，并采用了稀疏的恢复技术，例如正交匹配的追踪和$ \ ell^1 $最小化，以近似PDE的傅立叶系数解决方案。我们进行了严格的理论分析，表明所提出的方法的近似误差与最佳$ s $ term近似（相对于傅立叶基础）与解决方案相当。我们的分析使用了最近引入的随机采样框架，我们的分析表明，在足够条件下，根据扩散系数的规律性，压缩傅立叶搭配方法相对于搭配点的数量减轻了维数的诅咒。我们还提出了数值实验，以说明稀疏和可压缩溶液近似方法的准确性和稳定性。

在本文中，我们研究了与具有多种激活函数的浅神经网络相对应的变异空间的近似特性。我们介绍了两个主要工具，用于估计这些空间的度量熵，近似率和$ n $宽度。首先，我们介绍了平滑参数化词典的概念，并在非线性近似速率，度量熵和$ n $ widths上给出了上限。上限取决于参数化的平滑度。该结果适用于与浅神经网络相对应的脊功能的字典，并且在许多情况下它们的现有结果改善了。接下来，我们提供了一种方法，用于下限度量熵和$ n $ widths的变化空间，其中包含某些类别的山脊功能。该结果给出了$ l^2 $ approximation速率，度量熵和$ n $ widths的变化空间的急剧下限具有界变化的乙状结激活函数。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

Several problems in stochastic analysis are defined through their geometry, and preserving that geometric structure is essential to generating meaningful predictions. Nevertheless, how to design principled deep learning (DL) models capable of encoding these geometric structures remains largely unknown. We address this open problem by introducing a universal causal geometric DL framework in which the user specifies a suitable pair of geometries $\mathscr{X}$ and $\mathscr{Y}$ and our framework returns a DL model capable of causally approximating any ``regular'' map sending time series in $\mathscr{X}^{\mathbb{Z}}$ to time series in $\mathscr{Y}^{\mathbb{Z}}$ while respecting their forward flow of information throughout time. Suitable geometries on $\mathscr{Y}$ include various (adapted) Wasserstein spaces arising in optimal stopping problems, a variety of statistical manifolds describing the conditional distribution of continuous-time finite state Markov chains, and all Fr\'echet spaces admitting a Schauder basis, e.g. as in classical finance. Suitable, $\mathscr{X}$ are any compact subset of any Euclidean space. Our results all quantitatively express the number of parameters needed for our DL model to achieve a given approximation error as a function of the target map's regularity and the geometric structure both of $\mathscr{X}$ and of $\mathscr{Y}$. Even when omitting any temporal structure, our universal approximation theorems are the first guarantees that H\"older functions, defined between such $\mathscr{X}$ and $\mathscr{Y}$ can be approximated by DL models.

We consider autocovariance operators of a stationary stochastic process on a Polish space that is embedded into a reproducing kernel Hilbert space. We investigate how empirical estimates of these operators converge along realizations of the process under various conditions. In particular, we examine ergodic and strongly mixing processes and obtain several asymptotic results as well as finite sample error bounds. We provide applications of our theory in terms of consistency results for kernel PCA with dependent data and the conditional mean embedding of transition probabilities. Finally, we use our approach to examine the nonparametric estimation of Markov transition operators and highlight how our theory can give a consistency analysis for a large family of spectral analysis methods including kernel-based dynamic mode decomposition.

神经操作员是科学机器学习中一种流行的技术，可以从数据中学习未知物理系统行为的数学模型。当数值求解器不可用或对基础物理学的理解不佳时，神经运算符对于学习与局部微分方程（PDE）相关的解决方案运算符特别有用。在这项工作中，我们试图提供理论基础，以了解学习时间依赖性PDE所需的培训数据量。从任何空间尺寸$ n \ geq 1 $中的抛物线PDE中给定输入输出对，我们得出了学习相关解决方案运算符的第一个理论上严格的方案，该方案采取了带有绿色功能$ g $的卷积的形式。到目前为止，严格学习与时间相关PDE相关的Green的功能一直是科学机器学习领域的主要挑战。通过将$ g $的层次低级结构与随机数字线性代数结合在一起，我们构建了$ g $的近似值，该$ g $实现了$ \ smash {\ smash {\ smashcal {\ mathcal {o}（\ gamma_ \ epsilon^epsilon^{ - 1/2} \ epsilon）}} $在$ l^1 $ -NORM中具有高概率，最多可以使用$ \ smash {\ MathCal {\ Mathcal {o}（\ Epsilon^{ - \ frac {n+2} {2} {2} {2} {2} {2} {2} } \ log（1/\ epsilon））}} $输入输出培训对，其中$ \ gamma_ \ epsilon $是衡量学习$ g $的培训数据集质量的量度，而$ \ epsilon> 0 $就足够了小的。

我们考虑统计逆学习问题，任务是根据$ AF $的嘈杂点评估估算函数$ F $，其中$ a $是一个线性运算符。函数$ AF $在I.I.D评估。随机设计点$ u_n $，$ n = 1，...，n $由未知的一般概率分布生成。我们认为Tikhonov正规用一般凸起和$ P $-Homenecous罚款功能，并在由惩罚功能引起的对称BREGMAN距离中测量的地面真理的正则化解决方案的集中率。我们获得了Besov Norm处罚的具体率，并在数值上展示了与X射线断层扫描的背景下的观察到的率的对应。

实施深层神经网络来学习参数部分微分方程（PDE）的解决方案图比使用许多常规数值方法更有效。但是，对这种方法进行了有限的理论分析。在这项研究中，我们研究了深层二次单元（requ）神经网络的表达能力，以近似参数PDE的溶液图。拟议的方法是由G. Kutyniok，P。Petersen，M。Raslan和R. Schneider（Gitta Kutyniok，Philipp Petersen，Mones Raslan和Reinhold Schneider。深层神经网络和参数PDES的理论分析）的最新重要工作激励的。 。建设性近似，第1-53、2021页，该第1-53、2021页，它使用深层的线性单元（relu）神经网络来求解参数PDE。与先前建立的复杂性$ \ MATHCAL {O} \ left（d^3 \ log_ {2}}^{q}（1/ \ epsilon）\ right）$用于relu神经网络，我们得出了上限的上限$ \ MATHCAL {o} \ left（d^3 \ log_ {2}^{q} \ log_ {2}（1/ \ epsilon）\ right）$）$ right Requ Neural网络的大小，以实现精度$ \ epsilon> 0 $，其中$ d $是代表解决方案的减少基础的维度。我们的方法充分利用了解决方案歧管的固有低维度和深层reque neural网络的更好近似性能。进行数值实验以验证我们的理论结果。