Recently, neural networks have proven their impressive ability to solve partial differential equations (PDEs). Among them, Fourier neural operator (FNO) has shown success in learning solution operators for highly non-linear problems such as turbulence flow. FNO is discretization-invariant, where it can be trained on low-resolution data and generalizes to problems with high-resolution. This property is related to the low-pass filters in FNO, where only a limited number of frequency modes are selected to propagate information. However, it is still a challenge to select an appropriate number of frequency modes and training resolution for different PDEs. Too few frequency modes and low-resolution data hurt generalization, while too many frequency modes and high-resolution data are computationally expensive and lead to over-fitting. To this end, we propose Incremental Fourier Neural Operator (IFNO), which augments both the frequency modes and data resolution incrementally during training. We show that IFNO achieves better generalization (around 15% reduction on testing L2 loss) while reducing the computational cost by 35%, compared to the standard FNO. In addition, we observe that IFNO follows the behavior of implicit regularization in FNO, which explains its excellent generalization ability.

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

傅里叶神经运营商（FNO）是一种基于学习的方法，用于有效地模拟部分微分方程。我们提出了分解的傅立叶神经运营商（F-FNO），允许与更深的网络更好地推广。通过仔细组合傅里叶分解，跨所有层，Markov属性和残差连接的共享内核积分运算符，F-FNOS在Navier-Stokes基准数据集的最动力设置上达到六倍的误差。我们表明我们的模型保持了2％的错误率，同时仍然比数值求解器更快地运行幅度，即使问题设置扩展到包括诸如粘度和时变力的附加上下文，也是如此。这使得与相同的预制神经网络能够模拟巨大不同的条件。

离散的不变学习旨在在无限维函数空间中学习，其能力将功能的异质离散表示作为学习模型的输入和/或输出。本文提出了一个基于整体自动编码器（IAE-NET）的新型深度学习框架，用于离散不变学习。 IAE-NET的基本构建块由编码器和解码器组成，作为与数据驱动的内核的积分转换，以及编码器和解码器之间的完全连接的神经网络。这个基本的构建块并行地在宽的多通道结构中应用，该结构反复组成，形成了一个具有跳过连接作为IAE-NET的深度连接的神经网络。 IAE-NET接受了随机数据扩展的培训，该数据具有随机数据，以生成具有异质结构的培训数据，以促进离散化不变性学习的性能。提出的IAE-NET在预测数据科学中进行了各种应用，解决了科学计算中的前进和反向问题，以及信号/图像处理。与文献中的替代方案相比，IAE-NET在现有应用中实现了最先进的性能，并创建了广泛的新应用程序。

尽管在整个科学和工程中都无处不在，但只有少数部分微分方程（PDE）具有分析或封闭形式的解决方案。这激发了有关PDE的数值模拟的大量经典工作，最近，对数据驱动技术的研究旋转了机器学习（ML）。最近的一项工作表明，与机器学习的经典数值技术的混合体可以对任何一种方法提供重大改进。在这项工作中，我们表明，在纳入基于物理学的先验时，数值方案的选择至关重要。我们以基于傅立叶的光谱方法为基础，这些光谱方法比其他数值方案要高得多，以模拟使用平滑且周期性解决方案的PDE。具体而言，我们为流体动力学的三个模型PDE开发了ML增强的光谱求解器，从而提高了标准光谱求解器在相同分辨率下的准确性。我们还展示了一些关键设计原则，用于将机器学习和用于解决PDE的数值方法结合使用。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

Solving partial differential equations is difficult. Recently proposed neural resolution-invariant models, despite their effectiveness and efficiency, usually require equispaced spatial points of data. However, sampling in spatial domain is sometimes inevitably non-equispaced in real-world systems, limiting their applicability. In this paper, we propose a Non-equispaced Fourier PDE Solver (\textsc{NFS}) with adaptive interpolation on resampled equispaced points and a variant of Fourier Neural Operators as its components. Experimental results on complex PDEs demonstrate its advantages in accuracy and efficiency. Compared with the spatially-equispaced benchmark methods, it achieves superior performance with $42.85\%$ improvements on MAE, and is able to handle non-equispaced data with a tiny loss of accuracy. Besides, to our best knowledge, \textsc{NFS} is the first ML-based method with mesh invariant inference ability to successfully model turbulent flows in non-equispaced scenarios, with a minor deviation of the error on unseen spatial points.

事实证明，神经操作员是无限维函数空间之间非线性算子的强大近似值，在加速偏微分方程（PDE）的溶液方面是有希望的。但是，它需要大量的模拟数据，这些数据可能成本高昂，从而导致鸡肉 - 蛋的困境并限制其在求解PDE中的使用。为了摆脱困境，我们提出了一个无数据的范式，其中神经网络直接从由离散的PDE构成的平方平方残留（MSR）损失中学习物理。我们研究了MSR损失中的物理信息，并确定神经网络必须具有对PDE空间域中的远距离纠缠建模的挑战，PDE的空间域中的模式在不同的PDE中有所不同。因此，我们提出了低级分解网络（Lordnet），该网络可调节，并且也有效地建模各种纠缠。具体而言，Lordnet通过简单的完全连接的层学习了与全球纠缠的低级别近似值，从而以降低的计算成本来提取主要模式。关于解决泊松方程和纳维尔 - 长方式方程的实验表明，MSR损失的物理约束可以提高神经网络的精确度和泛化能力。此外，Lordnet在PDE中的其他现代神经网络体系结构都优于最少的参数和最快的推理速度。对于Navier-Stokes方程式，学习的运算符的速度比具有相同计算资源的有限差异解决方案快50倍。

随机偏微分方程（SPDES）是在随机性影响下模拟动态系统的选择的数学工具。通过将搜索SPDE的温和解决方案作为神经定点问题，我们介绍了神经SPDE模型，以便从部分观察到的数据中使用（可能随机）的PDE溶液运营商。我们的模型为两类物理启发神经架构提供了扩展。一方面，它延伸了神经CDES，SDES，RDE - RNN的连续时间类似物，因为即使当后者在无限尺寸状态空间中演变时，它也能够处理进入的顺序信息。另一方面，它扩展了神经运营商 - 神经网络的概括到函数空间之间的模型映射 - 因为它可以用于学习解决方案运算符$（U_0，\ xi）\ MapSto U $同时上的SPDES初始条件$ u_0 $和驾驶噪声$ \ xi $的实现。神经SPDE是不变的，它可以使用基于记忆有效的隐式分化的反向化的训练，并且一旦接受训练，其评估比传统求解器快3个数量级。在包括2D随机Navier-Stokes方程的各种半线性SPDES的实验证明了神经间隙如何能够以更好的准确性学习复杂的时空动态，并仅使用适度的培训数据与所有替代模型相比。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

Neural networks, especially the recent proposed neural operator models, are increasingly being used to find the solution operator of differential equations. Compared to traditional numerical solvers, they are much faster and more efficient in practical applications. However, one critical issue is that training neural operator models require large amount of ground truth data, which usually comes from the slow numerical solvers. In this paper, we propose a physics-guided data augmentation (PGDA) method to improve the accuracy and generalization of neural operator models. Training data is augmented naturally through the physical properties of differential equations such as linearity and translation. We demonstrate the advantage of PGDA on a variety of linear differential equations, showing that PGDA can improve the sample complexity and is robust to distributional shift.

Optimal Transport（OT）提供了一个多功能框架，以几何有意义的方式比较复杂的数据分布。计算Wasserstein距离和概率措施之间的大地测量方法的传统方法需要网络依赖性域离散化，并且受差异性的诅咒。我们提出了Geonet，这是一个网状不变的深神经操作员网络，该网络从输入对的初始和终端分布对到Wasserstein Geodesic连接两个端点分布的非线性映射。在离线训练阶段，Geonet了解了以耦合PDE系统为特征的原始和双空间中OT问题动态提出的鞍点最佳条件。随后的推理阶段是瞬时的，可以在在线学习环境中进行实时预测。我们证明，Geonet在模拟示例和CIFAR-10数据集上达到了与标准OT求解器的可比测试精度，其推断阶段计算成本大大降低了。

基于神经网络的求解部分微分方程的方法由于其简单性和灵活性来表示偏微分方程的解决方案而引起了相当大的关注。在训练神经网络时，网络倾向于学习与低频分量相对应的全局特征，而高频分量以较慢的速率（F原理）近似。对于解决方案包含广泛尺度的一类等式，由于无法捕获高频分量，网络训练过程可能会遭受缓慢的收敛性和低精度。在这项工作中，我们提出了一种分层方法来提高神经网络解决方案的收敛速率和准确性。所提出的方法包括多训练水平，其中引导新引入的神经网络来学习先前级别近似的残余。通过神经网络训练过程的性​​质，高级校正倾向于捕获高频分量。我们通过一套线性和非线性部分微分方程验证所提出的分层方法的效率和稳健性。

深度学习替代模型已显示出在解决部分微分方程（PDE）方面的希望。其中，傅立叶神经操作员（FNO）达到了良好的准确性，并且与数值求解器（例如流体流量）上的数值求解器相比要快得多。但是，FNO使用快速傅立叶变换（FFT），该变换仅限于具有均匀网格的矩形域。在这项工作中，我们提出了一个新框架，即Geo-Fno，以解决任意几何形状的PDE。 Geo-FNO学会将可能不规则的输入（物理）结构域变形为具有均匀网格的潜在空间。具有FFT的FNO模型应用于潜在空间。所得的GEO-FNO模型既具有FFT的计算效率，也具有处理任意几何形状的灵活性。我们的Geo-FNO在其输入格式，，即点云，网格和设计参数方面也很灵活。我们考虑了各种PDE，例如弹性，可塑性，Euler和Navier-Stokes方程，以及正向建模和逆设计问题。与标准数值求解器相比，与标准数值求解器相比，Geo-fno的价格比标准数值求解器快两倍，与在现有基于ML的PDE求解器（如标准FNO）上进行直接插值相比，Geo-fno更准确。

动力系统的演变通常由非线性偏微分方程（PDE）控制，在模拟框架中，其解决方案需要大量的计算资源。在这项工作中，我们提出了一种新颖的方法，该方法将超网络求解器与傅立叶神经操作员体系结构相结合。我们的方法分别处理时间和空间。结果，它通过采用部分差分运算符的一般组成特性，成功地在连续时间步骤中成功传播了初始条件。在先前的工作之后，在特定时间点提供监督。我们在各个时间演化PDE上测试我们的方法，包括一个，两个和三个空间维度中的非线性流体流。结果表明，新方法在监督点的时间点提高了学习准确性，并能够插入和解决任何中间时间的解决方案。

气候，化学或天体物理学中的数值模拟在计算上对于高分辨率下的不确定性定量或参数探索而言太昂贵。减少或替代模型的多个数量级更快，但是传统的替代物是僵化或不准确和纯机器学习（ML）基于基于数据的替代物。我们提出了一个混合，灵活的替代模型，该模型利用已知的物理学来模拟大规模动力学，并将学习到难以模拟的项，该术语称为参数化或闭合，并捕获了细界面对大型动力学的影响。利用神经操作员，我们是第一个学习独立于网格的，非本地和灵活的参数化的人。我们的\ textit {多尺度神经操作员}是由多尺度建模的丰富文献进行的，具有准线性运行时复杂性，比最先进的参数化更准确或更灵活，并且在混乱方程的多尺度lorenz96上证明。

光谱方法是求解部分微分方程（PDE）的科学计算的武器的重要组成部分。然而，它们的适用性和有效性在很大程度上取决于用于扩展PDE溶液的基础函数的选择。过去十年已经看到，在提供复杂职能的有效陈述方面，深入学习的出现是强烈的竞争者。在目前的工作中，我们提出了一种用谱方法结合深神经网络来解决PDE的方法。特别是，我们使用称为深度操作系统网络（DeepOnet）的深度学习技术，以识别扩展PDE解决方案的候选功能。我们已经设计了一种方法，该方法使用DeepOnet提供的候选功能作为构建具有以下属性的一组功能的起点：i）它们构成基础，2）它们是正常的，3）它们是等级的，类似于傅里叶系列或正交多项式。我们利用了我们定制的基础函数的有利属性，以研究其近似能力，并使用它们来扩展线性和非线性时间依赖性PDE的解决方案。

随着计算能力的增加和机器学习的进步，基于数据驱动的学习方法在解决PDE方面引起了极大的关注。物理知识的神经网络（PINN）最近出现并成功地在各种前进和逆PDES问题中取得了成功，其优异的特性，例如灵活性，无网格解决方案和无监督的培训。但是，它们的收敛速度较慢和相对不准确的解决方案通常会限制其在许多科学和工程领域中的更广泛适用性。本文提出了一种新型的数据驱动的PDES求解器，物理知识的细胞表示（Pixel），优雅地结合了经典数值方法和基于学习的方法。我们采用来自数值方法的网格结构，以提高准确性和收敛速度并克服PINN中呈现的光谱偏差。此外，所提出的方法在PINN中具有相同的好处，例如，使用相同的优化框架来解决前进和逆PDE问题，并很容易通过现代自动分化技术强制执行PDE约束。我们为原始Pinn所努力的各种具有挑战性的PDE提供了实验结果，并表明像素达到了快速收敛速度和高精度。

在对地下地震成像的研究中，求解声波方程是现有模型中的关键成分。随着深度学习的发展，神经网络通过学习输入和方程解决方案之间的映射，特别是波动方程式，将神经网络应用于数值求解部分微分方程，因为如果要花很多时间，传统方法可能会很耗时解决了。以前专注于通过神经网络解决波动方程的工作考虑单个速度模型或多个简单速度模型，这在实践中受到限制。因此，受操作员学习的构想的启发，这项工作利用了傅立叶神经操作员（FNO）在可变速度模型的背景下有效地学习频域地震波场。此外，我们提出了一个与傅立叶神经操作员（PFNO）并行的新框架，以有效地训练基于FNO的求解器，给定多个源位置和频率。数值实验证明了OpenFWI数据集中使用复杂速度模型的FNO和PFNO的高精度。此外，跨数据集泛化测试验证了PFNO适应过分速度模型的。同样，在标签中存在随机噪声的情况下，PFNO具有强大的性能。最后，与传统的有限差异方法相比，PFNO在大规模测试数据集上接受了更高的计算效率。上述优势赋予了基于FNO的求解器的潜力，可以为地震波研究建立强大的模型。