当通过差异模型研究流行动力学时，要了解现象并模拟预测场景所需的参数需要微妙的校准阶段，通常会因官方来源报告的稀缺性和不确定性而变得更加挑战。在这种情况下，通过嵌入控制物理现象在学习过程中的差异模型的知识，可以有效解决数据驱动的学习的逆问题，并解决相应的流行病问题，从而使物理知识的神经网络（PINN）（PINN）（PINN）（PINNS）。 。然而，在许多情况下，传染病的空间传播的特征是在多尺度PDE的不同尺度上的个体运动。这反映了与城市和邻近区域内动态有关的区域或领域的异质性。在存在多个量表的情况下，PINN的直接应用通常会导致由于神经网络损失函数中差异模型的多尺度性质而导致的结果差。为了使神经网络相对于小规模统一运行，希望神经网络满足学习过程中的渐近保护（AP）特性。为此，我们考虑了一类新的AP神经网络（APNNS），用于多尺度双曲线传输模型的流行病扩散模型，由于损失函数的适当配方，它能够在系统的不同尺度上均匀地工作。一系列针对不同流行病的数值测试证实了所提出的方法的有效性，在处理多尺度问题时，突出了AP在神经网络中的重要性，尤其是在存在稀疏和部分观察到的系统的情况下。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Solute transport in porous media is relevant to a wide range of applications in hydrogeology, geothermal energy, underground CO2 storage, and a variety of chemical engineering systems. Due to the complexity of solute transport in heterogeneous porous media, traditional solvers require high resolution meshing and are therefore expensive computationally. This study explores the application of a mesh-free method based on deep learning to accelerate the simulation of solute transport. We employ Physics-informed Neural Networks (PiNN) to solve solute transport problems in homogeneous and heterogeneous porous media governed by the advection-dispersion equation. Unlike traditional neural networks that learn from large training datasets, PiNNs only leverage the strong form mathematical models to simultaneously solve for multiple dependent or independent field variables (e.g., pressure and solute concentration fields). In this study, we construct PiNN using a periodic activation function to better represent the complex physical signals (i.e., pressure) and their derivatives (i.e., velocity). Several case studies are designed with the intention of investigating the proposed PiNN's capability to handle different degrees of complexity. A manual hyperparameter tuning method is used to find the best PiNN architecture for each test case. Point-wise error and mean square error (MSE) measures are employed to assess the performance of PiNNs' predictions against the ground truth solutions obtained analytically or numerically using the finite element method. Our findings show that the predictions of PiNN are in good agreement with the ground truth solutions while reducing computational complexity and cost by, at least, three orders of magnitude.

We propose characteristic-informed neural networks (CINN), a simple and efficient machine learning approach for solving forward and inverse problems involving hyperbolic PDEs. Like physics-informed neural networks (PINN), CINN is a meshless machine learning solver with universal approximation capabilities. Unlike PINN, which enforces a PDE softly via a multi-part loss function, CINN encodes the characteristics of the PDE in a general-purpose deep neural network trained with the usual MSE data-fitting regression loss and standard deep learning optimization methods. This leads to faster training and can avoid well-known pathologies of gradient descent optimization of multi-part PINN loss functions. If the characteristic ODEs can be solved exactly, which is true in important cases, the output of a CINN is an exact solution of the PDE, even at initialization, preventing the occurrence of non-physical outputs. Otherwise, the ODEs must be solved approximately, but the CINN is still trained only using a data-fitting loss function. The performance of CINN is assessed empirically in forward and inverse linear hyperbolic problems. These preliminary results indicate that CINN is able to improve on the accuracy of the baseline PINN, while being nearly twice as fast to train and avoiding non-physical solutions. Future extensions to hyperbolic PDE systems and nonlinear PDEs are also briefly discussed.

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

Machine learning-based modeling of physical systems has experienced increased interest in recent years. Despite some impressive progress, there is still a lack of benchmarks for Scientific ML that are easy to use but still challenging and representative of a wide range of problems. We introduce PDEBench, a benchmark suite of time-dependent simulation tasks based on Partial Differential Equations (PDEs). PDEBench comprises both code and data to benchmark the performance of novel machine learning models against both classical numerical simulations and machine learning baselines. Our proposed set of benchmark problems contribute the following unique features: (1) A much wider range of PDEs compared to existing benchmarks, ranging from relatively common examples to more realistic and difficult problems; (2) much larger ready-to-use datasets compared to prior work, comprising multiple simulation runs across a larger number of initial and boundary conditions and PDE parameters; (3) more extensible source codes with user-friendly APIs for data generation and baseline results with popular machine learning models (FNO, U-Net, PINN, Gradient-Based Inverse Method). PDEBench allows researchers to extend the benchmark freely for their own purposes using a standardized API and to compare the performance of new models to existing baseline methods. We also propose new evaluation metrics with the aim to provide a more holistic understanding of learning methods in the context of Scientific ML. With those metrics we identify tasks which are challenging for recent ML methods and propose these tasks as future challenges for the community. The code is available at https://github.com/pdebench/PDEBench.

深度学习方法的应用加快了挑战性电流问题的分辨率，最近显示出令人鼓舞的结果。但是，电力系统动力学不是快照，稳态操作。必须考虑这些动力学，以确保这些模型提供的最佳解决方案遵守实用的动力约束，避免频率波动和网格不稳定性。不幸的是，由于其高计算成本，基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战，本文介绍了一种机器学习方法，以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络（GPINNS），并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力，以及不确定的参数，例如惯性和阻尼，以展示其在一系列电力系统应用中的潜力。

在本文中，我们开发了一种物理知识的神经网络（PINN）模型，用于具有急剧干扰初始条件的抛物线问题。作为抛物线问题的一个示例，我们考虑具有点（高斯）源初始条件的对流 - 分散方程（ADE）。在$ d $维的ADE中，在初始条件衰减中的扰动随时间$ t $ as $ t^{ - d/2} $，这可能会在Pinn解决方案中造成较大的近似错误。 ADE溶液中的局部大梯度使该方程的残余效率低下的（PINN）拉丁高立方体采样（常见）。最后，抛物线方程的PINN解对损耗函数中的权重选择敏感。我们提出了一种归一化的ADE形式，其中溶液的初始扰动不会降低幅度，并证明该归一化显着降低了PINN近似误差。我们提出了与通过其他方法选择的权重相比，损耗函数中的权重标准更准确。最后，我们提出了一种自适应采样方案，该方案可显着减少相同数量的采样（残差）点的PINN溶液误差。我们证明了提出的PINN模型的前进，反向和向后ADE的准确性。

即将到来的技术，例如涉及安全至关重要应用的数字双胞胎，自主和人工智能系统，需要准确，可解释，计算上有效且可推广的模型。不幸的是，两种最常用的建模方法，基于物理学的建模（PBM）和数据驱动的建模（DDM）无法满足所有这些要求。在当前的工作中，我们演示了将最佳PBM和DDM结合的混合方法如何导致模型可以胜过两者的模型。我们这样做是通过基于第一原则与黑匣子DDM相结合的偏微分方程，在这种情况下，深度神经网络模型补偿了未知物理。首先，我们提出了一个数学论点，说明为什么这种方法应该起作用，然后将混合方法应用于未知的源项模拟二维热扩散问题。结果证明了该方法在准确性和概括性方面的出色性能。此外，它显示了如何在混合框架中解释DDM部分以使整体方法可靠。

Navier-Stokes方程是描述液体和空气等流体运动的重要部分微分方程。由于Navier-Stokes方程的重要性，有效的数值方案的发展对科学和工程师都很重要。最近，随着AI技术的开发，已经设计了几种方法来整合深层神经网络，以模拟和推断不可压缩的Navier-Stokes方程所控制的流体动力学，这些方程可以以无网状和可不同的方式加速模拟或推断过程。在本文中，我们指出，现有的深入Navier-Stokes知情方法的能力仅限于处理非平滑或分数方程，这在现实中是两种关键情况。为此，我们提出了\ emph {深入的随机涡流方法}（drvm），该方法将神经网络与随机涡流动力学系统相结合，等效于Navier-Stokes方程。具体而言，随机涡流动力学激发了用于训练神经网络的基于蒙特卡洛的损失函数，从而避免通过自动差异计算衍生物。因此，DRVM不仅可以有效地求解涉及粗糙路径，非差异初始条件和分数运算符的Navier-Stokes方程，而且还继承了基于深度学习的求解器的无网格和可区分优势。我们对凯奇问题，参数求解器学习以及2-D和3-D不可压缩的Navier-Stokes方程的逆问题进行实验。所提出的方法为Navier-Stokes方程的仿真和推断提供了准确的结果。特别是对于包括奇异初始条件的情况，DRVM明显胜过现有的PINN方法。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

物理知情的神经网络（PINN）要求定期的基础PDE解决方案，以确保准确的近似值。因此，它们可能会在近似PDE的不连续溶液（例如非线性双曲方程）的情况下失败。为了改善这一点，我们提出了一种新颖的PINN变体，称为弱PINN（WPINNS），以准确地近似标量保护定律的熵溶液。WPINN是基于近似于根据Kruzkhov熵定义的残留的最小最大优化问题的解决方案，以确定近似熵解决方案的神经网络的参数以及测试功能。我们证明了WPINN发生的误差的严格界限，并通过数值实验说明了它们的性能，以证明WPINN可以准确地近似熵解决方案。

如今，神经网络广泛用于许多应用中，作为人工智能模型，用于学习任务。由于通常神经网络处理非常大量的数据，因此在平均场和动力学理论内方便地制定它们。在这项工作中，我们专注于特定类别的神经网络，即残余神经网络，假设每层的特征是相同数量的神经元数量$ N $，这是由数据的维度固定的。这种假设允许将残余神经网络作为时间离散化的常微分方程解释，与神经微分方程类似。然后在无限的许多输入数据的极限中获得平均场描述。这导致VLASOV型部分微分方程描述了输入数据分布的演变。我们分析了网络参数的稳态和灵敏度，即重量和偏置。在线性激活功能和一维输入数据的简单设置中，矩的研究为网络的参数选择提供了见解。此外，通过随机残留神经网络的启发的微观动态的修改导致网络的Fokker-Planck配方，其中网络训练的概念被拟合分布的任务所取代。通过人工数值模拟验证所执行的分析。特别是，提出了对分类和回归问题的结果。

科学和工程学中的一个基本问题是设计最佳的控制政策，这些政策将给定的系统转向预期的结果。这项工作提出了同时求解给定系统状态和最佳控制信号的控制物理信息的神经网络（控制PINNS），在符合基础物理定律的一个阶段框架中。先前的方法使用两个阶段的框架，该框架首先建模然后按顺序控制系统。相比之下，控制PINN将所需的最佳条件纳入其体系结构和损耗函数中。通过解决以下开环的最佳控制问题来证明控制PINN的成功：（i）一个分析问题，（ii）一维热方程，以及（iii）二维捕食者捕食者问题。

在本文中，我们演示并调查了一些挑战，这些挑战阻碍了使用物理知识的神经网络解决复杂问题的方式。特别是，我们可视化受过训练的模型的损失景观，并在存在物理学的情况下对反向传播梯度进行灵敏度分析。我们的发现表明，现有的方法产生了难以导航的高度非凸损失景观。此外，高阶PDE污染了可能阻碍或防止收敛的反向传播梯度。然后，我们提出了一种新的方法，该方法绕过了高阶PDE操作员的计算并减轻反向传播梯度的污染。为此，我们降低了解决方案搜索空间的维度，并通过非平滑解决方案促进学习问题。我们的配方还提供了一种反馈机制，可帮助我们的模型适应地专注于难以学习的领域的复杂区域。然后，我们通过调整Lagrange乘数方法来提出一个无约束的二重问题。我们运用我们的方法来解决由线性和非线性PDE控制的几个具有挑战性的基准问题。

两个不混溶的流体的位移是多孔介质中流体流动的常见问题。这种问题可以作为局部微分方程（PDE）构成通常被称为Buckley-Leverett（B-L）问题。 B-L问题是一种非线性双曲守护法，众所周知，使用传统的数值方法难以解决。在这里，我们使用物理信息的神经网络（Pinns）使用非凸版通量函数来解决前向双曲线B-L问题。本文的贡献是双重的。首先，我们通过将Oleinik熵条件嵌入神经网络残差来提出一种Pinn方法来解决双曲线B-L问题。我们不使用扩散术语（人工粘度）在残留损失中，但我们依靠PDE的强形式。其次，我们使用ADAM优化器与基于残留的自适应细化（RAR）算法，实现不加权的超低损耗。我们的解决方案方法可以精确地捕获冲击前并产生精确的整体解决方案。我们报告了一个2 x 10-2的L2验证误差和1x 10-6的L2损耗。所提出的方法不需要任何额外的正则化或加权损失以获得这种准确的解决方案。

我们提出了一种基于机器学习的方法来解决运输过程的研究，在连续力学中无处不在，特别关注那些由复杂的微物理学统治的那些现象，对理论调查不切实际，但表现出由闭合的数学表达可以描述的紧急行为。我们的机器学习模型，使用简单组件建造以及若干知名实践，能够学习运输过程的潜在表示，从标称误差表征数据的标称误差导致声音泛化属性，可以比预期更接近地面真理。通过对融合和宇宙等离子体相关的热通量抑制的长期问题的理想研究来证明这一点。 Our analysis shows that the result applies beyond those case specific assumptions and that, in particular, the accuracy of the learned representation is controllable through knowledge of the data quality (error properties) and a suitable choice of the dataset size.虽然学习的表示可以用作数值建模目的的插件，但是也可以利用上述误差分析来获得描述传输机制和理论值的可靠的数学表达式。

最近在科学机器学习的工作已经开发出所谓的物理信息的神经网络（Pinn）模型。典型方法是将物理域知识纳入经验丢失功能的软限制，并使用现有的机器学习方法来培训模型。我们展示了，虽然现有的Pinn方法可以学习良好的模型，但它们可以轻松地未能学习相关的物理现象，甚至更复杂的问题。特别是，我们分析了众多不同的普遍物理兴趣的情况，包括使用对流，反应和扩散运营商学习微分方程。我们提供了证据表明Pinns中的软正规化，涉及基于PDE的差分运营商，可以引入许多微妙的问题，包括使问题更加不良。重要的是，我们表明，这些可能的失败模式不是由于NN架构中缺乏富有效力，但Pinn的设置使得损失景观很难优化。然后，我们描述了两个有希望的解决方案来解决这些故障模式。第一种方法是使用课程正则化，其中Pinn的丢失项从简单的PDE正则化开始，并且随着NN训练而变得逐渐变得更加复杂。第二种方法是将问题构成为序列到序列的学习任务，而不是学习一次性地预测整个时空。广泛的测试表明，与常规Pinn训练相比，我们可以通过这些方法实现最多1-2个数量级。