This paper investigates the use of artificial neural networks (ANNs) to solve differential equations (DEs) and the construction of the loss function which meets both differential equation and its initial/boundary condition of a certain DE. In section 2, the loss function is generalized to $n^\text{th}$ order ordinary differential equation(ODE). Other methods of construction are examined in Section 3 and applied to three different models to assess their effectiveness.

物理知识的神经网络（PINNS）最近由于解决前进和反向问题的能力而受到了很多关注。为了训练与PINN相关的深层神经网络，通常会使用不同损失项的加权总和构建总损耗函数，然后尝试将其最小化。这种方法通常会成为解决刚性方程式的问题，因为它不能考虑自适应增量。许多研究报告说，PINN的性能不佳及其在模拟僵硬的普通差分条件（ODE）条件下模拟僵硬的化学活动问题方面的挑战。研究表明，刚度是PINN在模拟刚性动力学系统中失败的主要原因。在这里，我们通过提出减少损失函数的弱形式来解决这个问题，这导致了新的PINN结构（进一步称为还原Pinn），该结构利用降低的集成方法来使Pinn能够求解僵硬的化学动力学。所提出的还原细菌可以应用于涉及僵硬动力学的各种反应扩散系统。为此，我们将初始价值问题（IVP）转换为它们的等效积分形式，并使用物理知识的神经网络求解所得的积分方程。在我们派生的基于积分的优化过程中，只有一个术语，而没有明确合并与普通微分方程（ODE）和初始条件（ICS）相关的损失项。为了说明减少细菌的功能，我们用它来模拟多个僵硬/轻度的二阶频率。我们表明，还原的Pinn可准确捕获刚性标量颂歌的溶液。我们还针对线性ODES的硬质系统验证了还原的Pinn。

我们提出了特征神经常规差分方程（C节点），该框架用于扩展神经常规微分方程（节点）之外的缺点。虽然节点模型将潜在状态的演变为对颂歌的解决方案，但是所提出的C节点模拟了潜在的潜在的演变作为其特征的一阶准线性部分微分方程（PDE）的解决方案，定义为PDE减少到ODES的曲线。反过来，还原允许应用标准框架，以解决PDE设置的杂散。另外，所提出的框架可以作为现有节点架构的扩展来投用，从而允许使用现有的黑盒颂歌求解器。我们证明了C节点框架通过展示不能由节点表示的功能来扩展经典节点，而是由C节点表示。我们通过在许多合成和实际数据场景中展示其性能，进一步研究了C节点框架的功效。经验结果展示了CIFAR-10，SVHN和MNIST数据集的提出方法提供的改进，如类似的计算预算作为现有节点方法。

本文侧重于各种技术来查找替代近似方法，可以普遍用于各种CFD问题，但计算成本低，运行时低。在机器学习领域中探讨了各种技术，以衡量实现核心野心的效用。稳定的平流扩散问题已被用作测试用例，以了解方法可以提供解决方案的复杂程度。最终，该重点留在物理知识的机器学习技术上，其中求解微分方程是可能的，而无需计算数据。 i.e的普遍方法拉加里斯et.al.和M. Raissi et.al彻底探讨。普遍存在的方法无法解决占主导地位问题。提出了一种称为分布物理知识神经网络（DPINN）的物理知情方法，以解决平流的主导问题。它通过分割域并将其他基于物理的限制引入均方平方损耗条款来增加旧方法的可执行和能力。完成各种实验以探索结束与该方法结束的最终可能性。也完成了参数研究以了解方法对不同可调参数的方法。该方法经过稳定的平流 - 扩散问题和不稳定的方脉冲问题。记录非常准确的结果。极端学习机（ELM）是一种以可调谐参数成本的快速神经网络算法。在平面扩散问题上测试所提出的模型的基于ELM的变体。榆树使得复杂优化更简单，并且由于该方法是非迭代的，因此解决方案被记录在单一镜头中。基于ELM的变体似乎比简单的DPINN方法更好。在本文中，将来同时进行各种发展的范围。

我们提出了一种基于物理知识的随机投影神经网络的数值方法，用于解决常微分方程（ODES）的初始值问题（IVPS）的解决方案，重点是僵硬的问题。我们使用具有径向基函数的单个隐藏层来解决一个极端学习机，其具有宽度均匀分布的随机变量，而输入和隐藏层之间的权重的值设置为等于1。通过构造非线性代数方程的系统来获得IVPS的数值解决方案，该系统由高斯-Nythto方法通过Gauss-Newton方法解决了输出权重，以调整集成时间间隔的简单自适应方案。为了评估其性能，我们应用了四个基准僵硬IVPS解决方案的提议方法，即预热罗宾逊，梵德，罗伯和雇用问题。我们的方法与基于Dormand-Prince对的自适应跳动-Kutta方法进行比较，以及基于数值差分公式的可变步骤可变序列多步解算器，如\ texttt {ode45}和\ texttt {ode15s}所实现的MATLAB功能分别。我们表明所提出的方案产生良好的近似精度，从而优于\ texttt {ode45}和\ texttt {ode15s}，尤其是在出现陡峭梯度的情况下。此外，我们的方法的计算时间与两种Matlab溶剂的计算时间用于实际目的。

物理信息神经网络（PINN）能够找到给定边界值问题的解决方案。我们使用有限元方法（FEM）的几个想法来增强工程问题中现有的PINN的性能。当前工作的主要贡献是促进使用主要变量的空间梯度作为分离神经网络的输出。后来，具有较高衍生物的强形式应用于主要变量的空间梯度作为物理约束。此外，该问题的所谓能量形式被应用于主要变量，作为训练的附加约束。所提出的方法仅需要一阶导数来构建物理损失函数。我们讨论了为什么通过不同模型之间的各种比较，这一点是有益的。基于配方混合的PINN和FE方法具有一些相似之处。前者利用神经网络的复杂非线性插值将PDE及其能量形式最小化及其能量形式，而后者则在元素节点借助Shape函数在元素节点上使用相同。我们专注于异质固体，以显示深学习在不同边界条件下在复杂环境中预测解决方案的能力。针对FEM的解决方案对两个原型问题的解决方案进行了检查：弹性和泊松方程（稳态扩散问题）。我们得出的结论是，通过正确设计PINN中的网络体系结构，深度学习模型有可能在没有其他来源的任何可用初始数据中解决异质域中的未知数。最后，关于Pinn和FEM的组合进行了讨论，以在未来的开发中快速准确地设计复合材料。

本文提出了一种新型算法，以获得使用深神经网络结构的函数的封闭形式的抗衍生物。过去，数学家已经开发了几种数值技术来近似确定的积分的值，但是原始或不确定的积分通常是非元素的。当集成体中有几个参数并且获得的积分是这些参数的函数时，必须需要抗衍生物。没有理论方法可以为任何给定的功能执行此操作。解决此问题的一些现有方法主要基于曲线拟合或无限序列近似，然后在理论上集成。对于高度非线性函数，曲线拟合近似值不准确，并且需要针对每个问题采用不同的方法。另一方面，无限串联方法没有给出封闭形式的解决方案，并且它们的截短形式通常不准确。我们声称，使用所有积分的方法，我们的算法可以将抗衍生物近似于任何必需的准确性。我们已经使用该算法来获得多种功能的抗衍生物，包括非质量和振荡积分。本文还显示了我们方法的应用，以获取椭圆形积分，费米 - 迪拉克积分和累积分布函数的封闭形式表达式，并减少盖金方法的计算时间用于微分方程。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

机器学习技术越来越多地用于预测科学应用中的材料行为，并比常规数值方法具有显着优势。在这项工作中，将人工神经网络（ANN）模型用于有限元公式中，以定义金属材料的流量定律是塑性应变，塑性应变速率和温度的函数。首先，我们介绍了神经网络的一般结构，其运作和关注网络在没有事先学习的情况下推导的能力，即相对于模型输入的流量定律的衍生物。为了验证所提出模型的鲁棒性和准确性，我们就42CRMO4钢的Johnson-Cook行为定律的分析公式进行了比较和分析几个网络体系结构的性能。在第二部分中，在选择了带有$ 2 $隐藏层的人工神经网络体系结构之后，我们以Vuhard Subroutine的形式在Abaqus显式计算代码中介绍了该模型的实现。然后在两个测试用例的数值模拟过程中证明了所提出模型的预测能力：圆形条的颈部和泰勒冲击试验。获得的结果表明，ANN具有很高的能力，可以在有限的元素代码中替换约翰逊 - 库克行为定律的分析公式，同时与经典方法相比，在数值模拟时间方面保持竞争力。

本文涉及以下重要的研究问题。传统上，神经网络采用与线性操作员连接的非线性激活功能，以近似给定的物理现象。它们与激活功能的级联“填充空间”，并调整它们的系数以近似物理现象。我们声称，更好地“填充空间”，具有由异常分析所用的平滑高阶B样条基础功能的线性组合，并利用神经网络来调整线性组合的系数。换句话说，评估使用神经网络用于近似B样条曲线基本功能的系数的可能性以及直接逼近解决方案。 Maziar Raissi等人提出了用神经网络解决微分方程。 2017年通过引入物理信息的神经网络（PINN），自然地将底层物理法编码为先前信息。使用函数的系数近似值用作输入利用神经网络的众所周知的能力是通用函数近似器。实质上，在Pinn方法中，网络近似于给定点的给定场的值。我们呈现一种替代方法，其中水平量被近似为平滑B样条基函数的线性组合，并且神经网络近似于B样条的系数。该研究将DNN的结果与近似B样条函数的线性组合系数进行比较，DNN直接逼近溶液。我们表明，当近似平滑的物理领域时，我们的方法更便宜，更准确。

Given ample experimental data from a system governed by differential equations, it is possible to use deep learning techniques to construct the underlying differential operators. In this work we perform symbolic discovery of differential operators in a situation where there is sparse experimental data. This small data regime in machine learning can be made tractable by providing our algorithms with prior information about the underlying dynamics. Physics Informed Neural Networks (PINNs) have been very successful in this regime (reconstructing entire ODE solutions using only a single point or entire PDE solutions with very few measurements of the initial condition). We modify the PINN approach by adding a neural network that learns a representation of unknown hidden terms in the differential equation. The algorithm yields both a surrogate solution to the differential equation and a black-box representation of the hidden terms. These hidden term neural networks can then be converted into symbolic equations using symbolic regression techniques like AI Feynman. In order to achieve convergence of these neural networks, we provide our algorithms with (noisy) measurements of both the initial condition as well as (synthetic) experimental data obtained at later times. We demonstrate strong performance of this approach even when provided with very few measurements of noisy data in both the ODE and PDE regime.

关于使用物理信息的神经网络求解微分方程的广泛研究。尽管这种方法在许多情况下已被证明是有利的，但主要批评在于它缺乏分析误差范围。因此，它不如传统的同行（例如有限差异方法）可信。本文表明，可以在数学上得出在一类微分方程线性系统上训练的物理信息的神经网络的明确误差界限。更重要的是，评估此类误差界限仅需要评估感兴趣域上的微分方程残留无限规范。我们的工作显示了网络残差之间的联系，该网络残差被称为损耗函数，以及解决方案的绝对误差，这通常是未知的。我们的方法是半生态学的，并且独立于对网络的实际解决方案或复杂性或架构的了解。使用在线性ODE和线性ODES系统上制成的解决方案的方法，我们从经验上验证了错误评估算法，并证明实际误差严格存在于我们派生的界限内。

We investigate the parameterization of deep neural networks that by design satisfy the continuity equation, a fundamental conservation law. This is enabled by the observation that any solution of the continuity equation can be represented as a divergence-free vector field. We hence propose building divergence-free neural networks through the concept of differential forms, and with the aid of automatic differentiation, realize two practical constructions. As a result, we can parameterize pairs of densities and vector fields that always exactly satisfy the continuity equation, foregoing the need for extra penalty methods or expensive numerical simulation. Furthermore, we prove these models are universal and so can be used to represent any divergence-free vector field. Finally, we experimentally validate our approaches by computing neural network-based solutions to fluid equations, solving for the Hodge decomposition, and learning dynamical optimal transport maps.

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

We present a unified hard-constraint framework for solving geometrically complex PDEs with neural networks, where the most commonly used Dirichlet, Neumann, and Robin boundary conditions (BCs) are considered. Specifically, we first introduce the "extra fields" from the mixed finite element method to reformulate the PDEs so as to equivalently transform the three types of BCs into linear forms. Based on the reformulation, we derive the general solutions of the BCs analytically, which are employed to construct an ansatz that automatically satisfies the BCs. With such a framework, we can train the neural networks without adding extra loss terms and thus efficiently handle geometrically complex PDEs, alleviating the unbalanced competition between the loss terms corresponding to the BCs and PDEs. We theoretically demonstrate that the "extra fields" can stabilize the training process. Experimental results on real-world geometrically complex PDEs showcase the effectiveness of our method compared with state-of-the-art baselines.

Deep learning has achieved remarkable success in diverse applications; however, its use in solving partial differential equations (PDEs) has emerged only recently. Here, we present an overview of physics-informed neural networks (PINNs), which embed a PDE into the loss of the neural network using automatic differentiation. The PINN algorithm is simple, and it can be applied to different types of PDEs, including integro-differential equations, fractional PDEs, and stochastic PDEs. Moreover, from the implementation point of view, PINNs solve inverse problems as easily as forward problems. We propose a new residual-based adaptive refinement (RAR) method to improve the training efficiency of PINNs. For pedagogical reasons, we compare the PINN algorithm to a standard finite element method. We also present a Python library for PINNs, DeepXDE, which is designed to serve both as an education tool to be used in the classroom as well as a research tool for solving problems in computational science and engineering. Specifically, DeepXDE can solve forward problems given initial and boundary conditions, as well as inverse problems given some extra measurements. DeepXDE supports complex-geometry domains based on the technique of constructive solid geometry, and enables the user code to be compact, resembling closely the mathematical formulation. We introduce the usage of DeepXDE and its customizability, and we also demonstrate the capability of PINNs and the user-friendliness of DeepXDE for five different examples. More broadly, DeepXDE contributes to the more rapid development of the emerging Scientific Machine Learning field.

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

微分方程的解决方案具有重要的科学和工程意义。物理知识的神经网络（PINN）已成为解决微分方程的有前途方法，但它们缺乏使用任何特定损失函数的理论理由。这项工作提出了微分方程gan（DEQGAN），这是一种使用生成对抗网络来求解微分方程的新方法，以“学习损失函数”以优化神经网络。在十二个普通和部分微分方程的套件上呈现结果，包括非线性汉堡，艾伦·卡恩，汉密尔顿和改良的爱因斯坦的重力方程，我们表明deqgan可以比使用$ pinn的均方一数级别的均方一数级别。 L_2 $，$ L_1 $和HUBER损失功能。我们还表明，Deqgan可以实现与流行数值方法竞争的解决方案精确度。最后，我们提出了两种方法，以提高Deqgan对不同的高参数设置的鲁棒性。

我们提出了一种基于具有子域（CENN）的神经网络的保守能量方法，其中允许通过径向基函数（RBF），特定解决方案神经网络和通用神经网络构成满足没有边界惩罚的基本边界条件的可允许功能。与具有子域的强形式Pinn相比，接口处的损耗术语具有较低的阶数。所提出的方法的优点是效率更高，更准确，更小的近双达，而不是具有子域的强形式Pinn。所提出的方法的另一个优点是它可以基于可允许功能的特殊结构适用于复杂的几何形状。为了分析其性能，所提出的方法宫殿用于模拟代表性PDE，这些实施例包括强不连续性，奇异性，复杂边界，非线性和异质问题。此外，在处理异质问题时，它优于其他方法。