基于合奏的大规模模拟动态系统对于广泛的科学和工程问题至关重要。模拟中使用的常规数值求解器受到时间整合的步长显着限制，这会阻碍效率和可行性，尤其是在需要高精度的情况下。为了克服这一限制，我们提出了一种数据驱动的校正方法，该方法允许使用大型步骤，同时补偿了积分误差以提高精度。该校正器以矢量值函数的形式表示，并通过神经网络建模以回归相空间中的误差。因此，我们将校正神经矢量（Neurvec）命名。我们表明，Neurvec可以达到与传统求解器具有更大步骤尺寸的传统求解器相同的准确性。我们从经验上证明，Neurvec可以显着加速各种数值求解器，并克服这些求解器的稳定性限制。我们关于基准问题的结果，从高维问题到混乱系统，表明Neurvec能够捕获主要的误差项并保持整体预测的统计数据。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

在广泛的应用程序中，从观察到的数据中识别隐藏的动态是一项重大且具有挑战性的任务。最近，线性多步法方法（LMM）和深度学习的结合已成功地用于发现动力学，而对这种方法进行完整的收敛分析仍在开发中。在这项工作中，我们考虑了基于网络的深度LMM，以发现动态。我们使用深网的近似属性提出了这些方法的错误估计。它指出，对于某些LMMS的家庭，$ \ ell^2 $网格错误由$ O（H^p）$的总和和网络近似错误，其中$ h $是时间步长和$P $是本地截断错误顺序。提供了几个物理相关示例的数值结果，以证明我们的理论。

我们研究了科学计算的数值算法的元学习，它将一般算法结构的数学驱动，手工设计与特定的任务类的数据驱动的适应相结合。这表示从数值分析中的经典方法的偏离，这通常不具有这种基于学习的自适应。作为一个案例研究，我们开发了一种机器学习方法，基于Runge-Kutta（RK）Integrator架构，自动学习用于常用方程式（ODES）形式的初始值问题的有效求解器。通过组合神经网络近似和元学习，我们表明我们可以获得针对目标差分方程系的高阶集成商，而无需手头计算积分器系数。此外，我们证明，在某些情况下，我们可以获得古典RK方法的卓越性能。这可以归因于通过该方法识别和利用ode系列的某些属性。总的来说，这项工作展示了基于学习的基于学习的方法，用于设计差分方程的数值解的算法，一种方法可以容易地扩展到其他数值任务。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

对应用机器学习来研究动态系统有一波兴趣。特别地，已经应用神经网络来解决运动方程，因此追踪系统的演变。与神经网络和机器学习的其他应用相反，动态系统 - 根据其潜在的对称 - 具有诸如能量，动量和角动量的不变性。传统的数值迭代方法通常违反这些保护法，在时间上传播误差，并降低方法的可预测性。我们介绍了一个汉密尔顿神经网络，用于解决控制动态系统的微分方程。这种无监督的模型是学习解决方案，可以相同地满足哈密尔顿方程，因此哈密尔顿方程式满足。一旦优化了，所提出的架构被认为是一种杂项单元，因为引入了高效的参数的解决方案。另外，通过共享网络参数并选择适当的激活函数的选择大大提高了网络的可预测性。派生错误分析，并指出数值误差取决于整体网络性能。然后采用辛结构来解决非线性振荡器的方程和混沌HENON-HENEL动态系统。在两个系统中，杂项欧拉集成商需要两个订单比HAMILTONIAN网络更多的评估点，以便在预测的相空间轨迹中获得相同的数值误差顺序。

在本文中，我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器，该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的，这些模型在训练过程中展开了更多求解器步骤。此外，我们基于湍流物理学引入损失项，以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景，一种均匀的腐烂湍流案例，一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比，我们的模型在长期A-posterii统计数据方面取得了重大改进，而无需将这些统计数据直接包含在学习目标中。在推论时，我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。

差分方程管理的学习动态对于预测和控制科学和工程系统来说至关重要。神经常规方程（节点）是一种与微分方程集成的深度学习模型，最近是由于其对不规则样本的鲁棒性及其对高维输入的灵活性而流行的学习动态。然而，节点的训练对数值求解器的精度敏感，这使得节点的收敛不稳定，特别是对于不稳定的动态系统。在本文中，为了减少对数值求解器的依赖，我们建议提高节点训练中的监督信号。具体地，我们预先训练神经差分运算符（NDO）以输出衍生物的估计用作额外的监督信号。 NDO在一类基础函数上预先培训，并将这些功能的轨迹样本之间的映射学习到其衍生物。为了利用来自NDO的轨迹信号和估计的衍生工具，我们提出了一种称为NDO-Node的算法，其中损耗函数包含两个术语：真正轨迹样本的适应性以及由输出的估计衍生物的适应度预先训练的NDO。各种动力学的实验表明，我们提出的NDO-Node可以一致地用一个预先训练的NDO来改善预测精度。特别是对于僵硬的杂散，我们观察到与其他正则化方法相比，NDO-Node可以更准确地捕获动态的过渡。

随着数据的不断增加，将现代机器学习方法应用于建模和控制等领域的兴趣爆炸。但是，尽管这种黑盒模型具有灵活性和令人惊讶的准确性，但仍然很难信任它们。结合两种方法的最新努力旨在开发灵活的模型，这些模型仍然可以很好地推广。我们称为混合分析和建模（HAM）的范式。在这项工作中，我们调查了使用数据驱动模型纠正基于错误的物理模型的纠正源术语方法（COSTA）。这使我们能够开发出可以进行准确预测的模型，即使问题的基本物理学尚未得到充分理解。我们将Costa应用于铝电解电池中的Hall-H \'Eroult工艺。我们证明该方法提高了准确性和预测稳定性，从而产生了总体可信赖的模型。

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

我们介绍了一个名为统计信息的神经网络（SINN）的机器学习框架，用于从数据中学习随机动力学。从理论上讲，这种新的架构是受到随机系统的通用近似定理的启发，我们在本文中介绍了它，以及用于随机建模的投影手术形式。我们设计了训练神经网络模型的机制，以重现目标随机过程的正确\ emph {统计}行为。数值模拟结果表明，受过良好训练的SINN可以可靠地近似马尔可夫和非马克维亚随机动力学。我们证明了SINN对粗粒问题和过渡动力学的建模的适用性。此外，我们表明可以在时间粗粒的数据上训练所获得的减少阶模型，因此非常适合稀有事实模拟。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

Neural ordinary differential equations (neural ODEs) have emerged as a novel network architecture that bridges dynamical systems and deep learning. However, the gradient obtained with the continuous adjoint method in the vanilla neural ODE is not reverse-accurate. Other approaches suffer either from an excessive memory requirement due to deep computational graphs or from limited choices for the time integration scheme, hampering their application to large-scale complex dynamical systems. To achieve accurate gradients without compromising memory efficiency and flexibility, we present a new neural ODE framework, PNODE, based on high-level discrete adjoint algorithmic differentiation. By leveraging discrete adjoint time integrators and advanced checkpointing strategies tailored for these integrators, PNODE can provide a balance between memory and computational costs, while computing the gradients consistently and accurately. We provide an open-source implementation based on PyTorch and PETSc, one of the most commonly used portable, scalable scientific computing libraries. We demonstrate the performance through extensive numerical experiments on image classification and continuous normalizing flow problems. We show that PNODE achieves the highest memory efficiency when compared with other reverse-accurate methods. On the image classification problems, PNODE is up to two times faster than the vanilla neural ODE and up to 2.3 times faster than the best existing reverse-accurate method. We also show that PNODE enables the use of the implicit time integration methods that are needed for stiff dynamical systems.

气候，化学或天体物理学中的数值模拟在计算上对于高分辨率下的不确定性定量或参数探索而言太昂贵。减少或替代模型的多个数量级更快，但是传统的替代物是僵化或不准确和纯机器学习（ML）基于基于数据的替代物。我们提出了一个混合，灵活的替代模型，该模型利用已知的物理学来模拟大规模动力学，并将学习到难以模拟的项，该术语称为参数化或闭合，并捕获了细界面对大型动力学的影响。利用神经操作员，我们是第一个学习独立于网格的，非本地和灵活的参数化的人。我们的\ textit {多尺度神经操作员}是由多尺度建模的丰富文献进行的，具有准线性运行时复杂性，比最先进的参数化更准确或更灵活，并且在混乱方程的多尺度lorenz96上证明。

我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。

随着现代深层学习技术的快速发展，动态系统和神经网络的研究越来越多地利用了很多不同的方式。由于在现实世界观察中经常出现不确定性，因此SDES（随机微分方程）来发挥重要作用。更具体地，在本文中，我们使用配备神经网络的SDE集合来预测具有大跳跃性能和高概率分布偏移的嘈杂时间序列的长期趋势。我们的贡献是，首先，我们使用相位空间重建方法来提取时间序列数据的内在尺寸，以确定我们预测模型的输入结构。其次，我们探索由$ \ alpha $ -stable l \'evy motion驱动的SDE来模拟时间序列数据，通过神经网络近似来解决问题。第三，我们构建了达到多时间步长预测的注意机制。最后，我们通过将其应用于股票营销时间序列预测并显示结果优于几个基线深度学习模型来说明我们的方法。

数据驱动的湍流建模正在经历数据科学算法和硬件开发后的兴趣激增。我们讨论了一种使用可区分物理范式的方法，该方法将已知的物理学与机器学习结合起来，以开发汉堡湍流的闭合模型。我们将1D汉堡系统视为一种原型测试问题，用于建模以对流为主的湍流问题中未解决的术语。我们训练一系列模型，这些模型在后验损失函数上结合了不同程度的物理假设，以测试模型在一系列系统参数（包括粘度，时间和网格分辨率）上的疗效。我们发现，以部分微分方程形式的归纳偏差的约束模型包含已知物理或现有闭合方法会产生高度数据效率，准确和可推广的模型，并且表现优于最先进的基准。以物理信息形式添加结构还为模型带来了一定程度的解释性，可能为封闭建模的未来提供了垫脚石。

从非正规化概率分布的抽样是机器学习中的基本问题，包括贝叶斯建模，潜在因子推断和基于能源的模型训练。在几十年的研究之后，尽管收敛缓慢，但MCMC的变化仍然是抽样的默认方法。辅助神经模型可以学习加速MCMC，但训练额外模型的开销可能是禁止的。我们通过具有非牛顿势头的新的汉密尔顿动态提出了对这个问题的根本不同的方法。与MCMC蒙特卡洛等MCMC接近相比，不需要随机步骤。相反，在扩展状态空间中提出的确定性动态精确地对能量函数指定的目标分布，在ergodicity的假设下。或者，可以将动态解释为在没有训练的情况下对指定的能量模型进行采样的标准化流程。所提出的能量采样哈密尔顿（ESH）动态有一个简单的形式，可以用现有的颂歌解决，但我们推出了一个专业的求解器，它表现出更好的性能。 ESH Dynamics会收敛于其MCMC竞争对手的速度更快，更稳定地培训神经网络能量模型。

我们提出了一个数据驱动的框架，以提高软组织结构分析中显式有限元方法的计算效率。编码器解码器长短期内存深神经网络是根据由显式，分布式有限元求解器产生的数据训练的。我们利用该网络预测共享节点处的同步位移，从而最大程度地减少处理器之间的通信量。我们执行广泛的数值实验，以量化提出的避免同步算法的准确性和稳定性。