This work presents a set of neural network (NN) models specifically designed for accurate and efficient fluid dynamics forecasting. In this work, we show how neural networks training can be improved by reducing data complexity through a modal decomposition technique called higher order dynamic mode decomposition (HODMD), which identifies the main structures inside flow dynamics and reconstructs the original flow using only these main structures. This reconstruction has the same number of samples and spatial dimension as the original flow, but with a less complex dynamics and preserving its main features. We also show the low computational cost required by the proposed NN models, both in their training and inference phases. The core idea of this work is to test the limits of applicability of deep learning models to data forecasting in complex fluid dynamics problems. Generalization capabilities of the models are demonstrated by using the same neural network architectures to forecast the future dynamics of four different multi-phase flows. Data sets used to train and test these deep learning models come from Direct Numerical Simulations (DNS) of these flows.

在本文中，我们为非稳定于3D流体结构交互系统提供了一种基于深度学习的阶数（DL-ROM）。所提出的DL-ROM具有非线性状态空间模型的格式，并采用具有长短期存储器（LSTM）的经常性神经网络。我们考虑一种以状态空间格式的可弹性安装的球体的规范流体结构系统，其具有不可压缩的流体流动。我们开发了一种非线性数据驱动的耦合，用于预测横向方向自由振动球的非定常力和涡旋诱导的振动（VIV）锁定。我们设计输入输出关系作为用于流体结构系统的低维逼近的力和位移数据集的时间序列。基于VIV锁定过程的先验知识，输入功能包含一系列频率和幅度，其能够实现高效的DL-ROM，而无需用于低维建模的大量训练数据集。一旦训练，网络就提供了输入 - 输出动态的非线性映射，其可以通过反馈过程预测较长地平线的耦合流体结构动态。通过将LSTM网络与Eigensystem实现算法（时代）集成，我们构造了用于减少阶稳定性分析的数据驱动状态空间模型。我们通过特征值选择过程调查VIV的潜在机制和稳定性特征。为了了解频率锁定机制，我们研究了针对降低振荡频率和质量比的范围的特征值轨迹。与全阶模拟一致，通过组合的LSTM-ERA程序精确捕获频率锁定分支。所提出的DL-ROM与涉及流体结构相互作用的物理学数字双胞胎的基于物理的数字双胞胎。

传统上，基于标度律维模型已被用于参数对流换热岩类地行星像地球，火星，水星和金星的内部，以解决二维或三维高保真前插的计算瓶颈。然而，这些在物理它们可以建模（例如深度取决于材料特性），并预测只平均量的量的限制，例如平均温度地幔。我们最近发现，前馈神经网络（FNN），使用了大量的二维模拟可以克服这个限制和可靠地预测整个1D横向平均温度分布的演变，及时为复杂的模型训练。我们现在扩展该方法以预测的完整2D温度字段，它包含在对流结构如热羽状和冷downwellings的形式的信息。使用的地幔热演化的10,525二维模拟数据集火星般的星球，我们表明，深度学习技术能够产生可靠的参数代理人（即代理人即预测仅基于参数状态变量，如温度）底层偏微分方程。我们首先使用卷积自动编码由142倍以压缩温度场，然后使用FNN和长短期存储器网络（LSTM）来预测所述压缩字段。平均起来，FNN预测是99.30％，并且LSTM预测是准确相对于看不见模拟99.22％。在LSTM和FNN预测显示，尽管较低的绝对平均相对精度，LSTMs捕捉血流动力学优于FNNS适当的正交分解（POD）。当求和，从FNN预测和从LSTM预测量至96.51％，相对97.66％到原始模拟的系数，分别与POD系数。

在本文中，我们根据卷积神经网络训练湍流模型。这些学到的湍流模型改善了在模拟时为不可压缩的Navier-Stokes方程的溶解不足的低分辨率解。我们的研究涉及开发可区分的数值求解器，该求解器通过多个求解器步骤支持优化梯度的传播。这些属性的重要性是通过那些模型的出色稳定性和准确性来证明的，这些模型在训练过程中展开了更多求解器步骤。此外，我们基于湍流物理学引入损失项，以进一步提高模型的准确性。这种方法应用于三个二维的湍流场景，一种均匀的腐烂湍流案例，一个暂时进化的混合层和空间不断发展的混合层。与无模型模拟相比，我们的模型在长期A-posterii统计数据方面取得了重大改进，而无需将这些统计数据直接包含在学习目标中。在推论时，我们提出的方法还获得了相似准确的纯粹数值方法的实质性改进。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

湍流无处不在，获得有效，准确且可概括的订单模型仍然是一个具有挑战性的问题。该手稿开发了减少拉格朗日模型的湍流模型的层次结构，以研究和比较在拉格朗日框架内实施平滑的粒子流体动力学（SPH）结构与嵌入神经网络（NN）作为通用函数近似器中的效果。 SPH是用于近似流体力学方程的无网格拉格朗日方法。从基于神经网络（NN）的拉格朗日加速运算符的参数化开始，该层次结构逐渐结合了一个弱化和参数化的SPH框架，该框架可以执行物理对称性和保护定律。开发了两个新的参数化平滑核，其中包含在完全参数化的SPH模拟器中，并与立方和四分之一的平滑核进行了比较。对于每个模型，我们使用基于梯度的优化最小化的不同损耗函数，其中使用自动分化（AD）和灵敏度分析（SA）获得了有效的梯度计算。每个模型均经过两个地面真理（GT）数据集训练，该数据集与每周可压缩的均质各向同性湍流（hit），（1）使用弱压缩SPH的验证集，（2）来自直接数值模拟（DNS）的高忠诚度集。数值证据表明：（a）对“合成” SPH数据的方法验证； （b）嵌入在SPH框架中近似状态方程的NN的能力； （b）每个模型都能插入DNS数据； （c）编码更多的SPH结构可提高对不同湍流的马赫数和时间尺度的普遍性； （d）引入两个新型参数化平滑核可提高SPH比标准平滑核的准确性。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

Surrogate models are necessary to optimize meaningful quantities in physical dynamics as their recursive numerical resolutions are often prohibitively expensive. It is mainly the case for fluid dynamics and the resolution of Navier-Stokes equations. However, despite the fast-growing field of data-driven models for physical systems, reference datasets representing real-world phenomena are lacking. In this work, we develop AirfRANS, a dataset for studying the two-dimensional incompressible steady-state Reynolds-Averaged Navier-Stokes equations over airfoils at a subsonic regime and for different angles of attacks. We also introduce metrics on the stress forces at the surface of geometries and visualization of boundary layers to assess the capabilities of models to accurately predict the meaningful information of the problem. Finally, we propose deep learning baselines on four machine learning tasks to study AirfRANS under different constraints for generalization considerations: big and scarce data regime, Reynolds number, and angle of attack extrapolation.

科学机器学习的进步改善了现代计算科学和工程应用。数据驱动的方法（例如动态模式分解（DMD））可以从动态系统生成的时空数据中提取相干结构，并推断上述系统的不同方案。时空数据作为快照，每次瞬间包含空间信息。在现代工程应用中，高维快照的产生可能是时间和/或资源要求。在本研究中，我们考虑了在大型数值模拟中增强DMD工作流程的两种策略：（i）快照压缩以减轻磁盘压力； （ii）使用原位可视化图像在运行时重建动力学（或部分）。我们通过两个3D流体动力学模拟评估我们的方法，并考虑DMD重建解决方案。结果表明，快照压缩大大减少了所需的磁盘空间。我们已经观察到，损耗的压缩将存储降低了几乎$ 50 \％$，而信号重建和其他关注数量的相对错误则较低。我们还使用原位可视化工具将分析扩展到了直接生成的数据，在运行时生成状态向量的图像文件。在大型模拟中，快照的产生可能足够慢，可以使用批处理算法进行推理。流DMD利用增量SVD算法，并随着每个新快照的到来更新模式。我们使用流式DMD来重建原位生成的图像的动力学。我们证明此过程是有效的，并且重建的动力学是准确的。

映射近场污染物的浓度对于跟踪城市地区意外有毒羽状分散体至关重要。通过求解大部分湍流谱，大型模拟（LES）具有准确表示污染物浓度空间变异性的潜力。找到一种合成大量信息的方法，以提高低保真操作模型的准确性（例如，提供更好的湍流封闭条款）特别有吸引力。这是一个挑战，在多质量环境中，LES的部署成本高昂，以了解羽流和示踪剂分散如何随着各种大气和源参数的变化。为了克服这个问题，我们提出了一个合并正交分解（POD）和高斯过程回归（GPR）的非侵入性降低阶模型，以预测与示踪剂浓度相关的LES现场统计。通过最大的后验（MAP）过程，GPR HyperParameter是通过POD告知的最大后验（MAP）过程来优化组件的。我们在二维案例研究上提供了详细的分析，该案例研究对应于表面安装的障碍物上的湍流大气边界层流。我们表明，障碍物上游的近源浓度异质性需要大量的POD模式才能得到充分捕获。我们还表明，逐组分的优化允许捕获POD模式中的空间尺度范围，尤其是高阶模式中较短的浓度模式。如果学习数据库由至少五十至100个LES快照制成，则可以首先估算所需的预算，以朝着更逼真的大气分散应用程序迈进，因此减少订单模型的预测仍然可以接受。

我们训练一个神经网络模型，以预测宇宙N体模拟的全相空间演化。它的成功表明，神经网络模型正在准确地近似绿色的功能扩展，该功能将模拟的初始条件与其在深层非线性方向上的后期结合到结果。我们通过评估其在具有已知精确解决方案或充分理解扩展的简单情况下的良好理解的简单案例上的表现来测试这种近似值的准确性。这些场景包括球形构型，隔离平面波和两个相互作用的平面波：与用于训练的高斯随机场有很大不同的初始条件。我们发现我们的模型可以很好地推广到这些良好理解的方案，这表明网络已经推断了一般的物理原理，并从复杂的随机高斯训练数据中学习了非线性模式耦合。这些测试还为查找模型的优势和劣势以及确定改进模型的策略提供了有用的诊断。我们还测试了仅包含横向模式的初始条件，该模式的模式不仅在其相位上有所不同，而且还与训练集中使用的纵向生长模式相比。当网络遇到与训练集正交的这些初始条件时，该模型将完全失败。除了这些简单的配置外，我们还评估了模型对N体模拟的标准初始条件的密度，位移和动量功率谱的预测。我们将这些摘要统计数据与N体结果和称为COLA的近似快速模拟方法进行了比较。我们的模型在$ k \ sim 1 \ \ mathrm {mpc}^{ - 1} \，h $的非线性尺度上达到百分比精度，代表了对COLA的显着改进。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

我们提出了一个机器学习框架，该框架将图像超分辨率技术与级别测量方法中的被动标量传输融为一体。在这里，我们研究是否可以计算直接数据驱动的校正，以最大程度地减少界面的粗晶石演化中的数值粘度。拟议的系统的起点是半拉格朗日配方。并且，为了减少数值耗散，我们引入了一个易于识别的多层感知器。该神经网络的作用是改善数值估计的表面轨迹。为此，它在单个时间范围内处理局部级别集，速度和位置数据，以便在移动前部附近的选择顶点。因此，我们的主要贡献是一种新型的机器学习调音算法，该算法与选择性重新融为一体并与常规对流交替运行，以保持调整后的界面轨迹平滑。因此，我们的程序比基于全卷卷积的应用更有效，因为它仅在自由边界周围集中计算工作。同样，我们通过各种测试表明，我们的策略有效地抵消了数值扩散和质量损失。例如，在简单的对流问题中，我们的方法可以达到与基线方案相同的精度，分辨率是分辨率的两倍，但成本的一小部分。同样，我们的杂种技术可以产生可行的固化前端，以进行结晶过程。另一方面，切向剪切流和高度变形的模拟会导致偏置伪像和推理恶化。同样，严格的设计速度约束可以将我们的求解器的应用限制为涉及快速接口更改的问题。在后一种情况下，我们已经确定了几个机会来增强鲁棒性，而没有放弃我们的方法的基本概念。

我们使用高斯随机重量平均（赃物）来评估与基于神经网络的功能近似相关的模型不确定性与流体流有关。赃物在给定训练数据和恒定学习率的情况下近似每个重量的后高斯分布。有了访问此分布，它能够创建具有各种采样权重组合的多个模型，可用于获得集合预测。这种合奏的平均值可以视为“平均估计”，而其标准偏差则可以用于构建“置信区间”，这使我们能够在神经网络的训练过程中执行不确定性定量（UQ）。我们在以下情况下利用代表性的基于神经网络的功能近似任务：（i）二维圆形缸唤醒； （ii）Daymet数据集（北美的最高每日温度）； （iii）三维方缸唤醒； （iv）城市流程，以评估当前思想在各种复杂数据集中的普遍性。无论网络体系结构如何，都可以应用基于赃物的UQ，因此，我们证明了该方法对两种类型的神经网络的适用性：（i）通过结合卷积神经网络（CNN）和Multi-i-Encompruction。图层感知器（MLP）; （ii）来自具有二维CNN的截面数据的远场状态估计。我们发现，赃物可以从模型形式不确定性的角度获得物理上介入的置信区间估计。该能力支持其用于科学和工程方面的各种问题。

自从Navier Stokes方程的推导以来，已经有可能在数值上解决现实世界的粘性流问题（计算流体动力学（CFD））。然而，尽管中央处理单元（CPU）的性能取得了迅速的进步，但模拟瞬态流量的计算成本非常小，时间/网格量表物理学仍然是不现实的。近年来，机器学习（ML）技术在整个行业中都受到了极大的关注，这一大浪潮已经传播了流体动力学界的各种兴趣。最近的ML CFD研究表明，随着数据驱动方法的训练时间和预测时间之间的间隔增加，完全抑制了误差的增加是不现实的。应用ML的实用CFD加速方法的开发是剩余的问题。因此，这项研究的目标是根据物理信息传递学习制定现实的ML策略，并使用不稳定的CFD数据集验证了该策略的准确性和加速性能。该策略可以在监视跨耦合计算框架中管理方程的残差时确定转移学习的时间。因此，我们的假设是可行的，即连续流体流动时间序列的预测是可行的，因为中间CFD模拟定期不仅减少了增加残差，还可以更新网络参数。值得注意的是，具有基于网格的网络模型的交叉耦合策略不会损害计算加速度的仿真精度。在层流逆流CFD数据集条件下，该模拟加速了1.8次，包括参数更新时间。此可行性研究使用了开源CFD软件OpenFOAM和开源ML软件TensorFlow。

具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

我们提出了一种深度学习策略，以估计级别方法中二维隐式接口的平均曲率。我们的方法是基于拟合馈送的神经网络与由沉浸在各种分辨率均匀网格中的圆形界面构建的合成数据集。这些多层感知器处理自由边界旁边的网格点的级别值，并在接口上最接近的位置输出无量纲曲率。在统一和自适应网格中，涉及不规则界面的精确分析表明，我们的模型与$ l^1 $和$ l^2 $规范中的传统数值方案具有竞争力。特别是，当界面具有陡峭的曲率区域以及重新初始化水平集函数的迭代次数时，我们的神经网络在粗分辨率中以可比精度近似于曲率。尽管传统的数值方法比我们的框架更强大，但我们的结果揭示了机器学习的潜力，以处理已知级别方法遇到困难的计算任务。我们还确定，与通用神经网络相比，可以设计出依赖于应用程序的局部分辨率的局部分辨率图来更有效地估计平均曲率。

机器人社区在为软机器人设备建模提供的理论工具的复杂程度中看到了指数增长。已经提出了不同的解决方案以克服与软机器人建模相关的困难，通常利用其他科学学科，例如连续式机械和计算机图形。这些理论基础通常被认为是理所当然的，这导致复杂的文献，因此，从未得到完整审查的主题。Withing这种情况下，提交的文件的目标是双重的。突出显示涉及建模技术的不同系列的常见理论根源，采用统一语言，以简化其主要连接和差异的分析。因此，对上市接近自然如下，并最终提供在该领域的主要作品的完整，解开，审查。