差分方程管理的学习动态对于预测和控制科学和工程系统来说至关重要。神经常规方程（节点）是一种与微分方程集成的深度学习模型，最近是由于其对不规则样本的鲁棒性及其对高维输入的灵活性而流行的学习动态。然而，节点的训练对数值求解器的精度敏感，这使得节点的收敛不稳定，特别是对于不稳定的动态系统。在本文中，为了减少对数值求解器的依赖，我们建议提高节点训练中的监督信号。具体地，我们预先训练神经差分运算符（NDO）以输出衍生物的估计用作额外的监督信号。 NDO在一类基础函数上预先培训，并将这些功能的轨迹样本之间的映射学习到其衍生物。为了利用来自NDO的轨迹信号和估计的衍生工具，我们提出了一种称为NDO-Node的算法，其中损耗函数包含两个术语：真正轨迹样本的适应性以及由输出的估计衍生物的适应度预先训练的NDO。各种动力学的实验表明，我们提出的NDO-Node可以一致地用一个预先训练的NDO来改善预测精度。特别是对于僵硬的杂散，我们观察到与其他正则化方法相比，NDO-Node可以更准确地捕获动态的过渡。
translated by 谷歌翻译
2020-10-09
预测在环境中只有部分了解其动态的综合动态现象是各种科学领域的普遍存在问题。虽然纯粹的数据驱动方法在这种情况下可以说是不充分的，但是基于标准的物理建模的方法往往是过于简单的，诱导不可忽略的错误。在这项工作中，我们介绍了适当性框架，是一种具有深度数据驱动模型的微分方程所描述的不完整物理动态的原则方法。它包括将动态分解为两个组件：对我们有一些先验知识的动态的物理组件，以及物理模型错误的数据驱动组件核对。仔细制定学习问题，使得物理模型尽可能多地解释数据，而数据驱动组件仅描述了物理模型不能捕获的信息，不再少。这不仅为这种分解提供了存在和唯一性，而且还确保了可解释性和益处泛化。在三个重要用例中进行的实验，每个代表不同的现象，即反应 - 扩散方程，波动方程和非线性阻尼摆锤，表明，空间程度可以有效地利用近似物理模型来准确地预测系统的演变并正确识别相关的物理参数。
translated by 谷歌翻译
在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。
translated by 谷歌翻译
学习如何随着时间的推移发展复杂的动态系统是系统识别中的关键挑战。对于安全关键系统，它通常是至关重要的，因为学习的模型保证会聚到一些均衡点。为此，当完全观察到各种时，用神经拉布诺夫函数规范的神经杂物是一种有希望的方法。然而，对于实际应用，部分观察是常态。正如我们将证明，未观察到的增强状态的初始化可能成为神经杂物余下的关键问题。为了减轻这个问题，我们建议增加该系统的历史历史。通过国家增强在离散时间系统中的启发，我们得到了神经延迟微分方程。基于古典时间延迟稳定性分析，我们展示了如何确保学习模型的稳定性，从理论上分析我们的方法。我们的实验表明其适用于稳定的系统识别部分观察到的系统和学习延迟反馈控制中的稳定反馈策略。
translated by 谷歌翻译
动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
由于在许多领域的无与伦比的成功，例如计算机视觉，自然语言处理，推荐系统以及最近在模拟多物理问题和预测非线性动力学系统方面，深度学习引起了人们的关注。但是，建模和预测混乱系统的动态仍然是一个开放的研究问题，因为训练深度学习模型需要大数据，在许多情况下，这并不总是可用的。可以通过从模拟结果获得的其他信息以及执行混乱系统的物理定律来培训这样的深度学习者。本文考虑了极端事件及其动态，并提出了基于深层神经网络的优雅模型，称为基于知识的深度学习（KDL）。我们提出的KDL可以通过直接从动力学及其微分方程中对真实和模拟数据进行联合培训来学习控制混乱系统的复杂模式。这些知识被转移到模型和预测现实世界中的混乱事件，表现出极端行为。我们通过在三个实际基准数据集上进行评估来验证模型的效率：El Nino海面温度，San Juan登革热病毒感染和BJ {\ o} rn {\ o} ya每日降水，所有这些都受极端事件的控制'动态。利用对极端事件和基于物理的损失功能的先验知识来领导神经网络学习，我们即使在小型数据制度中也可以确保身体一致，可推广和准确的预测。
translated by 谷歌翻译
许多物理过程，例如天气现象或流体力学由部分微分方程（PDE）管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而，目前的方法以各种方式限制：它们需要关于控制方程的先验知识，并限于线性或一阶方程。在这项工作中，我们提出了一种将卷积神经网络（CNNS）与可微分的颂歌求解器结合到模型动力系统的模型。我们表明，标准PDE求解器中使用的线路方法可以使用卷曲来表示，这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE，覆盖更高的订单，非线性方程和多个空间尺寸。
translated by 谷歌翻译
Relying on recent research results on Neural ODEs, this paper presents a methodology for the design of state observers for nonlinear systems based on Neural ODEs, learning Luenberger-like observers and their nonlinear extension (Kazantzis-Kravaris-Luenberger (KKL) observers) for systems with partially-known nonlinear dynamics and fully unknown nonlinear dynamics, respectively. In particular, for tuneable KKL observers, the relationship between the design of the observer and its trade-off between convergence speed and robustness is analysed and used as a basis for improving the robustness of the learning-based observer in training. We illustrate the advantages of this approach in numerical simulations.
translated by 谷歌翻译
众所周知，混乱的系统对预测的挑战是挑战，因为它们对时间的敏感性和由于阶梯时间而引起的错误和错误。尽管这种不可预测的行为，但对于许多耗散系统，长期轨迹的统计数据仍受到一套被称为全球吸引子的不变措施的管辖。对于许多问题，即使状态空间是无限的维度，该集合是有限维度的。对于马尔可夫系统，长期轨迹的统计特性由解决方案操作员唯一确定，该解决方案操作员将系统的演变映射到任意正时间增量上。在这项工作中，我们提出了一个机器学习框架，以学习耗散混沌系统的基础解决方案操作员，这表明所得的学习操作员准确地捕获了短期轨迹和长期统计行为。使用此框架，我们能够预测湍流Kolmogorov流动动力学的各种统计数据，雷诺数为5000。
translated by 谷歌翻译
基于合奏的大规模模拟动态系统对于广泛的科学和工程问题至关重要。模拟中使用的常规数值求解器受到时间整合的步长显着限制，这会阻碍效率和可行性，尤其是在需要高精度的情况下。为了克服这一限制，我们提出了一种数据驱动的校正方法，该方法允许使用大型步骤，同时补偿了积分误差以提高精度。该校正器以矢量值函数的形式表示，并通过神经网络建模以回归相空间中的误差。因此，我们将校正神经矢量（Neurvec）命名。我们表明，Neurvec可以达到与传统求解器具有更大步骤尺寸的传统求解器相同的准确性。我们从经验上证明，Neurvec可以显着加速各种数值求解器，并克服这些求解器的稳定性限制。我们关于基准问题的结果，从高维问题到混乱系统，表明Neurvec能够捕获主要的误差项并保持整体预测的统计数据。
translated by 谷歌翻译
在广泛的应用程序中，从观察到的数据中识别隐藏的动态是一项重大且具有挑战性的任务。最近，线性多步法方法（LMM）和深度学习的结合已成功地用于发现动力学，而对这种方法进行完整的收敛分析仍在开发中。在这项工作中，我们考虑了基于网络的深度LMM，以发现动态。我们使用深网的近似属性提出了这些方法的错误估计。它指出，对于某些LMMS的家庭，$ \ ell^2 $网格错误由$ O（H^p）$的总和和网络近似错误，其中$ h $是时间步长和$P $是本地截断错误顺序。提供了几个物理相关示例的数值结果，以证明我们的理论。
translated by 谷歌翻译
神经普通微分方程模型的动态系统，\ textit {ode}由神经网络学习。但是，ODE从根本上是不足以建模具有长期依赖性或不连续性的系统，这些系统在工程和生物系统中很常见。已经提出了更广泛的微分方程（DE）类作为补救措施，包括延迟微分方程和整数差异方程。此外，当通过分段强迫函数对硬质量和odes进行建模时，神经颂歌会遭受数值的不稳定性。在这项工作中，我们提出了\ textit {neural laplace}，这是一个学习不同类别的统一框架，包括上述所有类别。我们没有在时间域中对动态进行建模，而是在拉普拉斯域中对其进行建模，在拉普拉斯域中，可以将历史依赖性和时间的不连续性表示为复杂指数的求和。为了提高学习效率，我们使用Riemann Sphere的几何立体图来诱导Laplace域中的平滑度。在实验中，神经拉普拉斯在建模和推断DES类别的轨迹方面表现出卓越的性能，包括具有复杂历史依赖性和突然变化的DES类别。
translated by 谷歌翻译
在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
随着数据的不断增加，将现代机器学习方法应用于建模和控制等领域的兴趣爆炸。但是，尽管这种黑盒模型具有灵活性和令人惊讶的准确性，但仍然很难信任它们。结合两种方法的最新努力旨在开发灵活的模型，这些模型仍然可以很好地推广。我们称为混合分析和建模（HAM）的范式。在这项工作中，我们调查了使用数据驱动模型纠正基于错误的物理模型的纠正源术语方法（COSTA）。这使我们能够开发出可以进行准确预测的模型，即使问题的基本物理学尚未得到充分理解。我们将Costa应用于铝电解电池中的Hall-H \'Eroult工艺。我们证明该方法提高了准确性和预测稳定性，从而产生了总体可信赖的模型。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
随着现代深层学习技术的快速发展，动态系统和神经网络的研究越来越多地利用了很多不同的方式。由于在现实世界观察中经常出现不确定性，因此SDES（随机微分方程）来发挥重要作用。更具体地，在本文中，我们使用配备神经网络的SDE集合来预测具有大跳跃性能和高概率分布偏移的嘈杂时间序列的长期趋势。我们的贡献是，首先，我们使用相位空间重建方法来提取时间序列数据的内在尺寸，以确定我们预测模型的输入结构。其次，我们探索由$ \ alpha $ -stable l \'evy motion驱动的SDE来模拟时间序列数据，通过神经网络近似来解决问题。第三，我们构建了达到多时间步长预测的注意机制。最后，我们通过将其应用于股票营销时间序列预测并显示结果优于几个基线深度学习模型来说明我们的方法。
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译
微分方程的解决方案具有重要的科学和工程意义。物理知识的神经网络（PINN）已成为解决微分方程的有前途方法，但它们缺乏使用任何特定损失函数的理论理由。这项工作提出了微分方程gan（DEQGAN），这是一种使用生成对抗网络来求解微分方程的新方法，以“学习损失函数”以优化神经网络。在十二个普通和部分微分方程的套件上呈现结果，包括非线性汉堡，艾伦·卡恩，汉密尔顿和改良的爱因斯坦的重力方程，我们表明deqgan可以比使用$ pinn的均方一数级别的均方一数级别。 L_2 $，$ L_1 $和HUBER损失功能。我们还表明，Deqgan可以实现与流行数值方法竞争的解决方案精确度。最后，我们提出了两种方法，以提高Deqgan对不同的高参数设置的鲁棒性。
translated by 谷歌翻译
我们提出了一种基于物理知识的随机投影神经网络的数值方法，用于解决常微分方程（ODES）的初始值问题（IVPS）的解决方案，重点是僵硬的问题。我们使用具有径向基函数的单个隐藏层来解决一个极端学习机，其具有宽度均匀分布的随机变量，而输入和隐藏层之间的权重的值设置为等于1。通过构造非线性代数方程的系统来获得IVPS的数值解决方案，该系统由高斯-Nythto方法通过Gauss-Newton方法解决了输出权重，以调整集成时间间隔的简单自适应方案。为了评估其性能，我们应用了四个基准僵硬IVPS解决方案的提议方法，即预热罗宾逊，梵德，罗伯和雇用问题。我们的方法与基于Dormand-Prince对的自适应跳动-Kutta方法进行比较，以及基于数值差分公式的可变步骤可变序列多步解算器，如\ texttt {ode45}和\ texttt {ode15s}所实现的MATLAB功能分别。我们表明所提出的方案产生良好的近似精度，从而优于\ texttt {ode45}和\ texttt {ode15s}，尤其是在出现陡峭梯度的情况下。此外，我们的方法的计算时间与两种Matlab溶剂的计算时间用于实际目的。
translated by 谷歌翻译
深度学习模型能够近似一个特定的动力系统，但在学习通用动力学方面挣扎，在该动态系统中，动态系统遵守了相同的物理定律，但包含不同数量的元素（例如，双重和三铅系统）。为了缓解这个问题，我们提出了模块化拉格朗日网络（ModLanet），这是一个具有模块化和物理诱导偏置的结构神经网络框架。该框架使用模块化对每个元素的能量进行建模，然后通过拉格朗日力学构建目标动态系统。模块化有益于重复训练的网络和减少网络和数据集的规模。结果，我们的框架可以从更简单的系统的动力学中学习，并扩展到更复杂的框架，使用其他相关的物理信息神经网络是不可行的。我们研究了使用小型培训数据集建模双体螺旋形或三体系统的框架，与同行相比，我们的模型实现了最佳的数据效率和准确性性能。我们还将模型重新组织为建模多体型和多体系统的扩展，展示了我们框架的可重复使用功能。
translated by 谷歌翻译