在这项工作中，我们提出了一种称为疾病知识神经网络（Dinns）的方法，可以使用能够有效地预测传染病的传播。这种方法在成功的物理学上建立了已经应用于可以通过线性和非线性普通和部分微分方程建模的各种应用的知识神经网络方法。具体而言，我们建立了Pinns向SIR隔间模型的应用，并扩展了描述各种传染病的脚手架数学模型。我们展示神经网络如何能够学习疾病如何传播，预测其进展，并找到其独特参数（例如死亡率）。为了证明Dinns的稳健性和疗效，我们将这种方法应用于11种高度传染病，这些疾病在增加的复杂程度上进行了建模。我们的计算实验表明，Dinns是有效了解传播动态的可靠候选者，并预测其在可用现实世界数据中的进展中的进展。

在这项工作中，引入了SVEIDR模型及其变体（老年，疫苗接种模型），以编码不同年龄段和疫苗接种状态的社会接触影响。然后，我们在模拟和现实世界数据上实现了物理信息的神经网络。本文显示了包括从神经网络中学到的COVID-19的传播和预测分析的结果。

COVID-19的大流行提出了对多个领域决策者的流行预测的重要性，从公共卫生到整个经济。虽然预测流行进展经常被概念化为类似于天气预测，但是它具有一些关键的差异，并且仍然是一项非平凡的任务。疾病的传播受到人类行为，病原体动态，天气和环境条件的多种混杂因素的影响。由于政府公共卫生和资助机构的倡议，捕获以前无法观察到的方面的丰富数据来源的可用性增加了研究的兴趣。这尤其是在“以数据为中心”的解决方案上进行的一系列工作，这些解决方案通过利用非传统数据源以及AI和机器学习的最新创新来增强我们的预测能力的潜力。这项调查研究了各种数据驱动的方法论和实践进步，并介绍了一个概念框架来导航它们。首先，我们列举了与流行病预测相关的大量流行病学数据集和新的数据流，捕获了各种因素，例如有症状的在线调查，零售和商业，流动性，基因组学数据等。接下来，我们将讨论关注最近基于数据驱动的统计和深度学习方法的方法和建模范式，以及将机械模型知识域知识与统计方法的有效性和灵活性相结合的新型混合模型类别。我们还讨论了这些预测系统的现实部署中出现的经验和挑战，包括预测信息。最后，我们重点介绍了整个预测管道中发现的一些挑战和开放问题。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

流行病学中的数学模型是一种不可或缺的工具，可以确定传染病的动态和重要特征。除了他们的科学价值之外，这些模型通常用于在正在进行的爆发期间提供政治决策和干预措施。然而，通过将复杂模型连接到真实数据来可靠地推断正在进行的爆发的动态仍然很难，并且需要费力的手动参数拟合或昂贵的优化方法，这些方法必须从划痕中重复给定模型的每个应用。在这项工作中，我们用专门的神经网络的流行病学建模的新组合来解决这个问题。我们的方法需要两个计算阶段：在初始训练阶段中，描述该流行病的数学模型被用作神经网络的教练，该主管是关于全球可能疾病动态的全球知识。在随后的推理阶段，训练有素的神经网络处理实际爆发的观察到的数据，并且揭示了模型的参数，以便实际地再现观察到的动态并可可靠地预测未来的进展。通过其灵活的框架，我们的仿真方法适用于各种流行病学模型。此外，由于我们的方法是完全贝叶斯的，它旨在纳入所有可用的关于合理参数值的先前知识，并返回这些参数上的完整关节后部分布。我们的方法在德国的早期Covid-19爆发阶段的应用表明，我们能够获得可靠的概率估计对重要疾病特征，例如生成时间，未检测到的感染部分，症状发作前的传播可能性，以及报告延迟非常适中的现实观测。

使用隔室模型的多种方法已被用于研究Covid-19的大流行，并且使用这些模型的机器学习方法的使用取得了特别明显的成功。我们在这里提出了一种使用“物理知情的神经网络”（PINN）的变体来分析Covid-19美国开发的可访问数据的方法，该方法能够使用模型的知识来帮助学习。我们说明了使用标准PINN方法的挑战，然后如何对网络进行适当和新颖的修改，即使在我们的信息不完整的情况下，网络也可以表现出色。还评估了模型参数的可识别性方面，以及使用小波变换来降低可用数据的方法。最后，我们讨论了神经网络方法与不同参数值模型合作的能力，以及在估计人群中如何有效测试案例的具体应用，从而通过各自提供了美国州的排名测试。

在本文中，我们提出了对罗马尼亚的进化和预测的分析，结合了SIRD的数学模型，Sird的数学模型是经典模型SIR的扩展，其中包括死者作为单独的类别。原因是，由于我们无法完全信任被报告的感染或恢复人数，因此我们基于更可靠的死者人数的分析。此外，我们模型的参数之一包括感染和测试与受感染的比例。由于有许多因素对大流行的演变产生影响，因此我们决定基于前7天的数据来处理估计和预测，在这里尤其重要。我们使用神经网络分两个步骤执行估计和预测。首先，通过使用模型模拟数据，我们训练了几个学习模型参数的神经网络。其次，我们使用这些神经网络中的十个集合来预测罗马尼亚Covid19的真实数据的参数。这些结果中的许多是由定理支持的，该定理可以保证我们可以从报告的数据中恢复参数。

机械模拟器是流行病学的必不可少的工具，可以在不同条件下探索复杂，动态感染的行为并导航不确定的环境。基于ODE的模型是能够快速模拟且可实现基于梯度的优化的主要范式，但可以简化有关人群同质性的假设。基于代理的模型（ABM）是一种越来越流行的替代范式，可以代表接触相互作用的异质性，并具有颗粒状细节和个人行为的代理。但是，常规的ABM框架没有可区分的，并且在可伸缩性方面提出了挑战。因此，将它们连接到辅助数据源是非平凡的。在本文中，我们介绍了GradABM，这是ABMS的新型可扩展，快速和可区分的设计。 GradABM在商品硬件上几秒钟内运行模拟，并启用快速前进和可区分的反向模拟。这使得可以与深度神经网络合并并无缝整合异质数据源以帮助校准，预测和政策评估。我们通过对实际Covid-19和流感数据集进行了广泛的实验来证明GradABM的功效。我们很乐观，这项工作将使ABM和AI社区更加紧密。

在科学的背景下，众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中，我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息，并使用数据驱动的机器学习方法。我们描述了一个数学对象，我们表示通用微分方程（UDE），作为连接生态系统的统一框架。我们展示了各种各样的应用程序，从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制，可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性，以处理随机性，延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集，这些训练机构高度优化，稳定硬化方程，并与分布式并行性和GPU加速器兼容。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

在本文中，我们建议对罗马尼亚的Covid19的演变进行三个阶段分析。关于大流行预测，有两个主要问题。第一个是事实，即受感染和恢复的数量是不可靠的，但是死亡人数更准确。第二个问题是有许多因素影响了大流行的演变。在本文中，我们提出了三个阶段的分析。第一阶段是基于我们使用神经网络进行的经典SIR模型。这提供了第一组每日参数。在第二阶段，我们提出了对SIR模型的改进，其中我们将死者分为不同的类别。通过使用第一个估计和网格搜索，我们每天对参数进行估计。第三阶段用于定义参数的转折点（本地极端）的概念。我们将这些要点之间的时间称为政权。我们根据SIRD的时间变化参数来概述一种通用方式，以进行预测。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

随机微分方程（SDE）用于描述各种复杂的随机动力学系统。学习SDE中的隐藏物理学对于揭示对这些系统的随机和非线性行为的基本理解至关重要。我们提出了一个灵活且可扩展的框架，用于训练人工神经网络，以学习代表SDE中隐藏物理的本构方程。所提出的随机物理学的神经普通微分方程框架（Spinode）通过已知的SDE结构（即已知的物理学）传播随机性，以产生一组确定性的ODE，以描述随机状态的统计矩的时间演变。然后，Spinode使用ODE求解器预测矩轨迹。 Spinode通过将预测的矩与从数据估计的矩匹配来学习隐藏物理的神经网络表示。利用了自动分化和微型批次梯度下降的最新进展，并利用了伴随灵敏度，以建立神经网络的未知参数。我们在三个基准内案例研究上展示了Spinod，并分析了框架的数值鲁棒性和稳定性。 Spinode提供了一个有希望的新方向，用于系统地阐明具有乘法噪声的多元随机动力学系统的隐藏物理。

随着数据的不断增加，将现代机器学习方法应用于建模和控制等领域的兴趣爆炸。但是，尽管这种黑盒模型具有灵活性和令人惊讶的准确性，但仍然很难信任它们。结合两种方法的最新努力旨在开发灵活的模型，这些模型仍然可以很好地推广。我们称为混合分析和建模（HAM）的范式。在这项工作中，我们调查了使用数据驱动模型纠正基于错误的物理模型的纠正源术语方法（COSTA）。这使我们能够开发出可以进行准确预测的模型，即使问题的基本物理学尚未得到充分理解。我们将Costa应用于铝电解电池中的Hall-H \'Eroult工艺。我们证明该方法提高了准确性和预测稳定性，从而产生了总体可信赖的模型。

This short report reviews the current state of the research and methodology on theoretical and practical aspects of Artificial Neural Networks (ANN). It was prepared to gather state-of-the-art knowledge needed to construct complex, hypercomplex and fuzzy neural networks. The report reflects the individual interests of the authors and, by now means, cannot be treated as a comprehensive review of the ANN discipline. Considering the fast development of this field, it is currently impossible to do a detailed review of a considerable number of pages. The report is an outcome of the Project 'The Strategic Research Partnership for the mathematical aspects of complex, hypercomplex and fuzzy neural networks' meeting at the University of Warmia and Mazury in Olsztyn, Poland, organized in September 2022.

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术

随着Covid-19影响每个国家的全球和改变日常生活，预测疾病的传播的能力比任何先前的流行病更重要。常规的疾病 - 展开建模方法，隔间模型，基于对病毒的扩散的时空均匀性的假设，这可能导致预测到欠低，特别是在高空间分辨率下。本文采用替代技术 - 时空机器学习方法。我们提出了Covid-LSTM，一种基于长期短期内存深度学习架构的数据驱动模型，用于预测Covid-19在美国县级的发病率。我们使用每周数量的新阳性案例作为时间输入，以及来自Facebook运动和连通数据集的手工工程空间特征，以捕捉时间和空间的疾病的传播。 Covid-LSTM在我们的17周的评估期间优于Covid-19预测集线器集合模型（CovidHub-Ensemble），使其首先比一个或多个预测期更准确的模型。在4周的预测地平线上，我们的型号平均每县平均50例比CovidHub-Ensemble更准确。我们强调，在Covid-19之前，在Covid-19之前的数据驱动预测的未充分利用疾病传播的预测可能是由于以前疾病缺乏足够的数据，除了最近的时尚预测方法的机器学习方法的进步。我们讨论了更广泛的数据驱动预测的障碍，以及将来将使用更多的基于学习的模型。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

我们确定有效的随机微分方程（SDE），用于基于精细的粒子或基于试剂的模拟的粗糙观察结果；然后，这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数，可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构（在这里，欧拉 - 玛鲁山和米尔斯坦）；因此，我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型（例如平均场方程）可用时，它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程（SPDE）的现有数值集成方案也可以用于训练；我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹，可以在散落的快照数据上工作，并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。