物理受限的机器学习正在成为物理机器学习领域的重要主题。将物理限制纳入机器学习方法的最重要的优势之一是，由此产生的模型需要较少的数据训练。通过将物理规则纳入机器学习配方本身，预计预测将在物理上合理。高斯流程（GP）可能是小型数据集的机器学习中最常见的方法之一。在本文中，我们研究了在三个不同的材料数据集上限制具有单调性的GP公式的可能性，其中使用了一个实验和两个计算数据集。比较单调的GP与常规GP进行比较，该GP观察到后方差的显着降低。单调的GP在插值方面严格单调性，但是在外推方案中，随着训练数据集超越训练数据集，单调效应开始消失。与常规GP相比，GP对GP的单调性施加的精度为较小。单调的GP可能在数据稀缺和嘈杂的应用中最有用，并且由强有力的物理证据支持单调性。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

In a fissile material, the inherent multiplicity of neutrons born through induced fissions leads to correlations in their detection statistics. The correlations between neutrons can be used to trace back some characteristics of the fissile material. This technique known as neutron noise analysis has applications in nuclear safeguards or waste identification. It provides a non-destructive examination method for an unknown fissile material. This is an example of an inverse problem where the cause is inferred from observations of the consequences. However, neutron correlation measurements are often noisy because of the stochastic nature of the underlying processes. This makes the resolution of the inverse problem more complex since the measurements are strongly dependent on the material characteristics. A minor change in the material properties can lead to very different outputs. Such an inverse problem is said to be ill-posed. For an ill-posed inverse problem the inverse uncertainty quantification is crucial. Indeed, seemingly low noise in the data can lead to strong uncertainties in the estimation of the material properties. Moreover, the analytical framework commonly used to describe neutron correlations relies on strong physical assumptions and is thus inherently biased. This paper addresses dual goals. Firstly, surrogate models are used to improve neutron correlations predictions and quantify the errors on those predictions. Then, the inverse uncertainty quantification is performed to include the impact of measurement error alongside the residual model bias.

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

物理建模对于许多现代科学和工程应用至关重要。从数据科学或机器学习的角度来看，更多的域 - 不可吻合，数据驱动的模型是普遍的，物理知识 - 通常表示为微分方程 - 很有价值，因为它与数据是互补的，并且可能有可能帮助克服问题例如数据稀疏性，噪音和不准确性。在这项工作中，我们提出了一个简单但功能强大且通用的框架 - 自动构建物理学，可以将各种微分方程集成到高斯流程（GPS）中，以增强预测准确性和不确定性量化。这些方程可以是线性或非线性，空间，时间或时空，与未知的源术语完全或不完整，等等。基于内核分化，我们在示例目标函数，方程相关的衍生物和潜在源函数之前构建了GP，这些函数全部来自多元高斯分布。采样值被馈送到两个可能性：一个以适合观测值，另一个符合方程式。我们使用美白方法来逃避采样函数值和内核参数之间的强依赖性，并开发出一种随机变分学习算法。在模拟和几个现实世界应用中，即使使用粗糙的，不完整的方程式，自动元素都显示出对香草GPS的改进。

贝叶斯优化提供了一种优化昂贵黑匣子功能的有效方法。它最近已应用于流体动力学问题。本文研究并在一系列合成测试函数上从经验上比较了常见的贝叶斯优化算法。它研究了采集函数和训练样本数量的选择，采集功能的精确计算以及基于蒙特卡洛的方法以及单点和多点优化。该测试功能被认为涵盖了各种各样的挑战，因此是理想的测试床，以了解贝叶斯优化的性能，并确定贝叶斯优化表现良好和差的一般情况。这些知识可以用于应用程序中，包括流体动力学的知识，这些知识是未知的。这项调查的结果表明，要做出的选择与相对简单的功能不相关，而乐观的采集功能（例如上限限制）应首选更复杂的目标函数。此外，蒙特卡洛方法的结果与分析采集函数的结果相当。在目标函数允许并行评估的情况下，多点方法提供了更快的替代方法，但它可能需要进行更多的客观函数评估。

贝叶斯优化（BO）被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上，但许多应用程序都需要规避风险的策略，并且需要考虑分配尾巴的替代标准。在本文中，我们提出了针对贝叶斯分位数和预期回归的新变异模型，这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数（或期望）的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外，我们提出了基于最大值熵搜索和汤普森采样的两种BO策略，这些策略是针对此类型号量身定制的，可以容纳大量点。与现有的BO进行规避风险优化的方法相反，我们的策略可以直接针对分位数和预期进行优化，而无需复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法清楚地表现出异质的非高斯案例中的最新状态。

替代模型用于减轻工程任务中的计算负担，这些计算负担需要重复评估计算要求的物理系统模型，例如不确定性的有效传播。对于显示出非常非线性依赖其输入参数的模型，标准的替代技术（例如多项式混沌膨胀）不足以获得原始模型响应的准确表示。通过应用有理近似，对于通过有理函数准确描述的模型可以有效地降低近似误差。具体而言，我们的目标是近似复杂值模型。获得替代系数的一种常见方法是最小化模型和替代物之间的基于样本的误差，从最小二乘意义上讲。为了获得原始模型的准确表示并避免过度拟合，样品集的量是扩展中多项式项数的两到三倍。对于需要高多项式程度或在其输入参数方面具有高维度的模型，该数字通常超过负担得起的计算成本。为了克服这个问题，我们将稀疏的贝叶斯学习方法应用于理性近似。通过特定的先前分布结构，在替代模型的系数中诱导稀疏性。分母的多项式系数以及问题的超参数是通过类型-II-Maximim-Maximim类似方法来确定的。我们应用了准牛顿梯度散发算法，以找到最佳的分母系数，并通过应用$ \ mathbb {cr} $ -Colculus来得出所需的梯度。

This paper presents a surrogate modelling technique based on domain partitioning for Bayesian parameter inference of highly nonlinear engineering models. In order to alleviate the computational burden typically involved in Bayesian inference applications, a multielement Polynomial Chaos Expansion based Kriging metamodel is proposed. The developed surrogate model combines in a piecewise function an array of local Polynomial Chaos based Kriging metamodels constructed on a finite set of non-overlapping subdomains of the stochastic input space. Therewith, the presence of non-smoothness in the response of the forward model (e.g.~ nonlinearities and sparseness) can be reproduced by the proposed metamodel with minimum computational costs owing to its local adaptation capabilities. The model parameter inference is conducted through a Markov chain Monte Carlo approach comprising adaptive exploration and delayed rejection. The efficiency and accuracy of the proposed approach are validated through two case studies, including an analytical benchmark and a numerical case study. The latter relates the partial differential equation governing the hydrogen diffusion phenomenon of metallic materials in Thermal Desorption Spectroscopy tests.

The saddle point (SP) calculation is a grand challenge for computationally intensive energy function in computational chemistry area, where the saddle point may represent the transition state (TS). The traditional methods need to evaluate the gradients of the energy function at a very large number of locations. To reduce the number of expensive computations of the true gradients, we propose an active learning framework consisting of a statistical surrogate model, Gaussian process regression (GPR) for the energy function, and a single-walker dynamics method, gentle accent dynamics (GAD), for the saddle-type transition states. SP is detected by the GAD applied to the GPR surrogate for the gradient vector and the Hessian matrix. Our key ingredient for efficiency improvements is an active learning method which sequentially designs the most informative locations and takes evaluations of the original model at these locations to train GPR. We formulate this active learning task as the optimal experimental design problem and propose a very efficient sample-based sub-optimal criterion to construct the optimal locations. We show that the new method significantly decreases the required number of energy or force evaluations of the original model.

Partial differential equations (PDEs) are widely used for description of physical and engineering phenomena. Some key parameters involved in PDEs, which represents certain physical properties with important scientific interpretations, are difficult or even impossible to be measured directly. Estimation of these parameters from noisy and sparse experimental data of related physical quantities is an important task. Many methods for PDE parameter inference involve a large number of evaluations of numerical solution of PDE through algorithms such as finite element method, which can be time-consuming especially for nonlinear PDEs. In this paper, we propose a novel method for estimating unknown parameters in PDEs, called PDE-Informed Gaussian Process Inference (PIGPI). Through modeling the PDE solution as a Gaussian process (GP), we derive the manifold constraints induced by the (linear) PDE structure such that under the constraints, the GP satisfies the PDE. For nonlinear PDEs, we propose an augmentation method that transfers the nonlinear PDE into an equivalent PDE system linear in all derivatives that our PIGPI can handle. PIGPI can be applied to multi-dimensional PDE systems and PDE systems with unobserved components. The method completely bypasses the numerical solver for PDE, thus achieving drastic savings in computation time, especially for nonlinear PDEs. Moreover, the PIGPI method can give the uncertainty quantification for both the unknown parameters and the PDE solution. The proposed method is demonstrated by several application examples from different areas.

在这项工作中，我们提出了一个新的高斯进程回归（GPR）方法：物理信息辅助Kriging（PHIK）。在标准数据驱动的Kriging中，感兴趣的未知功能通常被视为高斯过程，其中具有假定的静止协方差，其具有从数据估计的QuandEdmente。在PHIK中，我们从可用随机模型的实现中计算平均值和协方差函数，例如，从管理随机部分微分方程解决方案的实现。这种构造的高斯过程通常是非静止的，并且不承担特定形式的协方差。我们的方法避免了数据驱动的GPR方法中的优化步骤来识别超参数。更重要的是，我们证明了确定性线性操作员形式的物理约束在得到的预测中保证。当在随机模型实现中包含错误时，我们还提供了保留物理约束时的误差估计。为了降低获取随机模型的计算成本，我们提出了一种多级蒙特卡罗估计的平均和协方差函数。此外，我们介绍了一种有源学习算法，指导选择附加观察位置。 PHIK的效率和准确性被证明重建部分已知的修饰的Branin功能，研究三维传热问题，并从稀疏浓度测量学习保守的示踪剂分布。

标准GPS为行为良好的流程提供了灵活的建模工具。然而，预计与高斯的偏差有望在现实世界数据集中出现，结构异常值和冲击通常会观察到。在这些情况下，GP可能无法充分建模不确定性，并且可能会过度推动。在这里，我们将GP框架扩展到一类新的时间变化的GP，从而可以直接建模重尾非高斯行为，同时通过非均匀GPS表示的无限混合物保留了可拖动的条件GP结构。有条件的GP结构是通过在潜在转化的输入空间上调节观测值来获得的，并使用L \'{e} Vy过程对潜在转化的随机演变进行建模，该过程允许贝叶斯在后端预测密度和潜在转化中的贝叶斯推断功能。我们为该模型提供了马尔可夫链蒙特卡洛推理程序，并证明了与标准GP相比的潜在好处。

Machine learning models can be improved by adapting them to respect existing background knowledge. In this paper we consider multitask Gaussian processes, with background knowledge in the form of constraints that require a specific sum of the outputs to be constant. This is achieved by conditioning the prior distribution on the constraint fulfillment. The approach allows for both linear and nonlinear constraints. We demonstrate that the constraints are fulfilled with high precision and that the construction can improve the overall prediction accuracy as compared to the standard Gaussian process.

高斯进程（GPS）是通过工程学的社会和自然科学的应用程序学习和统计数据的重要工具。它们构成具有良好校准的不确定性估计的强大的内核非参数方法，然而，由于其立方计算复杂度，从货架上的GP推理程序仅限于具有数千个数据点的数据集。因此，在过去几年中已经开发出许多稀疏的GPS技术。在本文中，我们专注于GP回归任务，并提出了一种基于来自几个本地和相关专家的聚合预测的新方法。因此，专家之间的相关程度可以在独立于完全相关的专家之间变化。考虑到他们的相关性导致了一致的不确定性估算，汇总了专家的个人预测。我们的方法在限制案件中恢复了专家的独立产品，稀疏GP和全GP。呈现的框架可以处理一般的内核函数和多个变量，并且具有时间和空间复杂性，在专家和数据样本的数量中是线性的，这使得我们的方法是高度可扩展的。我们展示了我们提出的方法的卓越性能，这是我们提出的综合性和几个实际数据集的最先进的GP近似方法的卓越性能，以及具有确定性和随机优化的若干现实世界数据集。

我们制定自然梯度变推理（VI），期望传播（EP），和后线性化（PL）作为牛顿法用于优化贝叶斯后验分布的参数扩展。这种观点明确地把数值优化框架下的推理算法。我们表明，通用近似牛顿法从优化文献，即高斯 - 牛顿和准牛顿方法（例如，该BFGS算法），仍然是这种“贝叶斯牛顿”框架下有效。这导致了一套这些都保证以产生半正定协方差矩阵，不像标准VI和EP新颖算法。我们统一的观点提供了新的见解各种推理方案之间的连接。所有提出的方法适用于具有高斯事先和非共轭的可能性，这是我们与（疏）高斯过程和状态空间模型展示任何模型。

我们考虑使用昂贵的功能评估（也称为实验）的黑匣子多目标优化（MOO）的问题，其中目标是通过最小化实验的总资源成本来近似真正的帕累托解决方案。例如，在硬件设计优化中，我们需要使用昂贵的计算模拟找到权衡性能，能量和面积开销的设计。关键挑战是选择使用最小资源揭示高质量解决方案的实验顺序。在本文中，我们提出了一种基于输出空间熵（OSE）搜索原理来解决MOO问题的一般框架：选择最大化每单位资源成本的信息的实验，这是真正的帕累托前线所获得的信息。我们适当地实例化了OSE搜索的原理，以导出以下四个Moo问题设置的高效算法：1）最基本的EM单一保真设置，实验昂贵且准确; 2）处理EM黑匣子约束}在不执行实验的情况下无法进行评估; 3）离散的多保真设置，实验可以在消耗的资源量和评估准确度时变化; 4）EM连续保真设置，其中连续函数近似导致巨大的实验空间。不同综合和现实世界基准测试的实验表明，基于OSE搜索的算法在既有计算效率和MOO解决方案的准确性方面改进了最先进的方法。

数字双胞胎是代表个人的计算机模型，例如组件，患者或过程。在许多情况下，我们希望从其数据中获取有关个人的知识，同时纳入不完美的物理知识，并从其他人那里学习。在本文中，我们介绍并演示了一种完全贝叶斯的方法，用于在每个人的物理参数中吸引人的物理参数的环境中学习数字双胞胎。对于每个人，该方法基于模型差异的贝叶斯校准。通过以高斯过程为模型的差异，不完美的低预后物理模型被解释了。利用贝叶斯分层模型的想法，通过在层次结构中的新级别连接数字双胞胎的联合概率模型。对于物理参数，可以将方法视为使用单个模型中的先验分布，该分布是关节模型中相应超参数的后部。为了学习个人之间的不完善物理，引入了两种方法，一种假设所有个人都具有相同的差异，并且可以看作是使用所有个人从所有个人那里学到的先前对代表差异的高斯过程参数的知识。基于与物理知识的先验，汉密尔顿蒙特卡洛方法相关的最新进展，并将其用于反问题，我们设置了一种推理方法，该方法允许我们的方法适用于基于部分微分方程和不在的单个数据的物理模型的计算可行性对齐。该方法在两个合成案例研究中得到了证明，这是文献中以前使用的玩具示例，该示例扩展到更多个体，并基于与高血压治疗相关的心血管微分方程模型。

我们引入了一个计算有效的数据驱动框架，适合量化物理参数中的不确定性和计算机模型的模型公式，以微分方程为代表。我们构建了物理知识的先验，它们是多输出的GP先验，它们在协方差函数中编码模型的结构。我们将其扩展到一个完全贝叶斯的框架中，该框架量化了物理参数和模型预测的不确定性。由于物理模型通常是对实际过程的不完美描述，因此我们允许该模型通过考虑差异函数来偏离观察到的数据。为了获得后验分布，我们使用汉密尔顿蒙特卡洛采样。我们在使用血液动力学模型的仿真研究中证明了我们的方法，这些模型是时间依赖的微分方程。与我们的建模选择更复杂的模型模拟数据，目的是根据已知的数学连接学习物理参数。为了证明我们的方法的灵活性（使用热方程式的示例），还包括一个时空依赖的微分方程，其中还包括我们考虑偏见的数据收购过程的情况。最后，我们使用医学试验中获得的实际数据符合血液动力学模型。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。