为了了解材料特性的起源，三轴光谱仪（TAS）处的中子散射实验通过测量其动量（Q）和能量（E）空间中的强度分布来研究样品中的磁和晶格激发。但是，TAS实验的高需求和有限的光束时间可用性提出了自然的问题，即我们是否可以提高其效率或更好地利用实验者的时间。实际上，使用TAS，有许多科学问题需要在Q-E空间的特定区域中搜索感兴趣的信号，但是当手动完成时，这是耗时且效率低下的，因为测量点可能会放置在此类的无信息区域中作为背景。主动学习是一种有前途的通用机器学习方法，可以迭代地检测自主信号的信息区域，即不受人类干扰，从而避免了不必要的测量并加快实验。此外，自主模式允许实验者在此期间专注于其他相关任务。我们在本文中描述的方法利用了对数高斯过程，由于对数转换，该过程在信号区域中具有最大的近似不确定性。因此，将不确定性最大化为采集功能，因此直接产生了信息测量的位置。我们证明了我们方法对在Themal Tas Eiger（PSI）进行真实中子实验的结果的好处，以及在合成环境中基准的结果，包括许多不同的激发。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

$ \ Texit {Fermi} $数据中的银河系中多余（GCE）的两个领先假设是一个未解决的微弱毫秒脉冲条件（MSP）和暗物质（DM）湮灭。这些解释之间的二分法通常通过将它们建模为两个单独的发射组分来反映。然而，诸如MSP的点源（PSS）在超微弱的极限中具有统计变质的泊松发射（正式的位置，预期每个来源平均贡献远低于一个光子），导致可能提出问题的歧义如排放是否是PS样或性质中的泊松人。我们提出了一种概念上的新方法，以统一的方式描述PS和泊松发射，并且刚刚从此获得的结果中获得了对泊松组件的约束。为了实现这种方法，我们利用深度学习技术，围绕基于神经网络的方法，用于直方图回归，其表达量数量的不确定性。我们证明我们的方法对许多困扰先前接近的系统，特别是DM / PS误操作来稳健。在$ \ texit {fermi} $数据中，我们发现由$ \ sim4 \ times 10 ^ {-11} \ \ text {counts} \ {counts} \ text {counts} \ text {counts} \ \ text {cm} ^ { - 2} \ \ text {s} ^ { - 1} $（对应于$ \ sim3 - 4 $每pL期望计数），这需要$ n \ sim \ mathcal {o}（ 10 ^ 4）$源来解释整个过剩（中位数价值$ n = \文本{29,300} $横跨天空）。虽然微弱，但这种SCD允许我们获得95％信心的Poissonian比赛的约束$ \ eta_p \ leq 66 \％$。这表明大量的GCE通量是由于PSS 。

机器学习方法的最新进展以及扫描探针显微镜（SPMS）的可编程接口的新兴可用性使自动化和自动显微镜在科学界的关注方面推向了最前沿。但是，启用自动显微镜需要开发特定于任务的机器学习方法，了解物理发现与机器学习之间的相互作用以及完全定义的发现工作流程。反过来，这需要平衡领域科学家的身体直觉和先验知识与定义实验目标和机器学习算法的奖励，这些算法可以将它们转化为特定的实验协议。在这里，我们讨论了贝叶斯活跃学习的基本原理，并说明了其对SPM的应用。我们从高斯过程作为一种简单的数据驱动方法和对物理模型的贝叶斯推断作为基于物理功能的扩展的贝叶斯推断，再到更复杂的深内核学习方法，结构化的高斯过程和假设学习。这些框架允许使用先验数据，在光谱数据中编码的特定功能以及在实验过程中表现出的物理定律的探索。讨论的框架可以普遍应用于结合成像和光谱，SPM方法，纳米识别，电子显微镜和光谱法以及化学成像方法的所有技术，并且对破坏性或不可逆测量的影响特别影响。

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

人工智能（AI）启用的自主实验为加速科学发现提供了新的范式。非平衡材料合成是复杂，资源密集型实验的象征性，其加速将是物料发现和发展的流域。最近通过高吞吐量实验加速了非平衡合成相图的映射，但仍然限制了材料研究，因为参数空间太大而无法彻底探索。我们通过科学自主推理代理（SARA）管辖的分层自主实验，证明了加速的合成和促进亚稳材料。 SARA将机器人材料合成和表征与AI方法的层次集成，有效地揭示了处理相图的结构。 SARA设计横向梯度激光尖峰退火（LG-LSA）实验，用于平行材料合成，采用光学光谱速度迅速识别相转变。利用嵌套的主动学习（AL）周期实现了多维参数空间的高效探索，该嵌套主动学习模型包括实验的底层物理以及端到端的不确定性量化。有了这个，萨拉在多种尺度处的协调体现了复杂的科学任务的AI利用。我们通过自主映射综合映射_3 $ System的综合相位边界来展示其性能，导致幅度加速度，即建立一个合成相图，其中包括动力学稳定$ \ delta $ -bi $的条件_2 $ o $ _3 $在室温下，用于氧化固体氧化物燃料电池等电化学技术的关键开发。

封闭曲线的建模和不确定性量化是形状分析领域的重要问题，并且可以对随后的统计任务产生重大影响。这些任务中的许多涉及封闭曲线的集合，这些曲线通常在多个层面上表现出结构相似性。以有效融合这种曲线间依赖性的方式对多个封闭曲线进行建模仍然是一个具有挑战性的问题。在这项工作中，我们提出并研究了一个多数输出（又称多输出），多维高斯流程建模框架。我们说明了提出的方法学进步，并在几个曲线和形状相关的任务上证明了有意义的不确定性量化的实用性。这种基于模型的方法不仅解决了用内核构造对封闭曲线（及其形状）的推断问题，而且还为通常对功能对象的多层依赖性的非参数建模打开了门。

许多昂贵的黑匣子优化问题对其输入敏感。在这些问题中，定位一个良好的设计区域更有意义，而不是一个可能的脆弱的最佳设计。昂贵的黑盒功能可以有效地优化贝叶斯优化，在那里高斯过程是在昂贵的功能之前的流行选择。我们提出了一种利用贝叶斯优化的强大优化方法，找到一种设计空间区域，其中昂贵的功能的性能对输入相对不敏感，同时保持质量好。这是通过从正在建模昂贵的功能的高斯进程的实现来实现这一点，并评估每个实现的改进。这些改进的期望可以用进化算法廉价地优化，以确定评估昂贵功能的下一个位置。我们描述了一个有效的过程来定位最佳预期改进。我们凭经验展示了评估候选不确定区域的昂贵功能的昂贵功能，该模型最不确定，或随机地产生最佳收敛与利用方案相比。我们在两个，五个和十个维度中说明了我们的六个测试功能的方法，并证明它能够优于来自文献的两种最先进的方法。我们还展示了我们的方法在4和8维中展示了两个真实问题，这涉及训练机器人臂，将物体推到目标上。

跨学科的一个重要问题是发现产生预期结果的干预措施。当可能的干预空间很大时，需要进行详尽的搜索，需要实验设计策略。在这种情况下，编码变量之间的因果关系以及因此对系统的影响，对于有效地确定理想的干预措施至关重要。我们开发了一种迭代因果方法来识别最佳干预措施，这是通过分布后平均值和所需目标平均值之间的差异来衡量的。我们制定了一种主动学习策略，该策略使用从不同干预措施中获得的样本来更新有关基本因果模型的信念，并确定对最佳干预措施最有用的样本，因此应在下一批中获得。该方法采用了因果模型的贝叶斯更新，并使用精心设计的，有因果关系的收购功能优先考虑干预措施。此采集函数以封闭形式进行评估，从而有效优化。理论上以信息理论界限和可证明的一致性结果在理论上基于理论上的算法。我们说明了综合数据和现实世界生物学数据的方法，即来自worturb-cite-seq实验的基因表达数据，以识别诱导特定细胞态过渡的最佳扰动；与几个基线相比，观察到所提出的因果方法可实现更好的样品效率。在这两种情况下，我们都认为因果知情的采集函数尤其优于现有标准，从而允许使用实验明显更少的最佳干预设计。

映射近场污染物的浓度对于跟踪城市地区意外有毒羽状分散体至关重要。通过求解大部分湍流谱，大型模拟（LES）具有准确表示污染物浓度空间变异性的潜力。找到一种合成大量信息的方法，以提高低保真操作模型的准确性（例如，提供更好的湍流封闭条款）特别有吸引力。这是一个挑战，在多质量环境中，LES的部署成本高昂，以了解羽流和示踪剂分散如何随着各种大气和源参数的变化。为了克服这个问题，我们提出了一个合并正交分解（POD）和高斯过程回归（GPR）的非侵入性降低阶模型，以预测与示踪剂浓度相关的LES现场统计。通过最大的后验（MAP）过程，GPR HyperParameter是通过POD告知的最大后验（MAP）过程来优化组件的。我们在二维案例研究上提供了详细的分析，该案例研究对应于表面安装的障碍物上的湍流大气边界层流。我们表明，障碍物上游的近源浓度异质性需要大量的POD模式才能得到充分捕获。我们还表明，逐组分的优化允许捕获POD模式中的空间尺度范围，尤其是高阶模式中较短的浓度模式。如果学习数据库由至少五十至100个LES快照制成，则可以首先估算所需的预算，以朝着更逼真的大气分散应用程序迈进，因此减少订单模型的预测仍然可以接受。

本文为工程产品的计算模型或仅返回分类信息的过程提供了一种新的高效和健壮方法，用于罕见事件概率估计，例如成功或失败。对于此类模型，大多数用于估计故障概率的方法，这些方法使用结果的数值来计算梯度或估计与故障表面的接近度。即使性能函数不仅提供了二进制输出，系统的状态也可能是连续输入变量域中定义的不平滑函数，甚至是不连续的函数。在这些情况下，基于经典的梯度方法通常会失败。我们提出了一种简单而有效的算法，该算法可以从随机变量的输入域进行顺序自适应选择点，以扩展和完善简单的基于距离的替代模型。可以在连续采样的任何阶段完成两个不同的任务：（i）估计失败概率，以及（ii）如果需要进一步改进，则选择最佳的候选者进行后续模型评估。选择用于模型评估的下一个点的建议标准最大化了使用候选者分类的预期概率。因此，全球探索与本地剥削之间的完美平衡是自动维持的。该方法可以估计多种故障类型的概率。此外，当可以使用模型评估的数值来构建平滑的替代物时，该算法可以容纳此信息以提高估计概率的准确性。最后，我们定义了一种新的简单但一般的几何测量，这些测量是对稀有事实概率对单个变量的全局敏感性的定义，该度量是作为所提出算法的副产品获得的。

贝叶斯优化提供了一种优化昂贵黑匣子功能的有效方法。它最近已应用于流体动力学问题。本文研究并在一系列合成测试函数上从经验上比较了常见的贝叶斯优化算法。它研究了采集函数和训练样本数量的选择，采集功能的精确计算以及基于蒙特卡洛的方法以及单点和多点优化。该测试功能被认为涵盖了各种各样的挑战，因此是理想的测试床，以了解贝叶斯优化的性能，并确定贝叶斯优化表现良好和差的一般情况。这些知识可以用于应用程序中，包括流体动力学的知识，这些知识是未知的。这项调查的结果表明，要做出的选择与相对简单的功能不相关，而乐观的采集功能（例如上限限制）应首选更复杂的目标函数。此外，蒙特卡洛方法的结果与分析采集函数的结果相当。在目标函数允许并行评估的情况下，多点方法提供了更快的替代方法，但它可能需要进行更多的客观函数评估。

我们开发了一个计算程序，以估计具有附加噪声的半摩托车高斯过程回归模型的协方差超参数。也就是说，提出的方法可用于有效估计相关误差的方差，以及基于最大化边际似然函数的噪声方差。我们的方法涉及适当地降低超参数空间的维度，以简化单变量的根发现问题的估计过程。此外，我们得出了边际似然函数及其衍生物的边界和渐近线，这对于缩小高参数搜索的初始范围很有用。使用数值示例，我们证明了与传统参数优化相比，提出方法的计算优势和鲁棒性。

受限的玻尔兹曼机器（RBMS）提供了一种用于无监督的机器学习的多功能体系结构，原则上可以以任意准确性近似任何目标概率分布。但是，RBM模型通常由于其计算复杂性而无法直接访问，并调用了Markov-Chain采样以分析学习概率分布。因此，对于培训和最终应用，希望拥有既准确又有效的采样器。我们强调，这两个目标通常相互竞争，无法同时实现。更具体地说，我们确定并定量地表征了RBM学习的三个制度：独立学习，精度提高而不会失去效率；相关学习，较高的精度需要较低的效率；和退化，精度和效率都不再改善甚至恶化。这些发现基于数值实验和启发式论点。

神经网络最近显示出对无似然推理的希望，从而为经典方法提供了魔力的速度。但是，当从独立重复估计参数时，当前的实现是次优的。在本文中，我们使用决策理论框架来争辩说，如果这些模型的模拟很简单，则理想地放置了置换不变的神经网络，可用于为任意模型构造贝叶斯估计器。我们说明了这些估计量在传统空间模型以及高度参数化的空间发射模型上的潜力，并表明它们在其网络设计中不适当地说明复制的神经估计量相当大。同时，它们比基于传统可能性的估计量具有很高的竞争力和更快的速度。我们将估计量应用于红海中海面温度的空间分析，在训练之后，我们获得参数估计值，并通过引导采样对估计值进行不确定性定量，从一秒钟的数百个空间场中获取。

学习涉及时变和不断发展的系统动态的控制政策通常对主流强化学习算法构成了巨大的挑战。在大多数标准方法中，通常认为动作是一组刚性的，固定的选择，这些选择以预定义的方式顺序应用于状态空间。因此，在不诉诸于重大学习过程的情况下，学识渊博的政策缺乏适应动作集和动作的“行为”结果的能力。此外，标准行动表示和动作引起的状态过渡机制固有地限制了如何将强化学习应用于复杂的现实世界应用中，这主要是由于所得大的状态空间的棘手性以及缺乏概括的学术知识对国家空间未知部分的政策。本文提出了一个贝叶斯味的广义增强学习框架，首先建立参数动作模型的概念，以更好地应对不确定性和流体动作行为，然后将增强领域的概念作为物理启发的结构引入通过“极化体验颗粒颗粒建立） “维持在学习代理的工作记忆中。这些粒子有效地编码了以自组织方式随时间演变的动态学习体验。在强化领域之上，我们将进一步概括策略学习过程，以通过将过去的记忆视为具有隐式图结构来结合高级决策概念，在该结构中，过去的内存实例（或粒子）与决策之间的相似性相互联系。定义，因此，可以应用“关联记忆”原则来增强学习代理的世界模型。

Network-based analyses of dynamical systems have become increasingly popular in climate science. Here we address network construction from a statistical perspective and highlight the often ignored fact that the calculated correlation values are only empirical estimates. To measure spurious behaviour as deviation from a ground truth network, we simulate time-dependent isotropic random fields on the sphere and apply common network construction techniques. We find several ways in which the uncertainty stemming from the estimation procedure has major impact on network characteristics. When the data has locally coherent correlation structure, spurious link bundle teleconnections and spurious high-degree clusters have to be expected. Anisotropic estimation variance can also induce severe biases into empirical networks. We validate our findings with ERA5 reanalysis data. Moreover we explain why commonly applied resampling procedures are inappropriate for significance evaluation and propose a statistically more meaningful ensemble construction framework. By communicating which difficulties arise in estimation from scarce data and by presenting which design decisions increase robustness, we hope to contribute to more reliable climate network construction in the future.

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。