现代时间域的光度测验收集了许多天文学对象的观察结果，大规模调查的即将到来的时代将提供更多信息。大多数对象从未接受过光谱随访，这对于瞬态尤其至关重要。超新星。在这种情况下，观察到的光曲线可以提供负担得起的替代方案。时间序列被积极用于光度分类和表征，例如峰值和光度下降估计。但是，收集的时间序列是多维的，不规则地采样，包含异常值，并且没有明确定义的系统不确定性。机器学习方法有助于以最有效的方式从可用数据中提取有用的信息。我们考虑了基于神经网络的几种光曲线近似方法：多层感知，贝叶斯神经网络以及使流量正常化，以近似单光曲线观察。使用模拟的Parperc和Real Zwicky瞬态设施数据样本的测试表明，即使很少有观察值足以拟合网络并获得比其他最新方法更好的近似质量。我们表明，这项工作中描述的方法具有比高斯流程更快的计算复杂性和更快的工作速度。我们分析了旨在填补光曲线观察中空白的近似技术的性能，并表明使用适当的技术会提高峰值发现和超新星分类的准确性。此外，研究结果是在GitHub上可用的Fulu Python库中组织的，该库可以很容易地由社区使用。

由于天文学中的大数据实时处理，超新星的光度数据驱动分类成为挑战。最近的研究表明，基于各种机器学习模型的解决方案质量卓越。这些模型学会使用其光曲线作为输入来对超新星类型进行分类。预处理这些曲线是一个关键的步骤，严重影响最终质量。在本次演讲中，我们研究了多层感知器（MLP），贝叶斯神经网络（BNN）的应用，并将流动（NF）归一化为单个光曲线的观测值。我们将这些近似值用作超新星分类模型的输入，并证明所提出的方法的表现优于基于适用于ZWICKY瞬态设施的亮点的高斯工艺的最新方法。 MLP表现出与高斯工艺相似的质量和速度增加。就近似质量而言，标准化流量也超过了高斯过程。

明显大小的时间变化（称为光曲线）是望远镜在长时间内捕获的感兴趣的观察统计。光曲线提供了空间域意识（SDA）目标（例如对象识别或姿势估计）作为潜在变量推理问题等目标的探索。与较高的精确仪器相比，来自货架上商业架子（COTS）摄像机的地面观测仍然很便宜，但是，有限的传感器可用性与嘈杂的观察结果相结合，可能会产生可能难以建模的gappy时间序列数据。这些外部因素混淆了对光曲线的自动开发，这使光曲线预测和外推成为应用的关键问题。传统上，使用基于扩散或基于示例的方法解决了图像或时间序列的完成问题。最近，由于学习复杂的非线性嵌入方面的经验成功，深度神经网络（DNNS）已成为首选工具。但是，DNN通常需要大量的培训数据，而这些数据不一定在查看单个卫星的光曲线的独特功能时可用。在本文中，我们提出了一种新的方法，可以使用高斯工艺（GPS）预测光曲线的缺失和未来数据点。 GPS是非线性概率模型，可推断后验分布在功能上并自然量化不确定性。但是，GP推理和培训的立方缩放是其在应用中采用的主要障碍。特别是，单个光曲线可以具有数十万个观测值，这远远超出了单个机器上常规GP的实际实现极限。因此，我们采用MUYGP，这是一种可扩展的框架，用于使用最近的邻居稀疏和局部交叉验证的GP模型的超参数估计。 muygps ...

我们从一组稀疏的光谱时间序列中构建了一个物理参数化的概率自动编码器（PAE），以学习IA型超新星（SNE IA）的内在多样性。 PAE是一个两阶段的生成模型，由自动编码器（AE）组成，该模型在使用归一化流（NF）训练后概率地解释。我们证明，PAE学习了一个低维的潜在空间，该空间可捕获人口内存在的非线性特征范围，并且可以直接从数据直接从数据中准确地对整个波长和观察时间进行精确模拟SNE IA的光谱演化。通过引入相关性惩罚项和多阶段训练设置以及我们的物理参数化网络，我们表明可以在训练期间分离内在和外在的可变性模式，从而消除了需要进行额外标准化的其他模型。然后，我们在SNE IA的许多下游任务中使用PAE进行越来越精确的宇宙学分析，包括自动检测SN Outliers，与数据分布一致的样本的产生以及在存在噪音和不完整数据的情况下解决逆问题限制宇宙距离测量。我们发现，与以前的研究相一致的最佳固有模型参数数量似乎是三个，并表明我们可以用$ 0.091 \ pm 0.010 $ mag标准化SNE IA的测试样本，该样本对应于$ 0.074 \ pm。 0.010 $ mag如果删除了特殊的速度贡献。训练有素的模型和代码在\ href {https://github.com/georgestein/supaernova} {github.com/georgestein/supaernova}上发布

以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据，但将其扩展到整个国家，以外的高度分辨率几乎不可能。在这项工作中，我们提出了一种贝叶斯深度学习方法，以10米的分辨率为全国范围的森林结构变量，使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图：95th高度百分位，平均高度，密度，基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型，并证明它能够概括取消测试区域，从而达到11％和15％之间的归一化平均值误差，具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作，以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务，例如知情决策。我们提出了一组广泛的实验，以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性，我们为五个森林结构变量提供挪威地图。

我们描述了作为黑暗机器倡议和LES Houches 2019年物理学研讨会进行的数据挑战的结果。挑战的目标是使用无监督机器学习算法检测LHC新物理学的信号。首先，我们提出了如何实现异常分数以在LHC搜索中定义独立于模型的信号区域。我们定义并描述了一个大型基准数据集，由> 10亿美元的Muton-Proton碰撞，其中包含> 10亿美元的模拟LHC事件组成。然后，我们在数据挑战的背景下审查了各种异常检测和密度估计算法，我们在一组现实分析环境中测量了它们的性能。我们绘制了一些有用的结论，可以帮助开发无监督的新物理搜索在LHC的第三次运行期间，并为我们的基准数据集提供用于HTTPS://www.phenomldata.org的未来研究。重现分析的代码在https://github.com/bostdiek/darkmachines-unsupervisedChallenge提供。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

密度估计是统计和机器学习应用中的基本任务。内核密度估计是低维度非参数密度估计的强大工具；但是，其性能在更高的维度上很差。此外，其预测复杂性量表与更多的培训数据点线性线性。本文提出了一种神经密度估计的方法，可以看作是一种核密度估计的一种，但没有高预测计算复杂性。该方法基于密度矩阵，一种用于量子力学的形式主义和自适应傅立叶特征。可以在没有优化的情况下对该方法进行培训，但也可以与深度学习体系结构集成并使用梯度下降进行训练。因此，它可以看作是神经密度估计方法的一种形式。该方法在不同的合成和实际数据集中进行了评估，其性能与最新的神经密度估计方法进行了比较，从而获得了竞争结果。

密度矩阵描述了量子系统的统计状态。它是一种强大的形式主义，代表量子系统的量子和经典不确定性，并表达不同的统计操作，例如测量，系统组合和期望作为线性代数操作。本文探讨了密度矩阵如何用作构建块，以构建机器学习模型，利用它们直接组合线性代数和概率的能力。本文的主要结果之一是表示与随机傅里叶功能耦合的密度矩阵可以近似任意概率分布超过$ \ mathbb {r} ^ n $。基于此发现，该纸张为密度估计，分类和回归构建了不同的模型。这些模型是可疑的，因此可以将它们与其他可分辨率的组件（例如深度学习架构）集成，并使用基于梯度的优化来学习其参数。此外，本文提出了基于估计和模型平均的优化培训策略。该模型在基准任务中进行评估，并报告并讨论结果。

风电场设计主要取决于风力涡轮机唤醒流向大气风条件的可变性，以及唤醒之间的相互作用。使用高保真度捕获唤醒流场的物理学模型是计算风电场的布局优化的计算非常昂贵，因此数据驱动的减少的订单模型可以代表模拟风电场的有效替代方案。在这项工作中，我们使用现实世界的光检测和测量（LIDAR）测量的风力涡轮机唤醒，用机器学习构建预测代理模型。具体而言，我们首先展示使用深度自动控制器来找到低维\ emph {潜在}空间，其给出了唤醒激光雷达测量的计算易逼近的近似。然后，我们学习使用深神经网络的参数空间和（潜在空间）唤醒流场之间的映射。此外，我们还展示了使用概率机器学习技术，即高斯过程建模，除了数据中的认知和炼拉内不确定性之外，学习参数空间潜空间映射。最后，为了应对培训大型数据集，我们展示了使用变分高斯过程模型，为大型数据集提供了传统的高斯工艺模型的传统高斯工艺模型。此外，我们介绍了主动学习以自适应地构建和改进传统的高斯过程模型预测能力。总的来说，我们发现我们的方法提供了风力涡轮机唤醒流场的准确近似，其可以以比具有基于高保真物理的模拟产生的级别更便宜的成本来查询。

我们研究了回归中神经网络（NNS）的模型不确定性的方法。为了隔离模型不确定性的效果，我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是，我们发现，建立的基准通常无法可靠地捕获其中一些逃避者，即使是贝叶斯理论要求的基准。为了解决这个问题，我们介绍了一种新方法来捕获NNS的模型不确定性，我们称之为基于神经优化的模型不确定性（NOMU）。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构，一个用于模型预测，一个用于模型不确定性，并使用精心设计的损耗函数进行训练。重要的是，我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构，NOMU可以为任何给定（先前训练）NN提供模型不确定性，如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化（BO）中评估NOMU，并具有昂贵的评估。在回归中，NOMU至少和最先进的方法。在BO中，Nomu甚至胜过所有考虑的基准。

系外行星的检测为发现新的可居住世界的发现打开了大门，并帮助我们了解行星的形成方式。 NASA的目的是寻找类似地球的宜居行星，推出了开普勒太空望远镜及其后续任务K2。观察能力的进步增加了可用于研究的新鲜数据的范围，并且手动处理它们既耗时又困难。机器学习和深度学习技术可以极大地帮助降低人类以经济和公正的方式处理这些系外行星计划的现代工具所产生的大量数据的努力。但是，应注意精确地检测所有系外行星，同时最大程度地减少对非外界星星的错误分类。在本文中，我们利用了两种生成对抗网络的变体，即半监督的生成对抗网络和辅助分类器生成对抗网络，在K2数据中检测传播系外行星。我们发现，这些模型的用法可能有助于用系外行星的恒星分类。我们的两种技术都能够在测试数据上以召回和精度为1.00的光曲线分类。我们的半监督技术有益于解决创建标签数据集的繁琐任务。

在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。

随着天文学中检测到的瞬变数量的迅速增加，基于机器学习的分类方法正在越来越多地使用。他们的目标通常是要获得瞬态的确定分类，并且出于良好的性能，他们通常需要存在大量观察。但是，精心设计，有针对性的模型可以通过更少的计算资源来达到其分类目标。本文介绍了Snguess，该模型旨在找到高纯度附近的年轻外乳旋转瞬变。 Snguess可以使用一组功能，这些功能可以从天文警报数据中有效计算。其中一些功能是静态的，并且与警报元数据相关联，而其他功能必须根据警报中包含的光度观测值计算。大多数功能都足够简单，可以在其检测后的瞬态生命周期的早期阶段获得或计算。我们为从Zwicky Transient设施（ZTF）的一组标记的公共警报数据计算了这些功能。 Snguess的核心模型由一组决策树组成，这些集合是通过梯度提升训练的。 SNGUESS建议的候选人中约有88％的ZTF从2020年4月至2021年8月的一组警报中被发现是真正的相关超新星（SNE）。对于具有明亮检测的警报，此数字在92％至98％之间。自2020年4月以来，Snguess确定为ZTF Alert流中潜在SNE的瞬变已发布到AMPEL_ZTF_NEW组标识符下的瞬态名称服务器（TNS）。可以通过Web服务访问ZTF观察到的任何暂时性的SNGUESS分数。 Snguess的源代码可公开使用。

目前，难以获得贝叶斯方法深入学习的好处，这允许明确的知识规范，准确地捕获模型不确定性。我们呈现先前数据拟合网络（PFN）。 PFN利用大规模机器学习技术来近似一组一组后索。 PFN唯一要求工作的要求是能够从先前分配通过监督的学习任务（或函数）来采样。我们的方法将后近似的目标重新定为具有带有值的输入的监督分类问题：它反复从先前绘制任务（或功能），从中绘制一组数据点及其标签，掩盖其中一个标签并学习基于其余数据点的设定值输入对其进行概率预测。呈现来自新的监督学习任务的一组样本作为输入，PFNS在单个前向传播中对任意其他数据点进行概率预测，从而学习到近似贝叶斯推断。我们展示了PFN可以接近完全模仿高斯过程，并且还可以实现高效的贝叶斯推理对难以处理的问题，与当前方法相比，多个设置中有超过200倍的加速。我们在非常多样化的地区获得强烈的结果，如高斯过程回归，贝叶斯神经网络，小型表格数据集的分类，以及少量图像分类，展示了PFN的一般性。代码和培训的PFN在https://github.com/automl/transformerscandobayesianinference发布。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

In this work, we propose a novel generative model for mapping inputs to structured, high-dimensional outputs using structured conditional normalizing flows and Gaussian process regression. The model is motivated by the need to characterize uncertainty in the input/output relationship when making inferences on new data. In particular, in the physical sciences, limited training data may not adequately characterize future observed data; it is critical that models adequately indicate uncertainty, particularly when they may be asked to extrapolate. In our proposed model, structured conditional normalizing flows provide parsimonious latent representations that relate to the inputs through a Gaussian process, providing exact likelihood calculations and uncertainty that naturally increases away from the training data inputs. We demonstrate the methodology on laser-induced breakdown spectroscopy data from the ChemCam instrument onboard the Mars rover Curiosity. ChemCam was designed to recover the chemical composition of rock and soil samples by measuring the spectral properties of plasma atomic emissions induced by a laser pulse. We show that our model can generate realistic spectra conditional on a given chemical composition and that we can use the model to perform uncertainty quantification of chemical compositions for new observed spectra. Based on our results, we anticipate that our proposed modeling approach may be useful in other scientific domains with high-dimensional, complex structure where it is important to quantify predictive uncertainty.

生产精确的天气预报和不确定的不确定性的可靠量化是一个开放的科学挑战。到目前为止，集团预测是最成功的方法，以产生相关预测的方法以及估计其不确定性。集合预测的主要局限性是高计算成本，难以捕获和量化不同的不确定性来源，特别是与模型误差相关的源。在这项工作中，进行概念证据模型实验，以检查培训的ANN的性能，以预测系统的校正状态和使用单个确定性预测作为输入的状态不确定性。我们比较不同的培训策略：一个基于使用集合预测的平均值和传播作为目标的直接培训，另一个依赖于使用确定性预测作为目标的决定性预测，其中来自数据隐含地学习不确定性。对于最后一种方法，提出和评估了两个替代损失函数，基于数据观察似然和基于误差的本地估计来评估另一个丢失功能。在不同的交货时间和方案中检查网络的性能，在没有模型错误的情况下。使用Lorenz'96模型的实验表明，ANNS能够模拟集合预测的一些属性，如最不可预测模式的过滤和预测不确定性的状态相关量化。此外，ANNS提供了在模型误差存在下的预测不确定性的可靠估计。

有效的决策需要了解预测中固有的不确定性。在回归中，这种不确定性可以通过各种方法估算;然而，许多这些方法对调谐进行费力，产生过度自确性的不确定性间隔，或缺乏敏锐度（给予不精确的间隔）。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地，一个网络近似于累积分布函数，第二网络近似于其逆。我们将此方法称为合作网络（CN）。理论分析表明，优化的固定点处于理想化的解决方案，并且该方法是渐近的与地面真理分布一致。凭经验，学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法，包括预测来自电子健康记录的糖尿病患者的A1C值，其中不确定是至关重要的。在合成数据中，所提出的方法与基本上匹配地面真理。在真实世界数据集中，CN提高了许多性能度量的结果，包括对数似然估计，平均误差，覆盖估计和预测间隔宽度。