Methods for reasoning under uncertainty are a key building block of accurate and reliable machine learning systems. Bayesian methods provide a general framework to quantify uncertainty. However, because of model misspecification and the use of approximate inference, Bayesian uncertainty estimates are often inaccurate -for example, a 90% credible interval may not contain the true outcome 90% of the time. Here, we propose a simple procedure for calibrating any regression algorithm; when applied to Bayesian and probabilistic models, it is guaranteed to produce calibrated uncertainty estimates given enough data. Our procedure is inspired by Platt scaling and extends previous work on classification. We evaluate this approach on Bayesian linear regression, feedforward, and recurrent neural networks, and find that it consistently outputs well-calibrated credible intervals while improving performance on time series forecasting and model-based reinforcement learning tasks.
translated by 谷歌翻译
可预测的不确定性可以通过两个性能 - 校准和清晰度来表征。本文争辩说明这些属性的不确定性，并提出了在深度学习中强制执行它们的简单算法。我们的方法专注于校准 - 分布校准的最强概念 - 并通过用神经估计器拟合低维密度或定量函数来实施它。由此产生的方法比以前的分类和回归方式更简单，更广泛适用。凭经验，我们发现我们的方法改善了几个任务的预测性不确定性，具有最小的计算和实现开销。我们的见解表明，培训深度学习模式的简单和改进方式，导致应准确的不确定性，应利用，以改善下游应用程序的性能。
translated by 谷歌翻译
本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。
translated by 谷歌翻译
贝叶斯优化是一种过程，允许获得黑盒功能的全局最佳功能，并且在超参数优化等应用中有用。在目标函数的形状上估计的不确定性估计是引导优化过程的工具。但是，如果客观函数违反基础模型（例如，高斯）的假设，这些估计可能是不准确的。我们提出了一种简单的算法，可以通过目标函数校准后部分布的不确定性作为贝叶斯型优化过程的一部分。我们表明，通过提高校准后分布的不确定性估计，贝叶斯优化使得更好的决策并以较少的步骤到达全球最佳。我们表明，该技术提高了贝叶斯优化对标准基准函数和超参数优化任务的性能。
translated by 谷歌翻译
Accurate uncertainty measurement is a key step to building robust and reliable machine learning systems. Conformal prediction is a distribution-free uncertainty quantification algorithm popular for its ease of implementation, statistical coverage guarantees, and versatility for underlying forecasters. However, existing conformal prediction algorithms for time series are limited to single-step prediction without considering the temporal dependency. In this paper we propose a Copula Conformal Prediction algorithm for multivariate, multi-step Time Series forecasting, CopulaCPTS. On several synthetic and real-world multivariate time series datasets, we show that CopulaCPTS produces more calibrated and sharp confidence intervals for multi-step prediction tasks than existing techniques.
translated by 谷歌翻译
机器学习的许多应用涉及预测模型输出的灵活概率分布。我们提出了自动评级分位式流动，这是一种灵活的概率模型，高维变量，可用于准确地捕获预测的炼膜不确定性。这些模型是根据适当评分规则使用新颖目标培训的自回归流动的情况，这简化了培训期间雅各比亚的计算昂贵的决定因素，并支持新型的神经结构。我们证明这些模型可用于参数化预测条件分布，提高时间序列预测和对象检测的概率预测质量。
translated by 谷歌翻译
机器学习方法越来越广泛地用于医疗保健，运输和金融等高危环境中。在这些环境中，重要的是，模型要产生校准的不确定性以反映其自信并避免失败。在本文中，我们调查了有关深度学习的不确定性定量（UQ）的最新著作，特别是针对其数学属性和广泛适用性的无分配保形方法。我们将涵盖共形方法的理论保证，引入在时空数据的背景下提高UQ的校准和效率的技术，并讨论UQ在安全决策中的作用。
translated by 谷歌翻译
在回归设置中量化不确定性的许多方法中，指定完整量子函数具有吸引力，随着量级可用于解释和评估。预测每个输入的真实条件定量的模型，在所有量化水平上都具有潜在的不确定性的正确和有效的表示。为实现这一目标，许多基于当前的分位式的方法侧重于优化所谓的弹球损失。然而，这种损失限制了适用的回归模型的范围，限制了靶向许多所需特性的能力（例如校准，清晰度，中心间隔），并且可能产生差的条件量数。在这项工作中，我们开发了满足这些缺点的新分位式方法。特别是，我们提出了可以适用于任何类别的回归模型的方法，允许在校准和清晰度之间选择权衡，优化校准中心间隔，并产生更准确的条件定位。我们对我们的方法提供了彻底的实验评估，其中包括核融合中的高维不确定性量化任务。
translated by 谷歌翻译
在过去几十年中，已经提出了各种方法，用于估计回归设置中的预测间隔，包括贝叶斯方法，集合方法，直接间隔估计方法和保形预测方法。重要问题是这些方法的校准：生成的预测间隔应该具有预定义的覆盖水平，而不会过于保守。在这项工作中，我们从概念和实验的角度审查上述四类方法。结果来自各个域的基准数据集突出显示从一个数据集中的性能的大波动。这些观察可能归因于违反某些类别的某些方法所固有的某些假设。我们说明了如何将共形预测用作提供不具有校准步骤的方法的方法的一般校准程序。
translated by 谷歌翻译
必须校准不确定性估计值（即准确）和清晰（即信息性），以便有用。这激发了各种重新校准的方法，这些方法使用固定数据将未校准的模型转化为校准模型。但是，由于原始模型也是概率模型，因此现有方法的适用性受到限制。我们在回归中引入了一种用于重新校准的算法类别，我们称为模块化保形校准（MCC）。该框架允许人们将任何回归模型转换为校准的概率模型。 MCC的模块化设计使我们能够对现有算法进行简单调整，以实现良好的分配预测。我们还为MCC算法提供有限样本的校准保证。我们的框架恢复了等渗的重新校准，保形校准和共形间隔预测，这意味着我们的理论结果也适用于这些方法。最后，我们对17个回归数据集进行了MCC的经验研究。我们的结果表明，在我们的框架中设计的新算法实现了接近完美的校准，并相对于现有方法提高了清晰度。
translated by 谷歌翻译
预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。
translated by 谷歌翻译
分布预测对于各种应用都很重要，包括预测流行病。通常，预测在为未来事件分配不确定性时，预测是错误的，或不可靠。我们提出了一种可重新校准方法，可以应用于给予回顾性预测和观察的黑盒预测，以及使该方法在重新校准流行病预测方面更有效的扩展。保证此方法可在培训和测量的样本中提高校准和日志评分性能。我们还证明了重新脉置预测的预期日志评分的增加等于坑分布的熵。我们将此重新校准方法应用于Flusight网络中的27个流感预报员，并显示重新校准可靠地提高预测精度和校准。这种方法是有效的，坚固且易于用作改善流行病预测的后处理工具。
translated by 谷歌翻译
Probabilistic forecasting, i.e. estimating the probability distribution of a time series' future given its past, is a key enabler for optimizing business processes. In retail businesses, for example, forecasting demand is crucial for having the right inventory available at the right time at the right place. In this paper we propose DeepAR, a methodology for producing accurate probabilistic forecasts, based on training an auto-regressive recurrent network model on a large number of related time series. We demonstrate how by applying deep learning techniques to forecasting, one can overcome many of the challenges faced by widely-used classical approaches to the problem. We show through extensive empirical evaluation on several real-world forecasting data sets accuracy improvements of around 15% compared to state-of-the-art methods.
translated by 谷歌翻译
最近实现了更准确的短期预测的数据驱动的空气质量预测。尽管取得了成功，但大多数目前的数据驱动解决方案都缺乏适当的模型不确定性的量化，以传达信任预测的程度。最近，在概率深度学习中已经制定了几种估计不确定性的实用工具。但是，在空气质量预测领域的域中没有经验应用和广泛的比较这些工具。因此，这项工作在空气质量预测的真实环境中应用了最先进的不确定性量化。通过广泛的实验，我们描述了培训概率模型，并根据经验性能，信心可靠性，置信度估计和实际适用性评估其预测性不确定性。我们还使用空气质量数据中固有的“自由”对抗培训和利用时间和空间相关性提出改善这些模型。我们的实验表明，所提出的模型比以前的工作更好地在量化数据驱动空气质量预测中的不确定性方面表现出。总体而言，贝叶斯神经网络提供了更可靠的不确定性估计，但可能挑战实施和规模。其他可扩展方法，如深合奏，蒙特卡罗（MC）辍学和随机重量平均-Gaussian（SWAG）可以执行良好，如果正确应用，但具有不同的权衡和性能度量的轻微变化。最后，我们的结果表明了不确定性估计的实际影响，并证明了，实际上，概率模型更适合提出知情决策。代码和数据集可用于\ url {https:/github.com/abdulmajid-murad/deep_probabilistic_forecast}
translated by 谷歌翻译
有效的决策需要了解预测中固有的不确定性。在回归中，这种不确定性可以通过各种方法估算;然而，许多这些方法对调谐进行费力，产生过度自确性的不确定性间隔，或缺乏敏锐度（给予不精确的间隔）。我们通过提出一种通过定义具有两个不同损失功能的神经网络来捕获回归中的预测分布的新方法来解决这些挑战。具体地，一个网络近似于累积分布函数，第二网络近似于其逆。我们将此方法称为合作网络（CN）。理论分析表明，优化的固定点处于理想化的解决方案，并且该方法是渐近的与地面真理分布一致。凭经验，学习是简单且强大的。我们基准CN对两个合成和六个现实世界数据集的几种常见方法，包括预测来自电子健康记录的糖尿病患者的A1C值，其中不确定是至关重要的。在合成数据中，所提出的方法与基本上匹配地面真理。在真实世界数据集中，CN提高了许多性能度量的结果，包括对数似然估计，平均误差，覆盖估计和预测间隔宽度。
translated by 谷歌翻译
分位数回归是统计学习中的一个基本问题，这是由于需要量化预测中的不确定性或对多样化的人群建模而不过分减少的统计学习。例如，流行病学预测，成本估算和收入预测都可以准确地量化可能的值的范围。因此，在计量经济学，统计和机器学习的多年研究中，已经为这个问题开发了许多模型。而不是提出另一种（新的）算法用于分位数回归，而是采用元观点：我们研究用于汇总任意数量的有条件分位模型的方法，以提高准确性和鲁棒性。我们考虑加权合奏，其中权重不仅可能因单个模型，而且要多于分位数和特征值而变化。我们在本文中考虑的所有模型都可以使用现代深度学习工具包适合，因此可以广泛访问（从实现的角度）和可扩展。为了提高预测分位数的准确性（或等效地，预测间隔），我们开发了确保分位数保持单调排序的工具，并采用保形校准方法。可以使用这些，而无需对原始模型的原始库进行任何修改。我们还回顾了一些围绕分数聚集和相关评分规则的基本理论，并为该文献做出了一些新的结果（例如，在分类或等渗后回归只能提高加权间隔得分的事实）。最后，我们提供了来自两个不同基准存储库的34个数据集的广泛的经验比较套件。
translated by 谷歌翻译
在环境中，从天气预报到财务预测的政治预测，未来二元成果的概率估计通常随着时间的推移而发展。例如，随着新信息可用的时间，特定日期的估计可能性在特定日变化。鉴于这种概率路径的集合，我们介绍了一个贝叶斯框架 - 我们称之为高斯潜在信息鞅，或粘合 - 用于模拟动态预测的结构随着时间的推移。例如，假设一个星期下雨的可能性是50％，并考虑两个假设情景。首先，人们希望预测同样可能成为明天的25％或75％;第二，人们预计预测将在未来几天保持不变。一个时间敏感的决策者可以在后一种情况下立即选择一个行动方案，但可能会推迟他们在前者的决定，知道新信息迫在眉睫。我们通过假设根据信息流的潜在进程的预测更新来模拟这些轨迹，从历史数据推断出来。与时间序列分析的一般方法相比，这种方法保留了诸如Martingale结构的概率路径的重要属性，以及适当的挥发性，并且更好地量化了概率路径周围的未来不确定性。我们表明光泽优于三种流行的基线方法，产生了由三种不同度量测量的更高估计的后验概率路径分布。通过阐明时间随着时间的推移来解除预测的动态结构，希望能帮助个人做出更明智的选择。
translated by 谷歌翻译
在许多现实世界和高影响力决策设置中，从分类过程中说明预测性不确定性的神经网络的概率预测至关重要。但是，实际上，大多数数据集经过非稳定神经网络的培训，默认情况下，这些神经网络不会捕获这种固有的不确定性。这个众所周知的问题导致了事后校准程序的开发，例如PLATT缩放（Logistic），等渗和β校准，这将得分转化为校准良好的经验概率。校准方法的合理替代方法是使用贝叶斯神经网络，该网络直接建模预测分布。尽管它们已应用于图像和文本数据集，但在表格和小型数据制度中的采用有限。在本文中，我们证明了与校准神经网络相比，贝叶斯神经网络在各种数据集中进行实验，从而产生竞争性能。
translated by 谷歌翻译
准确可靠的流行病预测是对公共卫生规划和疾病缓解影响的重要问题。大多数现有的疫情预测模型无视不确定性量化，导致错误校准的预测。近期神经模型的作品，用于不确定感知的时序预测也有几个限制;例如很难在贝叶斯NNS中指定有意义的前瞻，而Deep Leaseming的方法在实践中是计算昂贵的。在本文中，我们填补了这个重要的差距。我们将预测任务模拟为概率生成过程，并提出了一种名为EPIFNP的功能神经过程模型，其直接模拟预测值的概率密度。 EPIFNP利用动态随机相关图来模拟非参数方式之间序列之间的相关性，并设计不同的随机潜变量以捕获不同视角的功能不确定性。我们在实时流感预测环境中的广泛实验表明，EPIFNP在准确性和校准度量中显着优于先前的最先进模型，精度高达2.5倍，校准2.4倍。此外，由于其生成过程的性质，EPIFNP了解当前季节与历史季节类似模式之间的关系，从而实现可解释的预测。超越疫情预测，EPIFNP可以是独立的利益，以便在深度顺序模型中推进预测性分析的深度顺序模型
translated by 谷歌翻译
基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。
translated by 谷歌翻译