The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.

现在通常用于高风险设置，如医疗诊断，如医疗诊断，那么需要不确定量化，以避免后续模型失败。无分发的不确定性量化（无分布UQ）是用户友好的范式，用于为这种预测创建统计上严格的置信区间/集合。批判性地，间隔/集合有效而不进行分布假设或模型假设，即使具有最多许多DataPoints也具有显式保证。此外，它们适应输入的难度;当输入示例很困难时，不确定性间隔/集很大，信号传达模型可能是错误的。在没有多大的工作和没有再培训的情况下，可以在任何潜在的算法（例如神经网络）上使用无分​​发方法，以产生置信度集，以便包含用户指定概率，例如90％。实际上，这些方法易于理解和一般，应用于计算机视觉，自然语言处理，深度加强学习等领域出现的许多现代预测问题。这种实践介绍是针对对无需统计学家的免费UQ的实际实施感兴趣的读者。我们通过实际的理论和无分发UQ的应用领导读者，从保形预测开始，并使无关的任何风险的分布控制，如虚假发现率，假阳性分布检测，等等。我们将包括Python中的许多解释性插图，示例和代码样本，具有Pytorch语法。目标是提供读者对无分配UQ的工作理解，使它们能够将置信间隔放在算法上，其中包含一个自包含的文档。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

监督学习的关键假设是培训和测试数据遵循相同的概率分布。然而，这种基本假设在实践中并不总是满足，例如，由于不断变化的环境，样本选择偏差，隐私问题或高标签成本。转移学习（TL）放松这种假设，并允许我们在分销班次下学习。通常依赖于重要性加权的经典TL方法 - 基于根据重要性（即测试过度训练密度比率）的训练损失培训预测器。然而，由于现实世界机器学习任务变得越来越复杂，高维和动态，探讨了新的新方法，以应对这些挑战最近。在本文中，在介绍基于重要性加权的TL基础之后，我们根据关节和动态重要预测估计审查最近的进步。此外，我们介绍一种因果机制转移方法，该方法包含T1中的因果结构。最后，我们讨论了TL研究的未来观点。

适应数据分布的结构（例如对称性和转型Imarerces）是机器学习中的重要挑战。通过架构设计或通过增强数据集，可以内在学习过程中内置Inhormces。两者都需要先验的了解对称性的确切性质。缺乏这种知识，从业者求助于昂贵且耗时的调整。为了解决这个问题，我们提出了一种新的方法来学习增强变换的分布，以新的\ emph {转换风险最小化}（trm）框架。除了预测模型之外，我们还优化了从假说空间中选择的转换。作为算法框架，我们的TRM方法是（1）有效（共同学习增强和模型，以\ emph {单训练环}），（2）模块化（使用\ emph {任何训练算法），以及（3）一般（处理\ \ ich {离散和连续}增强）。理论上与标准风险最小化的TRM比较，并在其泛化误差上给出PAC-Bayes上限。我们建议通过块组成的新参数化优化富裕的增强空间，导致新的\ EMPH {随机成分增强学习}（SCALE）算法。我们在CIFAR10 / 100，SVHN上使用先前的方法（快速自身自动化和武术器）进行实际比较规模。此外，我们表明规模可以在数据分布中正确地学习某些对称性（恢复旋转Mnist上的旋转），并且还可以改善学习模型的校准。

当疑问以获得更好的有效精度时，选择性分类允许模型放弃预测（例如，说“我不知道”）。尽管典型的选择性模型平均可以有效地产生更准确的预测，但它们仍可能允许具有很高置信度的错误预测，或者跳过置信度较低的正确预测。提供校准的不确定性估计以及预测（与真实频率相对应的概率）以及具有平均准确的预测一样重要。但是，不确定性估计对于某些输入可能不可靠。在本文中，我们开发了一种新的选择性分类方法，其中我们提出了一种拒绝“不确定”不确定性的示例的方法。通过这样做，我们旨在通过对所接受示例的分布进行{良好校准}的不确定性估计进行预测，这是我们称为选择性校准的属性。我们提出了一个用于学习选择性校准模型的框架，其中训练了单独的选择器网络以改善给定基本模型的选择性校准误差。特别是，我们的工作重点是实现强大的校准，该校准有意地设计为在室外数据上进行测试。我们通过受分配强大的优化启发的训练策略实现了这一目标，在该策略中，我们将模拟输入扰动应用于已知的，内域培训数据。我们证明了方法对多个图像分类和肺癌风险评估任务的经验有效性。

部署在现实世界中时，机器学习模型不可避免地遇到数据分布的变化，并且某些 - 但不是全部分布班可能导致显着的性能下降。在实践中，忽略良性移位可能是有意义的，在该频率下，部署模型的性能不会显着降低，不必要地制作人类专家（或模型再培训）的干预。虽然有几种作品已经开发了用于分发班次的测试，但这些通常使用非顺序方法，或者检测任意班次（良性或有害）或两者。我们认为，用于解雇警告的明智方法（a）检测有害移位，同时忽略良性换档，并且（b）允许连续监测模型性能，而不会增加误报率。在这项工作中，我们设计了简单的顺序工具，用于测试源（训练）和目标（测试）分布之间的差异导致感兴趣的风险函数的显着增加，如准确性或校准。构建时均匀置信度序列的最新进展允许在跟踪过程中积累的统计证据进行高效聚合。设计的框架适用于在执行预测之后（某些）真正标签的设置中，或者当批次以延迟的方式获得时批次。我们通过对模拟和真实数据集的集合的广泛实证研究展示了拟议的框架的功效。

两样本测试在统计和机器学习中很重要，既是科学发现的工具，又是检测分布变化的工具。这导致了许多复杂的测试程序的开发，超出了标准监督学习框架，它们的用法可能需要有关两样本测试的专业知识。我们使用一个简单的测试，该测试将证人功能的平均差异作为测试统计量，并证明最小化平方损失会导致具有最佳测试能力的证人。这使我们能够利用汽车的最新进步。如果没有任何用户对当前问题的输入，并在我们所有实验中使用相同的方法，我们的AutoML两样本测试可以在各种分配转移基准以及挑战两样本测试问题上实现竞争性能。我们在Python软件包AUTOTST中提供了Automl两样本测试的实现。

深度神经网络具有令人印象深刻的性能，但是他们无法可靠地估计其预测信心，从而限制了其在高风险领域中的适用性。我们表明，应用多标签的一VS损失揭示了分类的歧义并降低了模型的过度自信。引入的Slova（单标签One-Vs-All）模型重新定义了单个标签情况的典型单VS-ALL预测概率，其中只有一个类是正确的答案。仅当单个类具有很高的概率并且其他概率可忽略不计时，提议的分类器才有信心。与典型的SoftMax函数不同，如果所有其他类的概率都很小，Slova自然会检测到分布的样本。该模型还通过指数校准进行了微调，这使我们能够与模型精度准确地对齐置信分数。我们在三个任务上验证我们的方法。首先，我们证明了斯洛伐克与最先进的分布校准具有竞争力。其次，在数据集偏移下，斯洛伐克的性能很强。最后，我们的方法在检测到分布样品的检测方面表现出色。因此，斯洛伐克是一种工具，可以在需要不确定性建模的各种应用中使用。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

Faced with distribution shift between training and test set, we wish to detect and quantify the shift, and to correct our classifiers without test set labels. Motivated by medical diagnosis, where diseases (targets), cause symptoms (observations), we focus on label shift, where the label marginal p(y) changes but the conditional p(x|y) does not. We propose Black Box Shift Estimation (BBSE) to estimate the test distribution p(y). BBSE exploits arbitrary black box predictors to reduce dimensionality prior to shift correction. While better predictors give tighter estimates, BBSE works even when predictors are biased, inaccurate, or uncalibrated, so long as their confusion matrices are invertible. We prove BBSE's consistency, bound its error, and introduce a statistical test that uses BBSE to detect shift. We also leverage BBSE to correct classifiers. Experiments demonstrate accurate estimates and improved prediction, even on high-dimensional datasets of natural images.

所有著名的机器学习算法构成了受监督和半监督的学习工作，只有在一个共同的假设下：培训和测试数据遵循相同的分布。当分布变化时，大多数统计模型必须从新收集的数据中重建，对于某些应用程序，这些数据可能是昂贵或无法获得的。因此，有必要开发方法，以减少在相关领域中可用的数据并在相似领域中进一步使用这些数据，从而减少需求和努力获得新的标签样品。这引起了一个新的机器学习框架，称为转移学习：一种受人类在跨任务中推断知识以更有效学习的知识能力的学习环境。尽管有大量不同的转移学习方案，但本调查的主要目的是在特定的，可以说是最受欢迎的转移学习中最受欢迎的次级领域，概述最先进的理论结果，称为域适应。在此子场中，假定数据分布在整个培训和测试数据中发生变化，而学习任务保持不变。我们提供了与域适应性问题有关的现有结果的首次最新描述，该结果涵盖了基于不同统计学习框架的学习界限。

本文开发了新型的保形方法，以测试是否从与参考集相同的分布中采样了新的观察结果。以创新的方式将感应性和偏置的共形推断融合，所描述的方法可以以原则性的方式基于已知的分布式数据的依赖侧信息重新权重标准p值，并且可以自动利用最强大的优势来自任何一级和二进制分类器的模型。该解决方案可以通过样品分裂或通过新颖的转置交叉验证+方案来实现，该方案与现有的交叉验证方法相比，由于更严格的保证，这也可能在共形推理的其他应用中有用。在研究错误的发现率控制和在具有几个可能的离群值的多个测试框架内的虚假发现率控制和功率之后，提出的解决方案被证明通过模拟以及用于图像识别和表格数据的应用超过了标准的共形P值。

数据质量的系统量化对于一致的模型性能至关重要。先前的工作集中在分发数据上。取而代之的是，我们解决了一个研究了一个研究的且同样重要的问题，即表征不协调的区域（ID）数据，这可能是由特征空间异质性引起的。为此，我们提出了使用数据套件的范式转移：一个以数据为中心的AI框架来识别这些区域，而与特定于任务的模型无关。数据套件利用Copula建模，表示学习和共形预测，以基于一组培训实例来构建功能置信区间估计器。这些估计器可用于评估有关培训集的测试实例的一致性，以回答两个实际有用的问题：（1）通过培训培训实例培训的模型可以可靠地预测哪些测试实例？ （2）我们可以确定功能空间的不协调区域，以便数据所有者了解数据的局限性还是指导未来数据收集？我们从经验上验证了数据套件的性能和覆盖范围保证，并在跨站点的医疗数据，有偏见的数据以及具有概念漂移的数据上证明，数据套件最能确定下游模型可能是可靠的ID区域（与所述模型无关）。我们还说明了这些确定的区域如何为数据集提供见解并突出其局限性。

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

我们介绍了在打开集标签偏移（OSL）下进行域适应的问题，该标签分布可以任意更改，并且在部署期间可能会到达新类，但是类别条件分布p（x | y）是域不变的。 OSLS在标签转移和未标记（PU）学习下适应域的域名。学习者的目标是两个方面：（a）估计目标标签分布，包括新颖的班级； （b）学习目标分类器。首先，我们建立了确定这些数量的必要条件。其次，在标签转移和PU学习方面的进步中，我们提出了针对利用黑盒预测变量的两项任务的实用方法。与典型的开放式域适应（OSDA）问题不同，该问题往往不适合且仅适合启发式方法，OSLS提供了一个适合原则性机械的良好问题。关于视觉，语言和医学数据集的众多半合成基准测试的实验表明，我们的方法始终超过OSDA基线，实现目标域精度的10--25％提高。最后，我们分析了提出的方法，建立了与真正的标签边缘和收敛到高斯设置中线性模型的最佳分类器的有限样本收敛性。代码可在https://github.com/acmi-lab/open-set-label-shift上找到。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

许多数据集被指定：给定任务存在多个同样可行的解决方案。对于学习单个假设的方法，指定的指定可能是有问题的，因为实现低训练损失的不同功能可以集中在不同的预测特征上，从而在分布数据的数据上产生明显变化的预测。我们提出了Divdis，这是一个简单的两阶段框架，首先通过利用测试分布中的未标记数据来学习多种假设，以实现任务。然后，我们通过使用其他标签的形式或检查功能可视化的形式选择最小的其他监督来选择一个发现的假设之一来消除歧义。我们证明了Divdis找到在图像分类中使用强大特征的假设和自然语言处理问题的能力。

现实世界机器学习部署的特点是源（训练）和目标（测试）分布之间的不匹配，可能导致性能下降。在这项工作中，我们研究了仅使用标记的源数据和未标记的目标数据来预测目标域精度的方法。我们提出了平均阈值的置信度（A​​TC），一种实用的方法，用于了解模型的置信度的阈值，预测精度作为模型置信度超过该阈值的未标记示例的分数。 ATC优于多种模型架构的先前方法，分发班次类型（例如，由于综合损坏，数据集再现或新颖的群体）和数据集（野外，想象成，品种，CNIST）。在我们的实验中，ATC估计目标性能$ 2 $ 2美元 - 比以前的方法更准确地获得4美元。我们还探讨了问题的理论基础，证明通常，识别精度与识别最佳预测因子一样难以识别，因此，任何方法的功效都依赖于（可能是未列区）假设对移位的性质。最后，在一些玩具分布中分析了我们的方法，我们提供了有关其工作时的见解。

我们考虑无监督的域适应性（UDA），其中使用来自源域（例如照片）的标记数据，而来自目标域（例如草图）的未标记数据用于学习目标域的分类器。常规的UDA方法（例如，域对抗训练）学习域不变特征，以改善对目标域的概括。在本文中，我们表明，对比的预训练，它在未标记的源和目标数据上学习功能，然后在标记的源数据上进行微调，具有强大的UDA方法的竞争力。但是，我们发现对比前训练不会学习域不变特征，这与常规的UDA直觉不同。从理论上讲，我们证明了对比的预训练可以学习在跨域下微调但仍通过解开域和类信息来概括到目标域的特征。我们的结果表明，UDA不需要域的不变性。我们从经验上验证了基准视觉数据集的理论。