Rigorous guarantees about the performance of predictive algorithms are necessary in order to ensure their responsible use. Previous work has largely focused on bounding the expected loss of a predictor, but this is not sufficient in many risk-sensitive applications where the distribution of errors is important. In this work, we propose a flexible framework to produce a family of bounds on quantiles of the loss distribution incurred by a predictor. Our method takes advantage of the order statistics of the observed loss values rather than relying on the sample mean alone. We show that a quantile is an informative way of quantifying predictive performance, and that our framework applies to a variety of quantile-based metrics, each targeting important subsets of the data distribution. We analyze the theoretical properties of our proposed method and demonstrate its ability to rigorously control loss quantiles on several real-world datasets.

现在通常用于高风险设置，如医疗诊断，如医疗诊断，那么需要不确定量化，以避免后续模型失败。无分发的不确定性量化（无分布UQ）是用户友好的范式，用于为这种预测创建统计上严格的置信区间/集合。批判性地，间隔/集合有效而不进行分布假设或模型假设，即使具有最多许多DataPoints也具有显式保证。此外，它们适应输入的难度;当输入示例很困难时，不确定性间隔/集很大，信号传达模型可能是错误的。在没有多大的工作和没有再培训的情况下，可以在任何潜在的算法（例如神经网络）上使用无分​​发方法，以产生置信度集，以便包含用户指定概率，例如90％。实际上，这些方法易于理解和一般，应用于计算机视觉，自然语言处理，深度加强学习等领域出现的许多现代预测问题。这种实践介绍是针对对无需统计学家的免费UQ的实际实施感兴趣的读者。我们通过实际的理论和无分发UQ的应用领导读者，从保形预测开始，并使无关的任何风险的分布控制，如虚假发现率，假阳性分布检测，等等。我们将包括Python中的许多解释性插图，示例和代码样本，具有Pytorch语法。目标是提供读者对无分配UQ的工作理解，使它们能够将置信间隔放在算法上，其中包含一个自包含的文档。

我们介绍了学习然后测试，校准机器学习模型的框架，使其预测满足明确的，有限样本统计保证，无论底层模型如何和（未知）数据生成分布。框架地址，以及在其他示例中，在多标签分类中的错误发现速率控制，在实例分割中交叉联盟控制，以及同时控制分类或回归中的异常检测和置信度覆盖的类型误差。为实现这一目标，我们解决了一个关键的技术挑战：控制不一定单调的任意风险。我们的主要洞察力是将风险控制问题重新构建为多个假设检测，使技术和数学论据不同于先前文献中的技术。我们使用我们的框架为多个核心机器学习任务提供新的校准方法，在计算机视觉中具有详细的工作示例。

我们提出了置信度序列 - 置信区间序列，其均匀地随时间均匀 - 用于基于I.I.D的流的完整，完全有序集中的任何分布的量级。观察。我们提供用于跟踪固定定量的方法并同时跟踪所有定量。具体而言，我们提供具有小常数的明确表达式，其宽度以尽可能快的$ \ SQRT {t} \ log \ log t} $率，以及实证分布函数的非渐近浓度不等式以相同的速率均匀地持续持续。后者加强了Smirnov迭代对数的实证过程法，延长了DVORETZKY-KIEFER-WOLFOITZ不等式以均匀地保持一段时间。我们提供了一种新的算法和样本复杂性，用于在多武装强盗框架中选择具有大约最佳定量的臂。在仿真中，我们的方法需要比现有方法更少五到五十的样品。

A flexible method is developed to construct a confidence interval for the frequency of a queried object in a very large data set, based on a much smaller sketch of the data. The approach requires no knowledge of the data distribution or of the details of the sketching algorithm; instead, it constructs provably valid frequentist confidence intervals for random queries using a conformal inference approach. After achieving marginal coverage for random queries under the assumption of data exchangeability, the proposed method is extended to provide stronger inferences accounting for possibly heterogeneous frequencies of different random queries, redundant queries, and distribution shifts. While the presented methods are broadly applicable, this paper focuses on use cases involving the count-min sketch algorithm and a non-linear variation thereof, to facilitate comparison to prior work. In particular, the developed methods are compared empirically to frequentist and Bayesian alternatives, through simulations and experiments with data sets of SARS-CoV-2 DNA sequences and classic English literature.

Virtually all machine learning tasks are characterized using some form of loss function, and "good performance" is typically stated in terms of a sufficiently small average loss, taken over the random draw of test data. While optimizing for performance on average is intuitive, convenient to analyze in theory, and easy to implement in practice, such a choice brings about trade-offs. In this work, we survey and introduce a wide variety of non-traditional criteria used to design and evaluate machine learning algorithms, place the classical paradigm within the proper historical context, and propose a view of learning problems which emphasizes the question of "what makes for a desirable loss distribution?" in place of tacit use of the expected loss.

当可能的许多标签是可能的时，选择单个可以导致低精度。一个常见的替代方案，称为顶级k $分类，是选择一些数字$ k $（通常约5），并返回最高分数的$ k $标签。不幸的是，对于明确的案例，$ k> 1 $太多，对于非常暧昧的情况，$ k \ leq 5 $（例如）太小。另一种明智的策略是使用一种自适应方法，其中返回的标签数量随着计算的歧义而变化，但必须平均到所有样本的某些特定的$ k $。我们表示这种替代方案 - $ k $分类。本文在平均值的含量较低的误差率时，本文正式地表征了模糊性曲线，比固定的顶级k $分类更低。此外，它为固定尺寸和自适应分类器提供了自然估计程序，并证明了它们的一致性。最后，它报告了实际图像数据集的实验，揭示了平均值的效益 - 在实践中的价格超过高度k $分类。总的来说，当含糊不清的歧义时，平均值-$ k $永远不会比Top-$ K $更差，并且在我们的实验中，当估计时，这也持有。

部署在现实世界中时，机器学习模型不可避免地遇到数据分布的变化，并且某些 - 但不是全部分布班可能导致显着的性能下降。在实践中，忽略良性移位可能是有意义的，在该频率下，部署模型的性能不会显着降低，不必要地制作人类专家（或模型再培训）的干预。虽然有几种作品已经开发了用于分发班次的测试，但这些通常使用非顺序方法，或者检测任意班次（良性或有害）或两者。我们认为，用于解雇警告的明智方法（a）检测有害移位，同时忽略良性换档，并且（b）允许连续监测模型性能，而不会增加误报率。在这项工作中，我们设计了简单的顺序工具，用于测试源（训练）和目标（测试）分布之间的差异导致感兴趣的风险函数的显着增加，如准确性或校准。构建时均匀置信度序列的最新进展允许在跟踪过程中积累的统计证据进行高效聚合。设计的框架适用于在执行预测之后（某些）真正标签的设置中，或者当批次以延迟的方式获得时批次。我们通过对模拟和真实数据集的集合的广泛实证研究展示了拟议的框架的功效。

域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。

由于平均治疗效果（ATE）可以衡量社会福利的变化，即使是积极的，也存在对大约10％人口的负面影响的风险。但是，评估这种风险是困难的，因为从未观察到任何一个单独的治疗效果（ITE），因此无法识别出10％的最差影响，而分布治疗效果仅比较每个治疗组中的第一个十分限到任何10％的人群。在本文中，我们考虑如何评估这一重要风险措施，正式为ITE分布的风险（CVAR）的条件价值。我们利用预处理协变量的可用性，并表征了协变量平均治疗效果（CATE）功能给出的ITE-VAR上最紧密的上限和下限。然后，我们继续研究如何从数据中有效估计这些界限并构建置信区间。即使在随机实验中，这也是一个挑战，因为它需要了解未知CATE函数的分布，如果我们使用富协变量以最佳控制异质性，这可能非常复杂。我们开发了一种偏见的方法，该方法克服了这一点，并证明即使CATE和其他令人讨厌的统计属性是通过Black-Box机器学习估算甚至不一致的。我们研究对法国搜索咨询服务的假设变化，我们的界限和推论表明，一个小的社会利益对实质性亚人群产生负面影响。

我们提出\ textbf {jaws}，这是一系列用于无分配的不确定性量化任务的包装方法，以协变量偏移为中心，以我们的核心方法\ textbf {jaw}为中心，\ textbf {ja} ckknife+ \ textbf {w}八 - 重量。下巴还包括使用高阶影响函数的JAW的计算有效\ TextBf {a} pproximations：\ textbf {jawa}。从理论上讲，我们表明JAW放宽了Jackknife+对数据交换性的假设，即使在协变量转移下，也可以实现相同的有限样本覆盖范围保证。 Jawa在轻度假设下进一步以样本量或影响函数顺序的限制接近JAW保证。此外，我们提出了一种通用方法，以重新利用任何无分配不确定性量化方法及其对风险评估的任务的保证：该任务产生了真正标签在用户指定间隔内的估计概率。然后，我们将\ textbf {Jaw-r}和\ textbf {Jawa-r}作为\ textbf {r} ISK评估的建议方法的重新定义版本。实际上，在各种有偏见的现实世界数据集中，下颌的最先进的预测推理基准都超出了间隔生成和风险评估审计任务的偏差。

最近的研究表明，看似公平的机器学习模型在为对人们的生活或福祉产生影响的决策提供信息（例如，涉及教育，就业和贷款的申请）可能会在长期内无意中增加社会不平等。这是因为先前的公平意识算法仅考虑静态公平限制，例如机会均等或人口统计奇偶。但是，强制执行这种类型的限制可能会导致模型对处境不利的个人和社区产生负面影响。我们介绍ELF（执行长期公平性），这是第一个分类算法，可提供高信任公平保证，以长期或延迟影响。我们证明，ELF返回不公平解决方案的概率小于用户指定的公差，并且（在轻度假设下），如果有足够的培训数据，ELF能够找到并返回公平的解决方案，如果存在一个公平的解决方案。我们通过实验表明，我们的算法可以成功缓解长期不公平。

在将任务委派给自治系统之前，人类操作员可能需要保证对系统的行为。本文扩展了对功能数据的共形预测的先前工作，并扩展了整数分数回归，以提供对马尔可夫决策过程（MDP）执行固定控制策略的自主系统的未来行为的共形预测间隔。预测间隔是通过将共校正校正应用于分位数回归计算的预测间隔来构建的。结果间隔保证，使用概率$ 1- \ delta $，观察到的轨迹将位于预测间隔内，其中计算概率相对于起始状态分布和MDP的随机性。该方法在MDP上进行了用于入侵物种管理和Starcraft2战斗的方法。

有许多可用于选择优先考虑治疗的可用方法，包括基于治疗效果估计，风险评分和手工制作规则的遵循申请。我们将秩加权平均治疗效应（RATY）指标作为一种简单常见的指标系列，用于比较水平竞争范围的治疗优先级规则。对于如何获得优先级规则，率是不可知的，并且仅根据他们在识别受益于治疗中受益的单位的方式进行评估。我们定义了一系列速率估算器，并证明了一个中央限位定理，可以在各种随机和观测研究环境中实现渐近精确的推断。我们为使用自主置信区间的使用提供了理由，以及用于测试关于治疗效果中的异质性的假设的框架，与优先级规则相关。我们对速率的定义嵌套了许多现有度量，包括QINI系数，以及我们的分析直接产生了这些指标的推论方法。我们展示了我们从个性化医学和营销的示例中的方法。在医疗环境中，使用来自Sprint和Accor-BP随机对照试验的数据，我们发现没有明显的证据证明异质治疗效果。另一方面，在大量的营销审判中，我们在一些数字广告活动的治疗效果中发现了具有的强大证据，并证明了如何使用率如何比较优先考虑估计风险的目标规则与估计治疗效益优先考虑的目标规则。

尽管U统计量在现代概率和统计学中存在着无处不在的，但其在依赖框架中的非反应分析可能被忽略了。在最近的一项工作中，已经证明了对统一的马尔可夫链的U级统计数据的新浓度不平等。在本文中，我们通过在三个不同的研究领域中进一步推动了当前知识状态，将这一理论突破付诸实践。首先，我们为使用MCMC方法估算痕量类积分运算符光谱的新指数不平等。新颖的是，这种结果适用于具有正征和负征值的内核，据我们所知，这是新的。此外，我们研究了使用成对损失函数和马尔可夫链样品的在线算法的概括性能。我们通过展示如何从任何在线学习者产生的假设序列中提取低风险假设来提供在线到批量转换结果。我们最终对马尔可夫链的不变度度量的密度进行了拟合优度测试的非反应分析。我们确定了一些类别的替代方案，基于$ L_2 $距离的测试具有规定的功率。

卷积图像分类器可以实现高预测的准确性，但是量化其不确定性仍然是尚未解决的挑战，阻碍了他们在结果环境中的部署。现有的不确定性量化技术（例如PLATT缩放）试图校准网络的概率估计，但它们没有正式的保证。我们提出了一种算法，该算法会修改任何分类器，以输出包含具有用户指定概率的真实标签的预测集，例如90％。该算法像PLATT缩放一样简单快捷，但为每个模型和数据集提供了正式的有限样本覆盖范围保证。我们的方法修改了现有的保形预测算法，从而通过在PLATT缩放后正规化不太可能的类别分数来提供更稳定的预测集。在具有RESNET-152和其他分类器的ImageNet和Imagenet-V2的实验中，我们的方案的表现优于现有方法，通过通常比独立PLATT缩放基线小的5到10个因素实现覆盖范围。

我们提出了一种基于最大平均差异（MMD）的新型非参数两样本测试，该测试是通过具有不同核带宽的聚合测试来构建的。这种称为MMDAGG的聚合过程可确保对所使用的内核的收集最大化测试能力，而无需持有核心选择的数据（这会导致测试能力损失）或任意内核选择，例如中位数启发式。我们在非反应框架中工作，并证明我们的聚集测试对Sobolev球具有最小自适应性。我们的保证不仅限于特定的内核，而是符合绝对可集成的一维翻译不变特性内核的任何产品。此外，我们的结果适用于流行的数值程序来确定测试阈值，即排列和野生引导程序。通过对合成数据集和现实世界数据集的数值实验，我们证明了MMDAGG优于MMD内核适应的替代方法，用于两样本测试。

作为算法公平性的概念，多核算已被证明是一个强大而多才多艺的概念，其含义远远超出了其最初的意图。这个严格的概念 - 预测在丰富的相交子群中得到了很好的校准 - 以成本为代价提供了强大的保证：学习成型预测指标的计算和样本复杂性很高，并且随着类标签的数量而成倍增长。相比之下，可以更有效地实现多辅助性的放松概念，但是，仅假设单独使用多学历，就无法保证许多最可取的多核能概念。这种紧张局势提出了一个关键问题：我们能否以多核式式保证来学习预测因素，以与多审核级相称？在这项工作中，我们定义并启动了低度多核的研究。低度的多核净化定义了越来越强大的多组公平性概念的层次结构，这些概念跨越了多辅助性和极端的多核电的原始表述。我们的主要技术贡献表明，与公平性和准确性有关的多核算的关键特性实际上表现为低级性质。重要的是，我们表明，低度的数学振动可以比完整的多核电更有效。在多级设置中，实现低度多核的样品复杂性在完整的多核电上呈指数级（在类中）提高。我们的工作提供了令人信服的证据，表明低度多核能代表了一个最佳位置，将计算和样品效率配对，并提供了强大的公平性和准确性保证。

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.