域名（ood）概括是机器学习模型的重大挑战。已经提出了许多技术来克服这一挑战，通常专注于具有某些不变性属性的学习模型。在这项工作中，我们绘制了ood性能和模型校准之间的链接，争论跨多个域的校准可以被视为一个特殊的表达，导致更好的EOD泛化。具体而言，我们表明，在某些条件下，实现\ EMPH {多域校准}的模型可被证明无杂散相关性。这导致我们提出多域校准作为分类器的性能的可测量和可训练的代理。因此，我们介绍了易于申请的方法，并允许从业者通过训练或修改现有模型来改善多域校准，从而更好地在看不见的域上的性能。使用最近提出的野外的四个数据集以及彩色的MNIST数据集，我们证明了训练或调整模型，以便在多个域中校准它们导致在看不见的测试域中显着提高性能。我们认为，校准和革建化之间的这种有趣联系是从一个实际和理论的观点出发的。

Learned classifiers should often possess certain invariance properties meant to encourage fairness, robustness, or out-of-distribution generalization. However, multiple recent works empirically demonstrate that common invariance-inducing regularizers are ineffective in the over-parameterized regime, in which classifiers perfectly fit (i.e. interpolate) the training data. This suggests that the phenomenon of ``benign overfitting," in which models generalize well despite interpolating, might not favorably extend to settings in which robustness or fairness are desirable. In this work we provide a theoretical justification for these observations. We prove that -- even in the simplest of settings -- any interpolating learning rule (with arbitrarily small margin) will not satisfy these invariance properties. We then propose and analyze an algorithm that -- in the same setting -- successfully learns a non-interpolating classifier that is provably invariant. We validate our theoretical observations on simulated data and the Waterbirds dataset.

最近，提出了不变的风险最小化（IRM）作为解决分布外（OOD）概括的有前途的解决方案。但是，目前尚不清楚何时应优先于广泛的经验风险最小化（ERM）框架。在这项工作中，我们从样本复杂性的角度分析了这两个框架，从而迈出了一个坚定的一步，以回答这个重要问题。我们发现，根据数据生成机制的类型，这两种方法可能具有有限样本和渐近行为。例如，在协变量偏移设置中，我们看到两种方法不仅达到了相同的渐近解决方案，而且具有相似的有限样本行为，没有明显的赢家。但是，对于其他分布变化，例如涉及混杂因素或反毒物变量的变化，两种方法到达不同的渐近解决方案，在这些方法中，保证IRM可以接近有限样品状态中所需的OOD溶液，而ERM甚至偶然地偏向于渐近。我们进一步研究了不同因素（环境的数量，模型的复杂性和IRM惩罚权重）如何影响IRM的样本复杂性与其距离OOD溶液的距离有关

Learning models that gracefully handle distribution shifts is central to research on domain generalization, robust optimization, and fairness. A promising formulation is domain-invariant learning, which identifies the key issue of learning which features are domain-specific versus domaininvariant. An important assumption in this area is that the training examples are partitioned into "domains" or "environments". Our focus is on the more common setting where such partitions are not provided. We propose EIIL, a general framework for domain-invariant learning that incorporates Environment Inference to directly infer partitions that are maximally informative for downstream Invariant Learning. We show that EIIL outperforms invariant learning methods on the CMNIST benchmark without using environment labels, and significantly outperforms ERM on worst-group performance in the Waterbirds and CivilComments datasets. Finally, we establish connections between EIIL and algorithmic fairness, which enables EIIL to improve accuracy and calibration in a fair prediction problem.

Distributional shift is one of the major obstacles when transferring machine learning prediction systems from the lab to the real world. To tackle this problem, we assume that variation across training domains is representative of the variation we might encounter at test time, but also that shifts at test time may be more extreme in magnitude. In particular, we show that reducing differences in risk across training domains can reduce a model's sensitivity to a wide range of extreme distributional shifts, including the challenging setting where the input contains both causal and anticausal elements. We motivate this approach, Risk Extrapolation (REx), as a form of robust optimization over a perturbation set of extrapolated domains (MM-REx), and propose a penalty on the variance of training risks (V-REx) as a simpler variant. We prove that variants of REx can recover the causal mechanisms of the targets, while also providing some robustness to changes in the input distribution ("covariate shift"). By tradingoff robustness to causally induced distributional shifts and covariate shift, REx is able to outperform alternative methods such as Invariant Risk Minimization in situations where these types of shift co-occur.

域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。

通过推断培训数据中的潜在群体，最近的作品将不可用的注释不可用的情况引入不变性学习。通常，在大多数/少数族裔分裂下学习群体不变性在经验上被证明可以有效地改善许多数据集的分布泛化。但是，缺乏这些关于学习不变机制的理论保证。在本文中，我们揭示了在防止分类器依赖于培训集中的虚假相关性的情况下，现有小组不变学习方法的不足。具体来说，我们提出了两个关于判断这种充分性的标准。从理论和经验上讲，我们表明现有方法可以违反标准，因此未能推广出虚假的相关性转移。在此激励的情况下，我们设计了一种新的组不变学习方法，该方法构建具有统计独立性测试的组，并按组标签重新启动样本，以满足标准。关于合成数据和真实数据的实验表明，新方法在推广到虚假相关性转移方面显着优于现有的组不变学习方法。

尽管机器学习模型迅速推进了各种现实世界任务的最先进，但鉴于这些模型对虚假相关性的脆弱性，跨域（OOD）的概括仍然是一个挑战性的问题。尽管当前的域概括方法通常着重于通过新的损耗函数设计在不同域上实施某些不变性属性，但我们提出了一种平衡的迷你批次采样策略，以减少观察到的训练分布中域特异性的虚假相关性。更具体地说，我们提出了一种两步方法，该方法1）识别虚假相关性的来源，以及2）通过在确定的来源上匹配，构建平衡的迷你批次而没有虚假相关性。我们提供了伪造来源的可识别性保证，并表明我们提出的方法是从所有培训环境中平衡，无虚拟分布的样本。实验是在三个具有伪造相关性的计算机视觉数据集上进行的，从经验上证明，与随机的迷你批次采样策略相比，我们平衡的微型批次采样策略可改善四个不同建立的域泛化模型基线的性能。

域泛化算法使用来自多个域的培训数据来学习概括到未经识别域的模型。虽然最近提出的基准证明大多数现有算法不优于简单的基线，但建立的评估方法未能暴露各种因素的影响，这有助于性能不佳。在本文中，我们提出了一个域泛化算法的评估框架，其允许将误差分解成组件捕获概念的不同方面。通过基于域不变表示学习的思想的算法的普遍性的启发，我们扩展了评估框架，以捕获在实现不变性时捕获各种类型的失败。我们表明，泛化误差的最大贡献者跨越方法，数据集，正则化强度甚至培训长度各不相同。我们遵守与学习域不变表示的策略相关的两个问题。在彩色的MNIST上，大多数域泛化算法失败，因为它们仅在训练域上达到域名不变性。在Camelyon-17上，域名不变性会降低看不见域的表示质量。我们假设专注于在丰富的代表之上调整分类器可以是有希望的方向。

研究兴趣大大增加了将数据驱动方法应用于力学问题的问题。尽管传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于以下假设：培训（观察到的）数据和测试（看不见）数据是独立的且分布相同的（i.i.d）。因此，当应用于未知的测试环境和数据分布转移的现实世界力学问题时，传统的ML方法通常会崩溃。相反，分布（OOD）的概括假定测试数据可能会发生变化（即违反I.I.D.假设）。迄今为止，已经提出了多种方法来改善ML方法的OOD概括。但是，由于缺乏针对OOD回归问题的基准数据集，因此这些OOD方法在主导力学领域的回归问题上的效率仍然未知。为了解决这个问题，我们研究了机械回归问题的OOD泛化方法的性能。具体而言，我们确定了三个OOD问题：协变量移位，机制移位和采样偏差。对于每个问题，我们创建了两个基准示例，以扩展机械MNIST数据集收集，并研究了流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，与传统的ML方法相比，在大多数情况下，在这些OOD问题上的传统ML方法的性能更好，但迫切需要开发更强大的OOD概括方法，这些方法在多个OOD场景中有效。总体而言，我们希望这项研究以及相关的开放访问基准数据集将进一步开发用于机械特定回归问题的OOD泛化方法。

We propose a Target Conditioned Representation Independence (TCRI) objective for domain generalization. TCRI addresses the limitations of existing domain generalization methods due to incomplete constraints. Specifically, TCRI implements regularizers motivated by conditional independence constraints that are sufficient to strictly learn complete sets of invariant mechanisms, which we show are necessary and sufficient for domain generalization. Empirically, we show that TCRI is effective on both synthetic and real-world data. TCRI is competitive with baselines in average accuracy while outperforming them in worst-domain accuracy, indicating desired cross-domain stability.

最近的学习不变（因果）特征（OOD）概括最近引起了广泛的关注，在建议中不变风险最小化（IRM）（Arjovsky等，2019）是一个显着的解决方案。尽管其对线性回归的理论希望，但在线性分类问题中使用IRM的挑战仍然存在（Rosenfeld等，2020； Nagarajan等，2021）。沿着这一行，最近的一项研究（Arjovsky等人，2019年）迈出了第一步，并提出了基于信息瓶颈的不变风险最小化的学习原理（IB-imm）。在本文中，我们首先表明（Arjovsky等人，2019年）使用不变特征的支持重叠的关键假设对于保证OOD泛化是相当强大的，并且在没有这种假设的情况下仍然可以实现最佳解决方案。为了进一步回答IB-IRM是否足以在线性分类问题中学习不变特征的问题，我们表明IB-IRM在两种情况下仍将失败，无论是否不变功能捕获有关标签的所有信息。为了解决此类失败，我们提出了一个\ textit {基于反事实的信息瓶颈（CSIB）}学习算法，该算法可恢复不变的功能。即使从单个环境访问数据时，提出的算法也可以工作，并且在理论上对二进制和多类问题都具有一致的结果。我们对三个合成数据集进行了经验实验，以验证我们提出的方法的功效。

尽管在各种应用中取得了显着成功，但众所周知，在呈现出分发数据时，深度学习可能会失败。为了解决这一挑战，我们考虑域泛化问题，其中使用从相关训练域系列绘制的数据进行训练，然后在不同和看不见的测试域中评估预测器。我们表明，在数据生成的自然模型和伴随的不变性条件下，域泛化问​​题等同于无限维约束的统计学习问题;此问题构成了我们的方法的基础，我们呼叫基于模型的域泛化。由于解决深度学习中受约束优化问题的固有挑战，我们利用非凸显二元性理论，在二元间隙上紧张的界限发展这种统计问题的不受约束放松。基于这种理论动机，我们提出了一种具有收敛保证的新型域泛化算法。在我们的实验中，我们在几个基准中报告了最多30个百分点的阶段概括基座，包括彩色，Camelyon17-Wilds，FMOW-Wilds和PAC。

分数（OOD）学习涉及培训和测试数据遵循不同分布的方案。尽管在机器学习中已经深入研究了一般的OOD问题，但图形OOD只是一个新兴领域。目前，缺少针对图形OOD方法评估的系统基准。在这项工作中，我们旨在为图表开发一个被称为GOOD的OOD基准。我们明确地在协变量和概念变化和设计数据拆分之间进行了区分，以准确反映不同的变化。我们考虑图形和节点预测任务，因为在设计变化时存在关键差异。总体而言，Good包含8个具有14个域选择的数据集。当与协变量，概念和无移位结合使用时，我们获得了42个不同的分裂。我们在7种常见的基线方法上提供了10种随机运行的性能结果。这总共导致294个数据集模型组合。我们的结果表明，分布和OOD设置之间的性能差距很大。我们的结果还阐明了通过不同方法的协变量和概念转移之间的不同性能趋势。我们的良好基准是一个不断增长的项目，并希望随着该地区的发展，数量和种类繁多。可以通过$ \ href {https://github.com/divelab/good/} {\ text {https://github.com/divelab/good/good/}} $访问良好基准。

从多个域收集的现实世界数据可以在多个属性上具有多个不同的分布变化。但是，域概括（DG）算法的最新进展仅关注对单个属性的特定变化。我们介绍了具有多属性分布变化的数据集，并发现现有的DG算法无法概括。为了解释这一点，我们使用因果图来根据虚假属性与分类标签之间的关系来表征不同类型的变化。每个多属性因果图都需要对观察到的变量进行不同的约束，因此，基于单个固定独立性约束的任何算法都不能在所有变化中正常工作。我们提出了因果自适应约束最小化（CACM），这是一种用于识别正则化的正确独立性约束的新算法。完全合成，MNIST和小型NORB数据集的结果，涵盖了二进制和多价值属性和标签，确认我们的理论主张：正确的独立性约束导致未见域的最高准确性，而不正确的约束则无法做到这一点。我们的结果表明，建模数据生成过程中固有的因果关系的重要性：在许多情况下，如果没有此信息，就不可能知道正确的正规化约束。

现实世界的分类问题必须与域移位竞争，该域移动是部署模型的域之间的（潜在）不匹配以及收集训练数据的域。处理此类问题的方法必须指定域之间哪种结构与什么变化。一个自然的假设是，因果关系（结构）关系在所有领域都是不变的。然后，很容易学习仅取决于其因果父母的标签$ y $的预测指标。但是，许多现实世界中的问题是“反农产品”，因为$ y $是协变量$ x $的原因 - 在这种情况下，$ y $没有因果父母，而天真的因果不变性是没有用的。在本文中，我们研究了在特定的域转移概念下的表示形式学习，该概念既尊重因果不变性又自然处理“反毒物”结构。我们展示了如何利用域的共享因果结构来学习一个表示不变预测因子的表示，并且还允许在新域中快速适应。关键是将因果假设转化为学习原理，这些学习原理“不变”和“不稳定”特征。关于合成数据和现实世界数据的实验证明了所提出的学习算法的有效性。代码可在https://github.com/ybjiaang/actir上找到。

现实世界机器学习部署的特点是源（训练）和目标（测试）分布之间的不匹配，可能导致性能下降。在这项工作中，我们研究了仅使用标记的源数据和未标记的目标数据来预测目标域精度的方法。我们提出了平均阈值的置信度（A​​TC），一种实用的方法，用于了解模型的置信度的阈值，预测精度作为模型置信度超过该阈值的未标记示例的分数。 ATC优于多种模型架构的先前方法，分发班次类型（例如，由于综合损坏，数据集再现或新颖的群体）和数据集（野外，想象成，品种，CNIST）。在我们的实验中，ATC估计目标性能$ 2 $ 2美元 - 比以前的方法更准确地获得4美元。我们还探讨了问题的理论基础，证明通常，识别精度与识别最佳预测因子一样难以识别，因此，任何方法的功效都依赖于（可能是未列区）假设对移位的性质。最后，在一些玩具分布中分析了我们的方法，我们提供了有关其工作时的见解。

分销（OOD）泛化问题的目标是培训推广所有环境的预测因子。此字段中的流行方法使用这样的假设，即这种预测器应为\ Texit {不变预测器}，该{不变预测仪}捕获跨环境仍然不变的机制。虽然这些方法在各种案例研究中进行了实验成功，但仍然有很多关于这一假设的理论验证的空间。本文介绍了一系列不变预测因素所必需的一系列理论条件，以实现ood最优性。我们的理论不仅适用于非线性案例，还概括了\ CiteT {Rojas2018Invariant}中使用的必要条件。我们还从我们的理论中得出渐变对齐算法，并展示了\ Citet {Aubinlinear}提出的三个\ Texit {不变性单元测试}中的两种竞争力。

在使用不同的培训环境展示时，获得机器学习任务的可推广解决方案的一种方法是找到数据的\ textit {不变表示}。这些是协变量的表示形式，以至于表示形式的最佳模型在培训环境之间是不变的。在线性结构方程模型（SEMS）的背景下，不变表示可能使我们能够以分布范围的保证（即SEM中的干预措施都有牢固的模型学习模型。为了解决{\ em有限示例}设置中不变的表示问题，我们考虑$ \ epsilon $ approximate不变性的概念。我们研究以下问题：如果表示给定数量的培训干预措施大致相当不变，那么在更大的看不见的SEMS集合中，它是否会继续大致不变？这种较大的SEM集合是通过参数化的干预措施来生成的。受PAC学习的启发，我们获得了有限样本的分布概括，保证了近似不变性，该概述\ textit {概率}在没有忠实假设的线性SEMS家族上。我们的结果表明，当干预站点仅限于恒定大小的子集的恒定限制节点的恒定子集时，界限不会在环境维度上扩展。我们还展示了如何将结果扩展到结合潜在变量的线性间接观察模型。

最近证明，接受SGD训练的神经网络优先依赖线性预测的特征，并且可以忽略复杂的，同样可预测的功能。这种简单性偏见可以解释他们缺乏分布（OOD）的鲁棒性。学习任务越复杂，统计工件（即选择偏见，虚假相关性）的可能性就越大比学习的机制更简单。我们证明可以减轻简单性偏差并改善了OOD的概括。我们使用对其输入梯度对齐的惩罚来训练一组类似的模型以不同的方式拟合数据。我们从理论和经验上展示了这会导致学习更复杂的预测模式的学习。 OOD的概括从根本上需要超出I.I.D.示例，例如多个培训环境，反事实示例或其他侧面信息。我们的方法表明，我们可以将此要求推迟到独立的模型选择阶段。我们获得了SOTA的结果，可以在视觉域偏置数据和概括方面进行视觉识别。该方法 - 第一个逃避简单性偏见的方法 - 突出了需要更好地理解和控制深度学习中的归纳偏见。