机器学习模型何时预测个人的未来，什么时候背诵个人的模式？在这项工作中，我们提出了这两种预测途径的区别，这些预测途径得到了理论，经验和规范性论点的支持。我们提案的中心是一个简单有效的统计测试家族，称为向后基线，它们证明了是否以及在何种程度上叙述了过去。我们的统计理论提供了解释向后基线的指导，建立了不同基准和熟悉的统计概念之间的等价。具体而言，我们从只有背景变量和系统的预测来审核预测系统作为黑匣子进行审核，以审核预测系统。从经验上讲，我们对纵向面板调查得出的不同预测任务的框架进行了评估，这表明将向后基线纳入机器学习实践的便捷性和有效性。

We propose a criterion for discrimination against a specified sensitive attribute in supervised learning, where the goal is to predict some target based on available features. Assuming data about the predictor, target, and membership in the protected group are available, we show how to optimally adjust any learned predictor so as to remove discrimination according to our definition. Our framework also improves incentives by shifting the cost of poor classification from disadvantaged groups to the decision maker, who can respond by improving the classification accuracy.In line with other studies, our notion is oblivious: it depends only on the joint statistics of the predictor, the target and the protected attribute, but not on interpretation of individual features. We study the inherent limits of defining and identifying biases based on such oblivious measures, outlining what can and cannot be inferred from different oblivious tests.We illustrate our notion using a case study of FICO credit scores.

Machine learning can impact people with legal or ethical consequences when it is used to automate decisions in areas such as insurance, lending, hiring, and predictive policing. In many of these scenarios, previous decisions have been made that are unfairly biased against certain subpopulations, for example those of a particular race, gender, or sexual orientation. Since this past data may be biased, machine learning predictors must account for this to avoid perpetuating or creating discriminatory practices. In this paper, we develop a framework for modeling fairness using tools from causal inference. Our definition of counterfactual fairness captures the intuition that a decision is fair towards an individual if it is the same in (a) the actual world and (b) a counterfactual world where the individual belonged to a different demographic group. We demonstrate our framework on a real-world problem of fair prediction of success in law school. * Equal contribution. This work was done while JL was a Research Fellow at the Alan Turing Institute. 2 https://obamawhitehouse.archives.gov/blog/2016/05/04/big-risks-big-opportunities-intersection-big-dataand-civil-rights 31st Conference on Neural Information Processing Systems (NIPS 2017),

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

做出公正的决定对于在社交环境中实施机器学习算法至关重要。在这项工作中，我们考虑了反事实公平的著名定义[Kusner等，Neurips，2017]。首先，我们表明一种满足反事实公平的算法也满足人口统计学的偏见，这是一个更简单的公平限制。同样，我们表明所有满足人口统计学奇偶校验的算法都可以进行微不足道的修改以满足反事实公平。总之，我们的结果表明，反事实公平基本上等同于人口统计学，这对不断增长的反事实公平工作具有重要意义。然后，我们从经验上验证了我们的理论发现，分析了三种现有的算法，以针对三个简单的基准分析反事实公平。我们发现，在几个数据集上，两种简单的基准算法在公平，准确性和效率方面都优于所有三种现有算法。我们的分析使我们实现了一个具体的公平目标：保留受保护群体中个人的顺序。我们认为，围绕个人在受保护群体中的秩序的透明度使公平的算法更加值得信赖。根据设计，两个简单的基准算法满足了这个目标，而现有的反事实公平算法则不能。

A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.

作为算法公平性的概念，多核算已被证明是一个强大而多才多艺的概念，其含义远远超出了其最初的意图。这个严格的概念 - 预测在丰富的相交子群中得到了很好的校准 - 以成本为代价提供了强大的保证：学习成型预测指标的计算和样本复杂性很高，并且随着类标签的数量而成倍增长。相比之下，可以更有效地实现多辅助性的放松概念，但是，仅假设单独使用多学历，就无法保证许多最可取的多核能概念。这种紧张局势提出了一个关键问题：我们能否以多核式式保证来学习预测因素，以与多审核级相称？在这项工作中，我们定义并启动了低度多核的研究。低度的多核净化定义了越来越强大的多组公平性概念的层次结构，这些概念跨越了多辅助性和极端的多核电的原始表述。我们的主要技术贡献表明，与公平性和准确性有关的多核算的关键特性实际上表现为低级性质。重要的是，我们表明，低度的数学振动可以比完整的多核电更有效。在多级设置中，实现低度多核的样品复杂性在完整的多核电上呈指数级（在类中）提高。我们的工作提供了令人信服的证据，表明低度多核能代表了一个最佳位置，将计算和样品效率配对，并提供了强大的公平性和准确性保证。

个人概率是指仅实现一次的结果的概率：明天下雨的可能性，爱丽丝在未来12个月内死亡的可能性，鲍勃在未来18个月内因暴力犯罪而被捕的可能性等等。个人概率从根本上是不可知的。但是，我们表明，有两个在数据分发中的数据或如何从数据分发中进行采样的当事方不同意在如何建模个人概率上不同意。这是因为实质上不同意的任何两个模型的个人概率模型都可以用来凭经验伪造和改善两个模型之一。在“和解”过程中，这可以有效地迭代，该过程导致双方同意的模型优于他们开始的模型，并且（几乎）本身（几乎）都同意了各个概率（几乎）到处的预测。我们得出的结论是，尽管个人概率是不可知的，但它们是通过必须导致共识的计算和数据有效过程来竞争的。因此，我们无法发现自己​​有两个同样准确且不可解决的模型，这些模型在其预测中基本上不同意 - 为有时所谓的预测性或模型多样性问题提供答案。

在高赌注域中的机器学习工具的实际应用通常被调节为公平，因此预测目标应该满足相对于受保护属性的奇偶校验的一些定量概念。然而，公平性和准确性之间的确切权衡并不完全清楚，即使是对分类问题的基本范式也是如此。在本文中，我们通过在任何公平分类器的群体误差之和中提供较低的界限，在分类设置中表征统计奇偶校验和准确性之间的固有权衡。我们不可能的定理可以被解释为公平的某种不确定性原则：如果基本率不同，那么符合统计奇偶校验的任何公平分类器都必须在至少一个组中产生很大的错误。我们进一步扩展了这一结果，以便在学习公平陈述的角度下给出任何（大约）公平分类者的联合误差的下限。为了表明我们的下限是紧张的，假设Oracle访问贝叶斯（潜在不公平）分类器，我们还构造了一种返回一个随机分类器的算法，这是最佳和公平的。有趣的是，当受保护的属性可以采用超过两个值时，这个下限的扩展不承认分析解决方案。然而，在这种情况下，我们表明，通过解决线性程序，我们可以通过解决我们作为电视 - 重心问题的术语，电视距离的重心问题来有效地计算下限。在上面，我们证明，如果集团明智的贝叶斯最佳分类器是关闭的，那么学习公平的表示导致公平的替代概念，称为准确性奇偶校验，这使得错误率在组之间关闭。最后，我们还在现实世界数据集上进行实验，以确认我们的理论发现。

我们在分类的背景下研究公平，其中在接收器的曲线下的区域（AUC）下的区域测量的性能。当I型（误报）和II型（假阴性）错误都很重要时，通常使用AUC。然而，相同的分类器可以针对不同的保护组具有显着变化的AUC，并且在现实世界中，通常希望减少这种交叉组差异。我们解决如何选择其他功能，以便最大地改善弱势群体的AUC。我们的结果表明，功能的无条件方差不会通知我们关于AUC公平，而是类条件方差。使用此连接，我们基于功能增强（添加功能）来开发一种新颖的方法Fairauc，以减轻可识别组之间的偏差。我们评估综合性和现实世界（Compas）数据集的Fairauc，并发现它对于相对于基准，最大限度地提高了总体AUC并最大限度地减少了组之间的偏见的基准，它显着改善了弱势群体的AUC。

监管压力测试已成为在美国最大银行设定资本要求的主要工具。美联储使用机密模型来评估在共同的压力方案中针对银行特定投资组合的特定银行成果。作为政策，尽管机构之间存在相当多的异质性，但所有银行都使用相同的模型；单个银行认为，某些模型不适合其业务。在这场辩论中，我们问，单独量身定制的模型的合理聚集是什么？我们认为，简单地跨银行汇总数据平等对待银行，但会遭受两个缺陷的影响：它可能会扭曲合法投资组合功能的影响，并且很容易受到隐含的合法信息的隐含误导来推断银行身份。我们比较了回归公平的各种概念，以解决这些缺陷，考虑到预测准确性和平等待遇。在线性模型的设置中，我们主张估算，然后丢弃中心的银行固定效果，这是可取的，而不是简单地忽略整个银行的差异。我们提供证据表明总体影响可能是重要的。我们还讨论了非线性模型的扩展。

关于人们的预测，例如他们预期的教育成就或信用风险，可以表现出色，并塑造他们旨在预测的结果。了解这些预测对最终结果的因果影响对于预测未来预测模型的含义并选择要部署哪些模型至关重要。但是，该因果估计任务带来了独特的挑战：模型预测通常是输入特征的确定性功能，并且与结果高度相关，这可能使预测的因果效应不可能从协变量的直接效应中解散。我们通过因果可识别性的角度研究了这个问题，尽管该问题完全普遍，但我们突出了三种自然情况，在这些情况下，可以从观察数据中确定预测对结果的因果影响：基于预测或基于预测的决策中的随机化。 ，在数据收集过程中部署的预测模型和离散预测输出的过度参数化。我们从经验上表明，在适当的可识别性条件下，从预测中预测的监督学习的标准变体可以找到特征，预测和结果之间的可转移功能关系，从而得出有关新部署的预测模型的结论。我们的积极结果从根本上依赖于在数据收集期间记录的模型预测，从而提出了重新思考标准数据收集实践的重要性，以使进步能够更好地理解社会成果和表现性反馈循环。

目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。

虽然公平社区已经认识到数据的重要性，但该地区的研究人员主要依赖于UCI成年人的表格数据。来自1994年的美国人口普查调查，该数据集出现在数百名研究论文中，它作为许多算法公平干预措施的开发和比较的基础。我们从可用的美国人口普查源重建了UCI成人数据的超集，并揭示了UCI成人数据集的特质，这些数据集限制了其外部有效性。我们的主要贡献是一套来自美国人口普查调查的新数据集，这扩展了现有数据生态系统进行公平机器学习的研究。我们创建与收入，就业，健康，运输和住房有关的预测任务。数据跨越多年和美国所有国家，允许研究人员研究时间转移和地理变异。我们突出了与公平标准，算法干预措施之间的权衡相关的权衡初始突发的初始突发，以及基于我们的新数据集的分发转移的作用。我们的调查结果通知了正在进行的辩论，挑战一些现有的叙述，并指向未来的研究方向。我们的数据集可在https://github.com/zykls/folktables上获得。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

近年来，解决机器学习公平性（ML）和自动决策的问题引起了处理人工智能的科学社区的大量关注。已经提出了ML中的公平定义的一种不同的定义，认为不同概念是影响人口中个人的“公平决定”的不同概念。这些概念之间的精确差异，含义和“正交性”尚未在文献中完全分析。在这项工作中，我们试图在这个解释中汲取一些订单。

We present a new perspective on loss minimization and the recent notion of Omniprediction through the lens of Outcome Indistingusihability. For a collection of losses and hypothesis class, omniprediction requires that a predictor provide a loss-minimization guarantee simultaneously for every loss in the collection compared to the best (loss-specific) hypothesis in the class. We present a generic template to learn predictors satisfying a guarantee we call Loss Outcome Indistinguishability. For a set of statistical tests--based on a collection of losses and hypothesis class--a predictor is Loss OI if it is indistinguishable (according to the tests) from Nature's true probabilities over outcomes. By design, Loss OI implies omniprediction in a direct and intuitive manner. We simplify Loss OI further, decomposing it into a calibration condition plus multiaccuracy for a class of functions derived from the loss and hypothesis classes. By careful analysis of this class, we give efficient constructions of omnipredictors for interesting classes of loss functions, including non-convex losses. This decomposition highlights the utility of a new multi-group fairness notion that we call calibrated multiaccuracy, which lies in between multiaccuracy and multicalibration. We show that calibrated multiaccuracy implies Loss OI for the important set of convex losses arising from Generalized Linear Models, without requiring full multicalibration. For such losses, we show an equivalence between our computational notion of Loss OI and a geometric notion of indistinguishability, formulated as Pythagorean theorems in the associated Bregman divergence. We give an efficient algorithm for calibrated multiaccuracy with computational complexity comparable to that of multiaccuracy. In all, calibrated multiaccuracy offers an interesting tradeoff point between efficiency and generality in the omniprediction landscape.

算法公平吸引了机器学习社区越来越多的关注。文献中提出了各种定义，但是它们之间的差异和联系并未清楚地解决。在本文中，我们回顾并反思了机器学习文献中先前提出的各种公平概念，并试图与道德和政治哲学，尤其是正义理论的论点建立联系。我们还从动态的角度考虑了公平的询问，并进一步考虑了当前预测和决策引起的长期影响。鉴于特征公平性的差异，我们提出了一个流程图，该流程图包括对数据生成过程，预测结果和诱导的影响的不同类型的公平询问的隐式假设和预期结果。本文展示了与任务相匹配的重要性（人们希望执行哪种公平性）和实现预期目的的手段（公平分析的范围是什么，什么是适当的分析计划）。

测量黑匣子预测算法中变量重要性的最流行方法是利用合成输入，这些输入结合了来自多个受试者的预测变量。这些输入可能是不可能的，身体上不可能的，甚至在逻辑上是不可能的。结果，对这种情况的预测可以基于数据，这与对黑匣子的训练非常不同。我们认为，当解释使用此类值时，用户不能相信预测算法的决定的解释。取而代之的是，我们主张一种称为同类沙普利的方法，该方法基于经济游戏理论，与大多数其他游戏理论方法不同，它仅使用实际观察到的数据来量化可变重要性。莎普利队的同伙通过缩小判断的主题的缩小，被认为与一个或多个功能上的目标主题相似。如果使用它来缩小队列对队列平均值有很大的不同，则功能很重要。我们在算法公平问题上进行了说明，其中必须将重要性归因于未经训练模型的保护变量。对于每个主题和每个预测变量，我们可以计算该预测因子对受试者的预测响应或对其实际响应的重要性。这些值可以汇总，例如在所有黑色受试者上，我们提出了一个贝叶斯引导程序来量化个人和骨料莎普利值的不确定性。

最近的工作突出了因果关系在设计公平决策算法中的作用。但是，尚不清楚现有的公平因果概念如何相互关系，或者将这些定义作为设计原则的后果是什么。在这里，我们首先将算法公平性的流行因果定义组装成两个广泛的家庭：（1）那些限制决策对反事实差异的影响的家庭； （2）那些限制了法律保护特征（如种族和性别）对决策的影响。然后，我们在分析和经验上表明，两个定义的家庭\ emph {几乎总是总是} - 从一种理论意义上讲 - 导致帕累托占主导地位的决策政策，这意味着每个利益相关者都有一个偏爱的替代性，不受限制的政策从大型自然级别中绘制。例如，在大学录取决定的情况下，每位利益相关者都不支持任何对学术准备和多样性的中立或积极偏好的利益相关者，将不利于因果公平定义的政策。的确，在因果公平的明显定义下，我们证明了由此产生的政策要求承认所有具有相同概率的学生，无论学术资格或小组成员身份如何。我们的结果突出了正式的局限性和因果公平的常见数学观念的潜在不利后果。