数据所有者面临着对数据的使用如何损害不足的社区的责任。利益相关者希望确定导致算法偏向任何特定人口群体的数据的特征，例如，其种族，性别，年龄和/或宗教。具体而言，我们有兴趣识别特征空间的子集，在该特征空间中，从特征到观察到的结果之间的地面真相响应函数在人群组之间有所不同。为此，我们提出了一种决策树算法的森林，该算法产生了一个分数，该分数捕获个人的反应随敏感属性而变化的可能性。从经验上讲，我们发现我们的方法使我们能够识别出最有可能被几个分类器错误分类的个人，包括随机森林，逻辑回归，支持向量机和K-Neartivt Neighbors。我们方法的优点是，它允许利益相关者表征可能有助于歧视的风险样本，并使用预见来估计即将到来的样本的风险。

Colleges and universities use predictive analytics in a variety of ways to increase student success rates. Despite the potential for predictive analytics, two major barriers exist to their adoption in higher education: (a) the lack of democratization in deployment, and (b) the potential to exacerbate inequalities. Education researchers and policymakers encounter numerous challenges in deploying predictive modeling in practice. These challenges present in different steps of modeling including data preparation, model development, and evaluation. Nevertheless, each of these steps can introduce additional bias to the system if not appropriately performed. Most large-scale and nationally representative education data sets suffer from a significant number of incomplete responses from the research participants. While many education-related studies addressed the challenges of missing data, little is known about the impact of handling missing values on the fairness of predictive outcomes in practice. In this paper, we set out to first assess the disparities in predictive modeling outcomes for college-student success, then investigate the impact of imputation techniques on the model performance and fairness using a commonly used set of metrics. We conduct a prospective evaluation to provide a less biased estimation of future performance and fairness than an evaluation of historical data. Our comprehensive analysis of a real large-scale education dataset reveals key insights on modeling disparities and how imputation techniques impact the fairness of the student-success predictive outcome under different testing scenarios. Our results indicate that imputation introduces bias if the testing set follows the historical distribution. However, if the injustice in society is addressed and consequently the upcoming batch of observations is equalized, the model would be less biased.

如今机器学习（ML）技术在许多社交敏感的系统中广泛采用，因此需要仔细研究这些系统所采取的决策的公平性。已经提出了许多方法来解决，并确保没有针对个人或特定群体的偏见，这可能来自偏置训练数据集或算法设计。在这方面，我们提出了一种称为eifffel的公平强化方法：通过翻转叶片来强制森林中的公平，该叶片剥夺了基于树木的或基于叶片的后处理策略来重新制作给定森林的选定决策树的叶子。实验结果表明，我们的方法实现了用户定义的群体公平程度，而不会失去大量的准确性。

公平性是确保机器学习（ML）预测系统不会歧视特定个人或整个子人群（尤其是少数族裔）的重要要求。鉴于观察公平概念的固有主观性，文献中已经引入了几种公平概念。本文是一项调查，说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外，与文献中的其他调查不同，它解决了以下问题：哪种公平概念最适合给定的现实世界情景，为什么？我们试图回答这个问题的尝试包括（1）确定手头现实世界情景的一组与公平相关的特征，（2）分析每个公平概念的行为，然后（3）适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用，以导航相对较大的ML目录。

Motivated by the growing importance of reducing unfairness in ML predictions, Fair-ML researchers have presented an extensive suite of algorithmic 'fairness-enhancing' remedies. Most existing algorithms, however, are agnostic to the sources of the observed unfairness. As a result, the literature currently lacks guiding frameworks to specify conditions under which each algorithmic intervention can potentially alleviate the underpinning cause of unfairness. To close this gap, we scrutinize the underlying biases (e.g., in the training data or design choices) that cause observational unfairness. We present the conceptual idea and a first implementation of a bias-injection sandbox tool to investigate fairness consequences of various biases and assess the effectiveness of algorithmic remedies in the presence of specific types of bias. We call this process the bias(stress)-testing of algorithmic interventions. Unlike existing toolkits, ours provides a controlled environment to counterfactually inject biases in the ML pipeline. This stylized setup offers the distinct capability of testing fairness interventions beyond observational data and against an unbiased benchmark. In particular, we can test whether a given remedy can alleviate the injected bias by comparing the predictions resulting after the intervention in the biased setting with true labels in the unbiased regime-that is, before any bias injection. We illustrate the utility of our toolkit via a proof-of-concept case study on synthetic data. Our empirical analysis showcases the type of insights that can be obtained through our simulations.

It is of critical importance to be aware of the historical discrimination embedded in the data and to consider a fairness measure to reduce bias throughout the predictive modeling pipeline. Given various notions of fairness defined in the literature, investigating the correlation and interaction among metrics is vital for addressing unfairness. Practitioners and data scientists should be able to comprehend each metric and examine their impact on one another given the context, use case, and regulations. Exploring the combinatorial space of different metrics for such examination is burdensome. To alleviate the burden of selecting fairness notions for consideration, we propose a framework that estimates the correlation among fairness notions. Our framework consequently identifies a set of diverse and semantically distinct metrics as representative for a given context. We propose a Monte-Carlo sampling technique for computing the correlations between fairness metrics by indirect and efficient perturbation in the model space. Using the estimated correlations, we then find a subset of representative metrics. The paper proposes a generic method that can be generalized to any arbitrary set of fairness metrics. We showcase the validity of the proposal using comprehensive experiments on real-world benchmark datasets.

住院患者的高血糖治疗对发病率和死亡率都有重大影响。这项研究使用了大型临床数据库来预测需要住院的糖尿病患者的需求，这可能会改善患者的安全性。但是，这些预测可能容易受到社会决定因素（例如种族，年龄和性别）造成的健康差异的影响。这些偏见必须在数据收集过程的早期，在进入系统之前就可以消除，并通过模型预测加强，从而导致模型决策的偏见。在本文中，我们提出了一条能够做出预测以及检测和减轻偏见的机器学习管道。该管道分析了临床数据，确定是否存在偏见，将其删除，然后做出预测。我们使用实验证明了模型预测中的分类准确性和公平性。结果表明，当我们在模型早期减轻偏见时，我们会得到更公平的预测。我们还发现，随着我们获得更好的公平性，我们牺牲了一定程度的准确性，这在先前的研究中也得到了验证。我们邀请研究界为确定可以通过本管道解决的其他因素做出贡献。

分类，一种重大研究的数据驱动机器学习任务，驱动越来越多的预测系统，涉及批准的人类决策，如贷款批准和犯罪风险评估。然而，分类器经常展示歧视性行为，特别是当呈现有偏置数据时。因此，分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣，包括公平分类的主题。公平分类的跨学科努力，具有最大存在的机器学习研究，导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中，我们对13个公平分类方法和额外变种的广泛分析，超越，公平，公平，效率，可扩展性，对数据误差的鲁棒性，对潜在的ML模型，数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则，并确定以数据管理为中心的解决方案可能产生最大影响的区域。

本文总结并评估了追求人工智能（AI）系统公平性的各种方法，方法和技术。它检查了这些措施的优点和缺点，并提出了定义，测量和防止AI偏见的实际准则。特别是，它警告了一些简单而常见的方法来评估AI系统中的偏见，并提供更复杂和有效的替代方法。该论文还通过在高影响力AI系统的不同利益相关者之间提供通用语言来解决该领域的广泛争议和困惑。它描述了涉及AI公平的各种权衡，并提供了平衡它们的实用建议。它提供了评估公平目标成本和收益的技术，并定义了人类判断在设定这些目标中的作用。本文为AI从业者，组织领导者和政策制定者提供了讨论和指南，以及针对更多技术受众的其他材料的各种链接。提供了许多现实世界的例子，以从实际角度阐明概念，挑战和建议。

A recent explosion of research focuses on developing methods and tools for building fair predictive models. However, most of this work relies on the assumption that the training and testing data are representative of the target population on which the model will be deployed. However, real-world training data often suffer from selection bias and are not representative of the target population for many reasons, including the cost and feasibility of collecting and labeling data, historical discrimination, and individual biases. In this paper, we introduce a new framework for certifying and ensuring the fairness of predictive models trained on biased data. We take inspiration from query answering over incomplete and inconsistent databases to present and formalize the problem of consistent range approximation (CRA) of answers to queries about aggregate information for the target population. We aim to leverage background knowledge about the data collection process, biased data, and limited or no auxiliary data sources to compute a range of answers for aggregate queries over the target population that are consistent with available information. We then develop methods that use CRA of such aggregate queries to build predictive models that are certifiably fair on the target population even when no external information about that population is available during training. We evaluate our methods on real data and demonstrate improvements over state of the art. Significantly, we show that enforcing fairness using our methods can lead to predictive models that are not only fair, but more accurate on the target population.

越来越多地部署算法和模型来为人们提供决定，不可避免地会影响他们的生活。结果，负责开发这些模型的人必须仔细评估他们对不同人群的影响并偏爱群体公平，也就是说，确保由敏感人口属性（例如种族或性别）确定的群体不会受到不公正的对待。为了实现这一目标，这些人口统计学属性的可用性（意识）是评估这些模型影响的人的基本基础。不幸的是，收集和存储这些属性通常与行业实践以及有关数据最小化和隐私的立法冲突。因此，即使是从开发它们的公司内部，也很难衡量训练有素的模型的群体公平性。在这项工作中，我们通过使用量化技术来解决在敏感属性不认识的情况下衡量群体公平性的问题，这是一项与直接提供群体级别的患病率估算（而不是个人级别的类标签）有关的监督学习任务。我们表明，量化方法特别适合解决未通行问题的公平性，因为它们是可行的不可避免的分配变化，同时将（理想的）目标取消了（不可避免的）允许（不良）的副作用的（理想的）目标个人敏感属性的推断。更详细地说，我们表明，在不认识下的公平性可以作为量化问题，并通过量化文献中的可靠方法解决。我们表明，这些方法在五个实验方案中测量人口统计学的先前方法都优于以前的方法，这对应于使分类器公平性估计不认识的重要挑战。

在高风险领域（人们的生计受到影响）中，机器学习的日益增长的使用迫切需要解释和公平的算法。在这些设置中，此类算法的准确性也至关重要。考虑到这些需求，我们提出了一个混合整数优化（MIO）框架，用于学习具有固定深度的最佳分类树，可以通过任意域特定的公平约束来方便地增强。我们基于在流行数据集上建造公平树木的最先进方法基准测试；鉴于固定的歧视阈值，我们的方法平均将样本外（OOS）的精度提高了2.3个百分点，并在88.9％的实验上获得了更高的OOS精度。我们还将各种算法公平概念纳入我们的方法中，展示其多功能建模能力，使决策者可以微调准确性和公平性之间的权衡。

数据驱动的AI系统可以根据性别或种族等保护属性导致歧视。这种行为的一个原因是训练数据中的编码的社会偏见（例如，女性是不平衡的，这在不平衡的阶级分布情况下加剧（例如，“授予”是少数阶级）。最先进的公平知识机器学习方法专注于保持\ emph {总体}分类准确性，同时提高公平性。在类别的不平衡存在下，这种方法可以进一步加剧歧视问题，通过否认已经不足的群体（例如，\ Texit {女性}）的基本社会特权（例如，平等信用机会）的基本权利。为此，我们提出了Adafair，一个公平知识的提升集合，可以在每轮的数据分布中改变数据分布，同时考虑到阶级错误，还考虑到基于部分集合累积累积的模型的公平相关性能。除了培训集团的培训促进，除了每轮歧视，Adafair通过优化用于平衡错误性能（BER）的集成学习者的数量，直接在训练后阶段解决不平衡。 Adafair可以促进基于不同的基于奇偶阶级的公平概念并有效减轻歧视性结果。我们的实验表明，我们的方法可以在统计阶段，平等机会方面实现平价，同时保持所有课程的良好预测性能。

自几十年前以来，已经证明了机器学习评估贷款申请人信誉的实用性。但是，自动决策可能会导致对群体或个人的不同治疗方法，可能导致歧视。本文基准了12种最大的偏见缓解方法，讨论其绩效，该绩效基于5个不同的公平指标，获得的准确性以及为金融机构提供的潜在利润。我们的发现表明，在确保准确性和利润的同时，实现公平性方面的困难。此外，它突出了一些表现最好和最差的人，并有助于弥合实验机学习及其工业应用之间的差距。

作为一种预测模型的评分系统具有可解释性和透明度的显着优势，并有助于快速决策。因此，评分系统已广泛用于各种行业，如医疗保健和刑事司法。然而，这些模型中的公平问题长期以来一直受到批评，并且使用大数据和机器学习算法在评分系统的构建中提高了这个问题。在本文中，我们提出了一般框架来创建公平知识，数据驱动评分系统。首先，我们开发一个社会福利功能，融入了效率和群体公平。然后，我们将社会福利最大化问题转换为机器学习中的风险最小化任务，并在混合整数编程的帮助下导出了公平感知评分系统。最后，导出了几种理论界限用于提供参数选择建议。我们拟议的框架提供了适当的解决方案，以解决进程中的分组公平问题。它使政策制定者能够设置和定制其所需的公平要求以及其他特定于应用程序的约束。我们用几个经验数据集测试所提出的算法。实验证据支持拟议的评分制度在实现利益攸关方的最佳福利以及平衡可解释性，公平性和效率的需求方面的有效性。

We study critical systems that allocate scarce resources to satisfy basic needs, such as homeless services that provide housing. These systems often support communities disproportionately affected by systemic racial, gender, or other injustices, so it is crucial to design these systems with fairness considerations in mind. To address this problem, we propose a framework for evaluating fairness in contextual resource allocation systems that is inspired by fairness metrics in machine learning. This framework can be applied to evaluate the fairness properties of a historical policy, as well as to impose constraints in the design of new (counterfactual) allocation policies. Our work culminates with a set of incompatibility results that investigate the interplay between the different fairness metrics we propose. Notably, we demonstrate that: 1) fairness in allocation and fairness in outcomes are usually incompatible; 2) policies that prioritize based on a vulnerability score will usually result in unequal outcomes across groups, even if the score is perfectly calibrated; 3) policies using contextual information beyond what is needed to characterize baseline risk and treatment effects can be fairer in their outcomes than those using just baseline risk and treatment effects; and 4) policies using group status in addition to baseline risk and treatment effects are as fair as possible given all available information. Our framework can help guide the discussion among stakeholders in deciding which fairness metrics to impose when allocating scarce resources.

A significant level of stigma and inequality exists in mental healthcare, especially in under-served populations, which spreads through collected data. When not properly accounted for, machine learning (ML) models learned from data can reinforce the structural biases already present in society. Here, we present a systematic study of bias in ML models designed to predict depression in four different case studies covering different countries and populations. We find that standard ML approaches show regularly biased behaviors. However, we show that standard mitigation techniques, and our own post-hoc method, can be effective in reducing the level of unfair bias. We provide practical recommendations to develop ML models for depression risk prediction with increased fairness and trust in the real world. No single best ML model for depression prediction provides equality of outcomes. This emphasizes the importance of analyzing fairness during model selection and transparent reporting about the impact of debiasing interventions.

机器学习应用在我们的社会中变得越来越普遍。由于这些决策系统依赖于数据驱动的学习，因此风险是它们会系统地传播嵌入数据中的偏见。在本文中，我们建议通过引入一个框架来生成具有特定类型偏差及其组合的综合数据的框架来分析偏见。我们深入研究了这些偏见的性质，讨论了它们与道德和正义框架的关系。最后，我们利用我们提出的合成数据生成器在不同的情况下进行不同的偏置组合进行实验。因此，我们分析了偏见对未经降低和缓解机器学习模型的性能和公平度量的影响。

近年来数据的快速增长导致了经常用于在现实世界中做出决定的复杂学习算法的发展。虽然算法的积极影响是巨大的，但需要减轻由训练样本或关于数据样本的隐含假设产生的任何偏差。当算法用于自动决策系统时，这种需求变得至关重要。已经提出了许多方法来通过检测和减轻优化阶段的偏差来进行学习算法。然而，由于缺乏通用的公平定义，这些算法优化了对公平性的特定解释，这使得它们有限地用于现实世界。此外，对所有算法共同的潜在假设是实现公平性和去除偏差的表观等价。换句话说，没有用户定义的标准，可以结合到用于产生公平算法的优化过程中。通过现有方法的这些缺点，我们提出了通过将用户约束纳入优化过程来产生公平算法的菲尔格氏术。此外，我们通过估计来自数据的最预测性功能来解释该过程。我们展示了我们使用不同公平标准对几个真实世界数据集的方法的功效。

多核电是一个理想的公平标准，该标准限制了数据中灵活定义的组之间的校准误差，同时保持整体校准。但是，当结果概率与群体成员资格相关时，基本速率较低的组的校准误差比基本速率较高的组显示出更高的校准误差。结果，决策者仍然有可能学习对特定群体的信任或不信任模型预测。为了减轻这一点，我们提出了比例的数字净化，该标准限制了组之间和预测箱之间的校准误差百分比。我们证明，满足比例的多中心范围界定了模型的数字以及它的差异校准，这是一个受充分性的公平概念启发的更强的公平标准。我们为后处理风险预测模型提供了有效的算法，以进行比例的多核电并进行经验评估。我们进行仿真研究，并研究PMC-POSTPROCESSSPOCESS在急诊科患者入院预测中的现实应用。我们观察到，比例的数字启动是控制模型在分类性能方面几乎没有成本的校准公平度的同时衡量量标准的有希望的标准。