预测学生的学习成绩是教育数据挖掘(EDM)的关键任务之一。传统上,这种模型的高预测质量被认为至关重要。最近,公平和歧视W.R.T.受保护的属性(例如性别或种族)引起了人们的关注。尽管EDM中有几种公平感知的学习方法,但对这些措施的比较评估仍然缺失。在本文中,我们评估了各种教育数据集和公平感知学习模型上学生绩效预测问题的不同群体公平措施。我们的研究表明,公平度量的选择很重要,对于选择等级阈值的选择同样。
translated by 谷歌翻译
由于决策越来越依赖机器学习和(大)数据,数据驱动AI系统的公平问题正在接受研究和行业的增加。已经提出了各种公平知识的机器学习解决方案,该解决方案提出了数据,学习算法和/或模型输出中的公平相关的干预措施。然而,提出新方法的重要组成部分正在经验上对其进行验证在代表现实和不同的设置的基准数据集上。因此,在本文中,我们概述了用于公平知识机器学习的真实数据集。我们专注于表格数据作为公平感知机器学习的最常见的数据表示。我们通过识别不同属性之间的关系,特别是w.r.t.来开始分析。受保护的属性和类属性,使用贝叶斯网络。为了更深入地了解数据集中的偏见和公平性,我们调查使用探索性分析的有趣关系。
translated by 谷歌翻译
Colleges and universities use predictive analytics in a variety of ways to increase student success rates. Despite the potential for predictive analytics, two major barriers exist to their adoption in higher education: (a) the lack of democratization in deployment, and (b) the potential to exacerbate inequalities. Education researchers and policymakers encounter numerous challenges in deploying predictive modeling in practice. These challenges present in different steps of modeling including data preparation, model development, and evaluation. Nevertheless, each of these steps can introduce additional bias to the system if not appropriately performed. Most large-scale and nationally representative education data sets suffer from a significant number of incomplete responses from the research participants. While many education-related studies addressed the challenges of missing data, little is known about the impact of handling missing values on the fairness of predictive outcomes in practice. In this paper, we set out to first assess the disparities in predictive modeling outcomes for college-student success, then investigate the impact of imputation techniques on the model performance and fairness using a commonly used set of metrics. We conduct a prospective evaluation to provide a less biased estimation of future performance and fairness than an evaluation of historical data. Our comprehensive analysis of a real large-scale education dataset reveals key insights on modeling disparities and how imputation techniques impact the fairness of the student-success predictive outcome under different testing scenarios. Our results indicate that imputation introduces bias if the testing set follows the historical distribution. However, if the injustice in society is addressed and consequently the upcoming batch of observations is equalized, the model would be less biased.
translated by 谷歌翻译
公平性是确保机器学习(ML)预测系统不会歧视特定个人或整个子人群(尤其是少数族裔)的重要要求。鉴于观察公平概念的固有主观性,文献中已经引入了几种公平概念。本文是一项调查,说明了通过大量示例和场景之间的公平概念之间的微妙之处。此外,与文献中的其他调查不同,它解决了以下问题:哪种公平概念最适合给定的现实世界情景,为什么?我们试图回答这个问题的尝试包括(1)确定手头现实世界情景的一组与公平相关的特征,(2)分析每个公平概念的行为,然后(3)适合这两个元素以推荐每个特定设置中最合适的公平概念。结果总结在决策图中可以由从业者和政策制定者使用,以导航相对较大的ML目录。
translated by 谷歌翻译
Algorithm fairness has started to attract the attention of researchers in AI, Software Engineering and Law communities, with more than twenty different notions of fairness proposed in the last few years. Yet, there is no clear agreement on which definition to apply in each situation. Moreover, the detailed differences between multiple definitions are difficult to grasp. To address this issue, this paper collects the most prominent definitions of fairness for the algorithmic classification problem, explains the rationale behind these definitions, and demonstrates each of them on a single unifying case-study. Our analysis intuitively explains why the same case can be considered fair according to some definitions and unfair according to others.
translated by 谷歌翻译
如今,教育技术越来越多地使用数据和机器学习(ML)模型。这为学生,讲师和管理员提供了最佳政策的支持和见解。但是,人们众所周知,ML模型受到偏见的影响,这引起了人们对在教育中使用这些自动化的ML算法的公平,偏见和歧视的担忧,以及其意外且不可预见的负面后果。决策过程中偏见的贡献来自用于培训ML模型和模型体系结构的数据集。本文介绍了两个表格数据集上变压器神经网络公平性的初步调查:法学院和学生会学。与经典ML模型相反,基于变压器的模型在求解分类任务时将这些表格数据集转换为更丰富的表示。我们使用不同的公平指标来评估并检查表格数据集中基于变压器模型的公平性和准确性之间的权衡。从经验上讲,我们的方法在法学院数据集中的公平与绩效之间的权衡显示了令人印象深刻的结果。
translated by 谷歌翻译
分类,一种重大研究的数据驱动机器学习任务,驱动越来越多的预测系统,涉及批准的人类决策,如贷款批准和犯罪风险评估。然而,分类器经常展示歧视性行为,特别是当呈现有偏置数据时。因此,分类公平已经成为一个高优先级的研究区。数据管理研究显示与数据和算法公平有关的主题的增加和兴趣,包括公平分类的主题。公平分类的跨学科努力,具有最大存在的机器学习研究,导致大量的公平概念和尚未系统地评估和比较的广泛方法。在本文中,我们对13个公平分类方法和额外变种的广泛分析,超越,公平,公平,效率,可扩展性,对数据误差的鲁棒性,对潜在的ML模型,数据效率和使用各种指标的稳定性的敏感性和稳定性现实世界数据集。我们的分析突出了对不同指标的影响的新颖见解和高级方法特征对不同方面的性能方面。我们还讨论了选择适合不同实际设置的方法的一般原则,并确定以数据管理为中心的解决方案可能产生最大影响的区域。
translated by 谷歌翻译
数据驱动的AI系统可以根据性别或种族等保护属性导致歧视。这种行为的一个原因是训练数据中的编码的社会偏见(例如,女性是不平衡的,这在不平衡的阶级分布情况下加剧(例如,“授予”是少数阶级)。最先进的公平知识机器学习方法专注于保持\ emph {总体}分类准确性,同时提高公平性。在类别的不平衡存在下,这种方法可以进一步加剧歧视问题,通过否认已经不足的群体(例如,\ Texit {女性})的基本社会特权(例如,平等信用机会)的基本权利。为此,我们提出了Adafair,一个公平知识的提升集合,可以在每轮的数据分布中改变数据分布,同时考虑到阶级错误,还考虑到基于部分集合累积累积的模型的公平相关性能。除了培训集团的培训促进,除了每轮歧视,Adafair通过优化用于平衡错误性能(BER)的集成学习者的数量,直接在训练后阶段解决不平衡。 Adafair可以促进基于不同的基于奇偶阶级的公平概念并有效减轻歧视性结果。我们的实验表明,我们的方法可以在统计阶段,平等机会方面实现平价,同时保持所有课程的良好预测性能。
translated by 谷歌翻译
公平感知机器学习的文献知道很多不同的公平概念。然而,众所周知,不可能满足所有人,因为某些概念相互矛盾。在本文中,我们仔细研究了学业绩效预测(APP)系统,并尝试提出最适合这项任务的公平性。为此,我们扫描了最近的文献提出了有关使用哪种公平概念并将这些准则应用于应用程序的准则。我们的发现表明,基于App的Wysiwyg Worldview以及对人群的潜在长期改善,均等的赔率是最适合APP的概念。
translated by 谷歌翻译
A significant level of stigma and inequality exists in mental healthcare, especially in under-served populations, which spreads through collected data. When not properly accounted for, machine learning (ML) models learned from data can reinforce the structural biases already present in society. Here, we present a systematic study of bias in ML models designed to predict depression in four different case studies covering different countries and populations. We find that standard ML approaches show regularly biased behaviors. However, we show that standard mitigation techniques, and our own post-hoc method, can be effective in reducing the level of unfair bias. We provide practical recommendations to develop ML models for depression risk prediction with increased fairness and trust in the real world. No single best ML model for depression prediction provides equality of outcomes. This emphasizes the importance of analyzing fairness during model selection and transparent reporting about the impact of debiasing interventions.
translated by 谷歌翻译
机器学习(ML)在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定,银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求,这表明自动化的决策对于受保护特征(例如,性别,种族或年龄)通常是公平的,这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如,一个班级(那些获得信用的班级)对于另一个班级(未获得信用的人)可能会过分代表,而特定组(女性)(女性)的代表性可能与另一组(男性)有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡,这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充,讨论弥合失衡学习和群体公平的重要性;并提出了一种新颖的过采样算法,即公平的过采样,该算法既解决偏斜的类别分布和受保护的特征。我们的方法:(i)可以用作标准ML算法的有效预处理算法,以共同解决不平衡和群体权益; (ii)可以与公平感知的学习算法结合使用,以提高其对不同水平不平衡水平的稳健性。此外,我们迈出了一步,将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合,从而将平衡的准确性与公平性结合在一起。
translated by 谷歌翻译
在高风险领域(人们的生计受到影响)中,机器学习的日益增长的使用迫切需要解释和公平的算法。在这些设置中,此类算法的准确性也至关重要。考虑到这些需求,我们提出了一个混合整数优化(MIO)框架,用于学习具有固定深度的最佳分类树,可以通过任意域特定的公平约束来方便地增强。我们基于在流行数据集上建造公平树木的最先进方法基准测试;鉴于固定的歧视阈值,我们的方法平均将样本外(OOS)的精度提高了2.3个百分点,并在88.9%的实验上获得了更高的OOS精度。我们还将各种算法公平概念纳入我们的方法中,展示其多功能建模能力,使决策者可以微调准确性和公平性之间的权衡。
translated by 谷歌翻译
It is of critical importance to be aware of the historical discrimination embedded in the data and to consider a fairness measure to reduce bias throughout the predictive modeling pipeline. Given various notions of fairness defined in the literature, investigating the correlation and interaction among metrics is vital for addressing unfairness. Practitioners and data scientists should be able to comprehend each metric and examine their impact on one another given the context, use case, and regulations. Exploring the combinatorial space of different metrics for such examination is burdensome. To alleviate the burden of selecting fairness notions for consideration, we propose a framework that estimates the correlation among fairness notions. Our framework consequently identifies a set of diverse and semantically distinct metrics as representative for a given context. We propose a Monte-Carlo sampling technique for computing the correlations between fairness metrics by indirect and efficient perturbation in the model space. Using the estimated correlations, we then find a subset of representative metrics. The paper proposes a generic method that can be generalized to any arbitrary set of fairness metrics. We showcase the validity of the proposal using comprehensive experiments on real-world benchmark datasets.
translated by 谷歌翻译
应用标准机器学习方法可以在不同的人口组中产生不等的结果。当在现实世界中使用时,这些不公平可能会产生负面影响。这激发了近年来通过机器学习模型公平分类的各种方法的发展。在本文中,我们考虑修改黑箱机器学习分类器的预测的问题,以便在多种多组设置中实现公平性。为实现这一目标,我们在Hardt等人中扩展了“后处理”方法。 2016年,侧重于二进制分类的公平,以实现公平的多种式分类。我们探讨我们的方法通过系统合成实验产生公平和准确的预测,并在几个公开的现实世界应用数据集中评估歧视 - 公平权衡。我们发现整体而言,当数据集中的个体的数量相对于类和受保护组的数量很高时,我们的方法可以精确地产生轻微的滴度并强制执行公平性。
translated by 谷歌翻译
住院患者的高血糖治疗对发病率和死亡率都有重大影响。这项研究使用了大型临床数据库来预测需要住院的糖尿病患者的需求,这可能会改善患者的安全性。但是,这些预测可能容易受到社会决定因素(例如种族,年龄和性别)造成的健康差异的影响。这些偏见必须在数据收集过程的早期,在进入系统之前就可以消除,并通过模型预测加强,从而导致模型决策的偏见。在本文中,我们提出了一条能够做出预测以及检测和减轻偏见的机器学习管道。该管道分析了临床数据,确定是否存在偏见,将其删除,然后做出预测。我们使用实验证明了模型预测中的分类准确性和公平性。结果表明,当我们在模型早期减轻偏见时,我们会得到更公平的预测。我们还发现,随着我们获得更好的公平性,我们牺牲了一定程度的准确性,这在先前的研究中也得到了验证。我们邀请研究界为确定可以通过本管道解决的其他因素做出贡献。
translated by 谷歌翻译
自几十年前以来,已经证明了机器学习评估贷款申请人信誉的实用性。但是,自动决策可能会导致对群体或个人的不同治疗方法,可能导致歧视。本文基准了12种最大的偏见缓解方法,讨论其绩效,该绩效基于5个不同的公平指标,获得的准确性以及为金融机构提供的潜在利润。我们的发现表明,在确保准确性和利润的同时,实现公平性方面的困难。此外,它突出了一些表现最好和最差的人,并有助于弥合实验机学习及其工业应用之间的差距。
translated by 谷歌翻译
本文旨在改善多敏感属性的机器学习公平。自机学习软件越来越多地用于高赌注和高风险决策,机器学习公平吸引了越来越多的关注。大多数现有的机器学习公平解决方案一次只针对一个敏感的属性(例如性别),或者具有魔法参数来调整,或者具有昂贵的计算开销。为了克服这些挑战,我们在培训机器学习模型之前,我们建议平衡每种敏感属性的培训数据分布。我们的研究结果表明,在低计算开销的情况下,在低计算开销的情况下,Fairbalancy可以在每一个已知的敏感属性上显着减少公平度量(AOD,EOD和SPD),如果对预测性能有任何损坏,则可以在没有多大的情况下进行任何已知的敏感属性。此外,FairbalanceClass是非游价的变种,可以平衡培训数据中的班级分布。通过FairbalanceClass,预测将不再支持多数阶级,从而在少数阶级获得更高的F $ _1 $得分。 Fairbalance和FairbalanceClass还以预测性能和公平度量而言,在其他最先进的偏置缓解算法中也优于其他最先进的偏置缓解算法。本研究将通过提供一种简单但有效的方法来利用社会来改善具有多个敏感属性数据的机器学习软件的公平性。我们的结果还验证了在具有无偏见的地面真理标签上的数据集上的假设,学习模型中的道德偏置在很大程度上属于每个组内具有(2)类分布中的组大小和(2)差异的训练数据。
translated by 谷歌翻译
在处理自动化数据驱动的决策中的敏感数据时,一个重要的问题是学习具有高性能的预测因素对类标签进行高性能,同时最小化对从偏置数据引起的性别或种族的任何敏感属性的歧视。存在一些混合树优化标准,即结合分类性能和公平性。虽然无阈值ROC-AUC是测量传统分类模型性能的标准,但目前的公平树分类方法主要针对分类任务以及公平度量的固定阈值优化。在本文中,我们提出了一种复合分裂标准,其将无阈值(即,强)人口统计平价与Roc-Auc称为公允剧的Scaff - 分裂标准AUC - 并且容易延伸到袋装和提升的树框架。我们的方法同时利用多个敏感属性,其中值可以是多语言的或交叉的,并且可以针对不可避免的性能公平折衷来调谐。在我们的实验中,我们展示了Scaff如何在二进制,多语言和多敏感属性方面产生具有性能和公平的模型。
translated by 谷歌翻译
我们提出了一个公平的衡量标准,以放松流行的平等赔率公平制度中的平等条件。我们设计了一种迭代,模型,基于网格的启发式启发式,该启发式校准了每个敏感属性值的结果以符合度量。该启发式旨在处理高Arity属性值,并执行跨不同受保护属性值的结果的每个属性消毒。我们还将启发式方法扩展到多个属性。强调了我们激励的应用,欺诈检测,我们表明所提出的启发式能够在单个受保护的属性,多个受保护的属性的多个值中实现公平性。与当前关注两组的公平技术相比,我们在几个公共数据集中实现了可比的性能。
translated by 谷歌翻译
决策的公平在我们社会中是一个长期存在的问题。尽管在机器学习模式中对不公平缓解的研究活动越来越多,但几乎没有研究侧重于减轻人类决策的不公平。人类决策的公平性是重要的,如果没有机器学习模型的公平,因为人类使人类做出最终决定和机器学习模型可以继承自培训的人类决策的过程。因此,这项工作旨在检测人类决策的不公平,这是解决不公平的人为决策问题的第一步。本文建议利用现有的机器学习公平检测机制来检测人类决策的不公平。这背后的理由是,虽然难以直接测试人类是否会使人类不公平决策,但目前对机器学习公平的研究,现在易于测试,以低成本的大规模,是否是机器学习模型不公平。通过在四个一般机器学习公平数据集和一个图像处理数据集中综合不公平标签,本文表明,该方法能够检测(1)培训数据中是否存在不公平标签和(2)的程度和方向不公平。我们认为,这项工作展示了利用机器学习公平来检测人类决策公平性的潜力。在这项工作之后,可以在(1)上进行研究(1)预防未来的不公平决定,(2)修复先前不公平的决定,以及(3)培训更公平的机器学习模型。
translated by 谷歌翻译