随着面部识别使用的平等问题最近,最近追求了很多关注,因此已经对脱叠的深入学习模型进行了更大的努力,以改善少数群体的公平性。但是,仍然没有明确的定义,也没有足够的偏见评估指标进行分析。我们提出了一种信息 - 理论,独立的偏见评估度量,以识别来自普查面部识别系统的学习概念的受保护人口属性的偏差程度。我们的指标与其他方法不同,依赖于分类准确性或检查使用浅网络预测的受保护属性的地面真理和预测标签之间的差异。此外,我们理论上和实验地认为,由于基于神经网络的预测器始终可以找到相关性,所以Logits级丢失不充分解释偏差。此外,我们介绍了一个合成数据集,这些数据集可以减轻某些队列中的样本不足的问题。最后,我们通过在明确的歧视和与其他度量进行比较的情况下呈现优势来建立基准度量,并评估具有所提出的指标的不同脱叠模型的性能。
translated by 谷歌翻译
由于视觉识别的社会影响一直受到审查,因此出现了几个受保护的平衡数据集,以解决不平衡数据集中的数据集偏差。但是,在面部属性分类中,数据集偏置既源于受保护的属性级别和面部属性级别,这使得构建多属性级别平衡的真实数据集使其具有挑战性。为了弥合差距,我们提出了一条有效的管道,以产生具有所需面部属性的高质量和足够的面部图像,并将原始数据集补充为两个级别的平衡数据集,从理论上讲,这在理论上满足了几个公平标准。我们方法的有效性在性别分类和面部属性分类方面得到了验证,通过将可比的任务性能作为原始数据集,并通过广泛的度量标准进行全面的公平评估,并进一步提高公平性。此外,我们的方法优于重采样和平衡的数据集构建来解决数据集偏差,以及解决任务偏置的模型模型。
translated by 谷歌翻译
我们通过对杂散相关性的因果解释提出了一种信息 - 理论偏置测量技术,这通过利用条件相互信息来识别特征级算法偏压有效。尽管已经提出了几种偏置测量方法并广泛地研究以在各种任务中实现诸如面部识别的各种任务中的算法公平,但它们的准确性或基于Logit的度量易于导致普通预测得分调整而不是基本偏差减少。因此,我们设计针对算法偏差的新型扩张框架,其包括由所提出的信息 - 理论偏置测量方法导出的偏压正则化损耗。此外,我们介绍了一种基于随机标签噪声的简单而有效的无监督的脱叠技术,这不需要明确的偏置信息监督。通过多种标准基准测试的广泛实验,在不同的现实情景中验证了所提出的偏差测量和脱叠方法。
translated by 谷歌翻译
消除偏见的同时保留所有与任务相关的信息对于公平表示学习方法具有挑战性,因为它们会产生随机或退化表示w.r.t.当敏感属性与标签相关时,标记。现有的作品提议将标签信息注入学习程序以克服此类问题。但是,并不总是满足观察到的标签是清洁的假设。实际上,标签偏见被认为是引起歧视的主要来源。换句话说,公平的预处理方法忽略了在学习过程或评估阶段中标签中编码的歧视。这一矛盾给了学识渊博的表示的公平性。为了避免此问题,我们探讨了以下问题:\ emph {我们可以学习可预测的公平表示,可预测到仅访问不可靠标签的潜在理想公平标签吗?}在这项工作中,我们建议\ textbf {d} e- \ textbf { \ textbf {r} \ textbf {f} ernenses(dbrf)框架的b} iased \ textbf {r} ePresentation学习,该框架将敏感信息从非敏感属性中解散,同时使学习的表示形式可预测到理想的公平标签,而不是观察到的偏见。我们通过信息理论概念(例如相互信息和信息瓶颈)制定了偏见的学习框架。核心概念是,当敏感信息受益于不可靠标签的预测时,DBRF提倡不使用不可靠的标签进行监督。综合数据和现实世界数据的实验结果表明,DBRF有效地学习了对理想标签的偏见表示。
translated by 谷歌翻译
随着计算机视觉应用程序的最新增长,尚未探索它们的公平和公正性问题。有大量证据表明,训练数据中存在的偏差反映在模型中,甚至放大。图像数据集的许多以前的方法偏见,包括基于增强数据集的模型,在计算上实现的计算昂贵。在这项研究中,我们提出了一个快速有效的模型,以通过重建并最大程度地减少预期变量之间的统计依赖性来消除图像数据集。我们的体系结构包括重建图像的U-NET,并结合了预先训练的分类器,该分类器会惩罚目标属性和受保护属性之间的统计依赖性。我们在Celeba数据集上评估了我们提出的模型,将结果与最先进的偏见方法进行比较,并证明该模型实现了有希望的公平性 - 精确性组合。
translated by 谷歌翻译
深度神经网络用于图像识别任务(例如预测笑脸)的性能会以代表性不足的敏感属性类别降低。我们通过基于人口统计学奇偶校验,均衡赔率和新型的联合会措施的批估计估计来引入公平意识的正规化损失来解决这个问题。对Celeba,UTKFACE和SIIM-ISIC黑色素瘤分类挑战的面部和医学图像进行的实验表明,我们提出的公平性损失对偏置缓解的有效性,因为它们可以改善模型公平,同时保持高分类性能。据我们所知,我们的工作是首次尝试将这些类型的损失纳入端到端培训方案,以减轻视觉属性预测指标的偏见。我们的代码可在https://github.com/nish03/fvap上找到。
translated by 谷歌翻译
设计机器学习算法准确但公平,而不是基于任何敏感属性进行区分,对于社会接受对关键应用的AI至关重要。在本文中,我们提出了一种新颖的公平表示方法,称为R \'enyi公平信息瓶颈方法(RFIB),该方法包含了代表性的效用,公平性和紧凑性的约束,并将其应用于图像分类。我们方法的一个关键属性是,与大多数先前的工作相比,我们认为人口统计学奇偶ant和均衡的赔率是公平的约束,从而使对这两个标准的满意度更加细致。利用各种方法,我们表明我们的目标产生了涉及经典信息瓶颈(IB)措施的损失函数,并根据r \'enyi nyi nyi差异$ \ alpha $在共同信息上的r \'enyi差异ib术语IB术语测量紧凑度上建立上限在输入及其编码嵌入之间。在三个不同的图像数据集(Eyepacs,celeba和Fairface)上进行实验,我们研究了$ \ alpha $参数的影响以及其他两个可调IB参数对实现效用/公平性权衡目标的影响,并表明$ \ \ \ \ Alpha $参数提供了一个额外的自由度,可用于控制表示的紧凑性。我们使用各种效用,公平性和复合效用/公平指标评估方法的性能,表明RFIB的表现优于当前最新方法。
translated by 谷歌翻译
已经发现深层图像分类器可以从数据集中学习偏差。为了减轻偏见,大多数以前的方法都需要标签受保护的属性(例如,年龄,肤色)为全套,这有两个限制:1)当标签不可用时,它是不可行的; 2)它们无法缓解未知的偏见 - 人类没有先入为主的偏见。为了解决这些问题,我们提出了偏见的替代网络(Debian),该网络包括两个网络 - 一个发现者和一个分类器。通过以另一种方式培训,发现者试图找到分类器的多个未知偏见,而无需任何偏见注释,分类器的目的是删除发现者确定的偏见。虽然先前的作品评估了单个偏差的结果,但我们创建了多色MNIST数据集,以更好地缓解多偏差设置中的多个偏差,这不仅揭示了以前的方法中的问题,而且还展示了Debian的优势。在同时识别和减轻多种偏见时。我们进一步对现实世界数据集进行了广泛的实验,表明Debian中的发现者可以识别人类可能很难找到的未知偏见。关于辩护,Debian实现了强烈的偏见缓解绩效。
translated by 谷歌翻译
已显示现有的面部分析系统对某些人口统计亚组产生偏见的结果。由于其对社会的影响,因此必须确保这些系统不会根据个人的性别,身份或肤色歧视。这导致了在AI系统中识别和减轻偏差的研究。在本文中,我们封装了面部分析的偏置检测/估计和缓解算法。我们的主要贡献包括对拟议理解偏见的算法的系统审查,以及分类和广泛概述现有的偏置缓解算法。我们还讨论了偏见面部分析领域的开放挑战。
translated by 谷歌翻译
Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.
translated by 谷歌翻译
We propose a fairness-aware learning framework that mitigates intersectional subgroup bias associated with protected attributes. Prior research has primarily focused on mitigating one kind of bias by incorporating complex fairness-driven constraints into optimization objectives or designing additional layers that focus on specific protected attributes. We introduce a simple and generic bias mitigation approach that prevents models from learning relationships between protected attributes and output variable by reducing mutual information between them. We demonstrate that our approach is effective in reducing bias with little or no drop in accuracy. We also show that the models trained with our learning framework become causally fair and insensitive to the values of protected attributes. Finally, we validate our approach by studying feature interactions between protected and non-protected attributes. We demonstrate that these interactions are significantly reduced when applying our bias mitigation.
translated by 谷歌翻译
现代机器学习(ML)模型越来越流行,并广泛用于决策系统。但是,研究表明,ML歧视和不公平性的关键问题阻碍了他们对高级应用程序的采用。对公平分类器的最新研究引起了人们的重大关注,以开发有效的算法以实现公平性和良好的分类性能。尽管这些公平感知到的机器学习模型取得了巨大的成功,但大多数现有模型都需要敏感属性来预处理数据,将模型学习正规化或后处理预测以具有公平的预测。但是,由于隐私,法律或法规限制,敏感属性通常是不完整甚至不可用的。尽管我们缺乏训练目标域中公平模型的敏感属性,但可能存在具有敏感属性的类似域。因此,重要的是从类似域中利用辅助信息,以帮助改善目标域中的公平分类。因此,在本文中,我们研究了探索域适应以进行公平分类的新问题。我们提出了一个新框架,可以同时估算目标域中的公平分类器时,可以同时估算敏感属性。现实世界数据集的广泛实验说明了提出的公平分类模型的有效性,即使目标域中没有敏感属性。
translated by 谷歌翻译
机器学习模型在高赌注应用中变得普遍存在。尽管在绩效方面有明显的效益,但该模型可以表现出对少数民族群体的偏见,并导致决策过程中的公平问题,导致对个人和社会的严重负面影响。近年来,已经开发了各种技术来减轻机器学习模型的偏差。其中,加工方法已经增加了社区的关注,在模型设计期间直接考虑公平,以诱导本质上公平的模型,从根本上减轻了产出和陈述中的公平问题。在本调查中,我们审查了加工偏置减缓技术的当前进展。基于在模型中实现公平的地方,我们将它们分类为明确和隐性的方法,前者直接在培训目标中纳入公平度量,后者重点介绍精炼潜在代表学习。最后,我们在讨论该社区中的研究挑战来讨论调查,以激励未来的探索。
translated by 谷歌翻译
Algorithmic fairness is becoming increasingly important in data mining and machine learning. Among others, a foundational notation is group fairness. The vast majority of the existing works on group fairness, with a few exceptions, primarily focus on debiasing with respect to a single sensitive attribute, despite the fact that the co-existence of multiple sensitive attributes (e.g., gender, race, marital status, etc.) in the real-world is commonplace. As such, methods that can ensure a fair learning outcome with respect to all sensitive attributes of concern simultaneously need to be developed. In this paper, we study the problem of information-theoretic intersectional fairness (InfoFair), where statistical parity, a representative group fairness measure, is guaranteed among demographic groups formed by multiple sensitive attributes of interest. We formulate it as a mutual information minimization problem and propose a generic end-to-end algorithmic framework to solve it. The key idea is to leverage a variational representation of mutual information, which considers the variational distribution between learning outcomes and sensitive attributes, as well as the density ratio between the variational and the original distributions. Our proposed framework is generalizable to many different settings, including other statistical notions of fairness, and could handle any type of learning task equipped with a gradient-based optimizer. Empirical evaluations in the fair classification task on three real-world datasets demonstrate that our proposed framework can effectively debias the classification results with minimal impact to the classification accuracy.
translated by 谷歌翻译
面部表现攻击检测(PAD)对于保护面部识别(FR)应用程序至关重要。 FR性能已被证明对某些人口统计学和非人口统计学组是不公平的。但是,面部垫的公平性是一个研究的问题,这主要是由于缺乏适当的注释数据。为了解决此问题,这项工作首先通过组合几个知名的PAD数据集,在其中提供了七个人类宣传的属性标签,从而提出了一个组合的注释数据集(CAAD-PAD)。然后,这项工作通过研究我们的CAAD-Pad上的四个面部垫方法,全面分析了一组面垫的公平及其与培训数据的性质和操作决策阈值分配(ODTA)的关系。同时代表垫子的公平性和绝对垫性能,我们引入了一种新颖的指标,即准确性平衡公平(ABF)。关于CAAD-PAD的广泛实验表明,训练数据和ODTA会引起性别,遮挡和其他属性组的不公平性。基于这些分析,我们提出了一种数据增强方法Fairswap,该方法旨在破坏身份/语义信息和指南模型以挖掘攻击线索而不是与属性相关的信息。详细的实验结果表明,Fairswap通常可以提高垫子性能和面部垫的公平性。
translated by 谷歌翻译
At the core of insurance business lies classification between risky and non-risky insureds, actuarial fairness meaning that risky insureds should contribute more and pay a higher premium than non-risky or less-risky ones. Actuaries, therefore, use econometric or machine learning techniques to classify, but the distinction between a fair actuarial classification and "discrimination" is subtle. For this reason, there is a growing interest about fairness and discrimination in the actuarial community Lindholm, Richman, Tsanakas, and Wuthrich (2022). Presumably, non-sensitive characteristics can serve as substitutes or proxies for protected attributes. For example, the color and model of a car, combined with the driver's occupation, may lead to an undesirable gender bias in the prediction of car insurance prices. Surprisingly, we will show that debiasing the predictor alone may be insufficient to maintain adequate accuracy (1). Indeed, the traditional pricing model is currently built in a two-stage structure that considers many potentially biased components such as car or geographic risks. We will show that this traditional structure has significant limitations in achieving fairness. For this reason, we have developed a novel pricing model approach. Recently some approaches have Blier-Wong, Cossette, Lamontagne, and Marceau (2021); Wuthrich and Merz (2021) shown the value of autoencoders in pricing. In this paper, we will show that (2) this can be generalized to multiple pricing factors (geographic, car type), (3) it perfectly adapted for a fairness context (since it allows to debias the set of pricing components): We extend this main idea to a general framework in which a single whole pricing model is trained by generating the geographic and car pricing components needed to predict the pure premium while mitigating the unwanted bias according to the desired metric.
translated by 谷歌翻译
当前用于面部识别的模型(FR)中存在人口偏见。我们在野外(BFW)数据集中平衡的面孔是衡量种族和性别亚组偏见的代理,使一个人可以表征每个亚组的FR表现。当单个分数阈值确定样本对是真实还是冒名顶替者时,我们显示的结果是非最佳选择的。在亚组中,性能通常与全球平均水平有很大差异。因此,仅适用于与验证数据相匹配的人群的特定错误率。我们使用新的域适应性学习方案来减轻性能不平衡,以使用最先进的神经网络提取的面部特征。该技术平衡了性能,但也可以提高整体性能。该建议的好处是在面部特征中保留身份信息,同时减少其所包含的人口统计信息。人口统计学知识的去除阻止了潜在的未来偏见被注入决策。由于对个人的可用信息或推断,因此此删除可改善隐私。我们定性地探索这一点;我们还定量地表明,亚组分类器不再从提出的域适应方案的特征中学习。有关源代码和数据描述,请参见https://github.com/visionjo/facerec-bias-bfw。
translated by 谷歌翻译
公平性是一个标准,重点是评估不同人口组的算法性能,它引起了自然语言处理,推荐系统和面部识别的关注。由于医学图像样本中有很多人口统计学属性,因此了解公平的概念,熟悉不公平的缓解技术,评估算法的公平程度并认识到医疗图像分析(媒体)中的公平问题中的挑战很重要。在本文中,我们首先给出了公平性的全面和精确的定义,然后通过在媒体中引入当前使用的技术中使用的技术。之后,我们列出了包含人口统计属性的公共医疗图像数据集,以促进公平研究并总结有关媒体公平性的当前算法。为了帮助更好地理解公平性,并引起人们对媒体中与公平性有关的问题的关注,进行了实验,比较公平性和数据失衡之间的差异,验证各种媒体任务中不公平的存在,尤其是在分类,细分和检测以及评估不公平缓解算法的有效性。最后,我们以媒体公平性的机会和挑战得出结论。
translated by 谷歌翻译
变异因素之间的相关性在现实数据中普遍存在。机器学习算法可能会受益于利用这种相关性,因为它们可以提高噪声数据的预测性能。然而,通常这种相关性不稳定(例如,它们可能在域,数据集或应用程序之间发生变化),我们希望避免利用它们。解剖学方法旨在学习捕获潜伏子空间变化不同因素的表示。常用方法涉及最小化潜伏子空间之间的相互信息,使得每个潜在的底层属性。但是,当属性相关时,这会失败。我们通过强制执行可用属性上的子空间之间的独立性来解决此问题,这允许我们仅删除不导致的依赖性,这些依赖性是由于训练数据中存在的相关结构。我们通过普发的方法实现这一目标,以最小化关于分类变量的子空间之间的条件互信息(CMI)。我们首先在理论上展示了CMI最小化是对高斯数据线性问题的稳健性解剖的良好目标。然后,我们基于MNIST和Celeba在现实世界数据集上应用我们的方法,并表明它会在相关偏移下产生脱屑和强大的模型,包括弱监督设置。
translated by 谷歌翻译
由于其在不同领域的应用继续扩大和多样化,因此机器学习的公平正在越来越越来越受到关注。为了减轻不同人口组之间的区分模型行为,我们介绍了一种新的后处理方法来通过组感知阈值适应优化多个公平性约束。我们建议通过优化从分类模型输出的概率分布估计的混淆矩阵来学习每个人口统计组的自适应分类阈值。由于我们仅需要模型输出的估计概率分布而不是分类模型结构,我们的后处理模型可以应用于各种分类模型,并以模型 - 不可知方式提高公平性并确保隐私。这甚至允许我们在后处理现有的公平方法,以进一步提高准确性和公平性之间的权衡。此外,我们的模型具有低计算成本。我们为我们的优化算法的收敛性提供严格的理论分析和我们方法的准确性和公平性之间的权衡。我们的方法理论上使得能够在与现有方法相同的情况下的近最优性的更好的上限。实验结果表明,我们的方法优于最先进的方法,并获得最接近理论精度公平折衷边界的结果。
translated by 谷歌翻译