Although significant progress has been made in face recognition, demographic bias still exists in face recognition systems. For instance, it usually happens that the face recognition performance for a certain demographic group is lower than the others. In this paper, we propose MixFairFace framework to improve the fairness in face recognition models. First of all, we argue that the commonly used attribute-based fairness metric is not appropriate for face recognition. A face recognition system can only be considered fair while every person has a close performance. Hence, we propose a new evaluation protocol to fairly evaluate the fairness performance of different approaches. Different from previous approaches that require sensitive attribute labels such as race and gender for reducing the demographic bias, we aim at addressing the identity bias in face representation, i.e., the performance inconsistency between different identities, without the need for sensitive attribute labels. To this end, we propose MixFair Adapter to determine and reduce the identity bias of training samples. Our extensive experiments demonstrate that our MixFairFace approach achieves state-of-the-art fairness performance on all benchmark datasets.

面部识别网络通常展示相对于性别，Skintone等的敏感属性，适用于性别和Skintone，我们观察到网络的面积，网络参加属性的类别。这可能有助于偏见。在这种直觉上建立一种新的基于蒸馏的方法，称为蒸馏和去偏置（D＆D），以实施网络以寻求类似的面部区域，而不管属性类别如何。在D＆D中，我们从一个属性中培训一类图像的教师网络;例如轻的Skintone。然后从教师蒸馏信息，我们在剩余类别的图像上培训学生网络;例如，黑暗的skintone。特征级蒸馏损失约束学生网络以生成类似教师的表示。这允许学生网络参加所有属性类别的类似面部区域，并使其能够减少偏差。我们还提出了D＆D的顶部的第二蒸馏步骤，称为D＆D ++。对于D＆D ++网络，我们将D＆D网络的“未偏见”蒸馏成新的学生网络，D＆D ++网络。我们在所有属性类别上培训新网络;例如，光明和黑暗的碳酸根。这有助于我们培训对属性偏差的网络，同时获得比D＆D更高的面部验证性能。我们展示D＆D ++优于在IJB-C数据集上减少性别和Skintone偏置的现有基线，同时获得比现有的对抗偏置方法更高的面部验证性能。我们评估我们所提出的方法对两个最先进的面部识别网络的有效性：Crystalface和Arcface。

已显示现有的面部分析系统对某些人口统计亚组产生偏见的结果。由于其对社会的影响，因此必须确保这些系统不会根据个人的性别，身份或肤色歧视。这导致了在AI系统中识别和减轻偏差的研究。在本文中，我们封装了面部分析的偏置检测/估计和缓解算法。我们的主要贡献包括对拟议理解偏见的算法的系统审查，以及分类和广泛概述现有的偏置缓解算法。我们还讨论了偏见面部分析领域的开放挑战。

当前用于面部识别的模型（FR）中存在人口偏见。我们在野外（BFW）数据集中平衡的面孔是衡量种族和性别亚组偏见的代理，使一个人可以表征每个亚组的FR表现。当单个分数阈值确定样本对是真实还是冒名顶替者时，我们显示的结果是非最佳选择的。在亚组中，性能通常与全球平均水平有很大差异。因此，仅适用于与验证数据相匹配的人群的特定错误率。我们使用新的域适应性学习方案来减轻性能不平衡，以使用最先进的神经网络提取的面部特征。该技术平衡了性能，但也可以提高整体性能。该建议的好处是在面部特征中保留身份信息，同时减少其所包含的人口统计信息。人口统计学知识的去除阻止了潜在的未来偏见被注入决策。由于对个人的可用信息或推断，因此此删除可改善隐私。我们定性地探索这一点；我们还定量地表明，亚组分类器不再从提出的域适应方案的特征中学习。有关源代码和数据描述，请参见https://github.com/visionjo/facerec-bias-bfw。

Recently, a popular line of research in face recognition is adopting margins in the well-established softmax loss function to maximize class separability. In this paper, we first introduce an Additive Angular Margin Loss (ArcFace), which not only has a clear geometric interpretation but also significantly enhances the discriminative power. Since ArcFace is susceptible to the massive label noise, we further propose sub-center ArcFace, in which each class contains K sub-centers and training samples only need to be close to any of the K positive sub-centers. Sub-center ArcFace encourages one dominant sub-class that contains the majority of clean faces and non-dominant sub-classes that include hard or noisy faces. Based on this self-propelled isolation, we boost the performance through automatically purifying raw web faces under massive real-world noise. Besides discriminative feature embedding, we also explore the inverse problem, mapping feature vectors to face images. Without training any additional generator or discriminator, the pre-trained ArcFace model can generate identity-preserved face images for both subjects inside and outside the training data only by using the network gradient and Batch Normalization (BN) priors. Extensive experiments demonstrate that ArcFace can enhance the discriminative feature embedding as well as strengthen the generative face synthesis.

基于软马克斯的损失函数及其变体（例如，界面，圆顶和弧形）可显着改善野生无约束场景中的面部识别性能。这些算法的一种常见实践是对嵌入特征和线性转换矩阵之间的乘法进行优化。但是，在大多数情况下，基于传统的设计经验给出了嵌入功能的尺寸，并且在给出固定尺寸时，使用该功能本身提高性能的研究较少。为了应对这一挑战，本文提出了一种称为subface的软关系近似方法，该方法采用了子空间功能来促进面部识别的性能。具体而言，我们在训练过程中动态选择每个批次中的非重叠子空间特征，然后使用子空间特征在基于软磁性的损失之间近似完整功能，因此，深层模型的可区分性可以显着增强，以增强面部识别。在基准数据集上进行的综合实验表明，我们的方法可以显着提高香草CNN基线的性能，这强烈证明了基于利润率的损失的子空间策略的有效性。

Face recognition has made extraordinary progress owing to the advancement of deep convolutional neural networks (CNNs). The central task of face recognition, including face verification and identification, involves face feature discrimination. However, the traditional softmax loss of deep CNNs usually lacks the power of discrimination. To address this problem, recently several loss functions such as center loss, large margin softmax loss, and angular softmax loss have been proposed. All these improved losses share the same idea: maximizing inter-class variance and minimizing intra-class variance. In this paper, we propose a novel loss function, namely large margin cosine loss (LMCL), to realize this idea from a different perspective. More specifically, we reformulate the softmax loss as a cosine loss by L 2 normalizing both features and weight vectors to remove radial variations, based on which a cosine margin term is introduced to further maximize the decision margin in the angular space. As a result, minimum intra-class variance and maximum inter-class variance are achieved by virtue of normalization and cosine decision margin maximization. We refer to our model trained with LMCL as CosFace. Extensive experimental evaluations are conducted on the most popular public-domain face recognition datasets such as MegaFace Challenge, Youtube Faces (YTF) and Labeled Face in the Wild (LFW). We achieve the state-of-the-art performance on these benchmarks, which confirms the effectiveness of our proposed approach.

随着近期神经网络的成功，对人脸识别取得了显着进展。然而，收集面部识别的大规模现实世界培训数据已经挑战，特别是由于标签噪音和隐私问题。同时，通常从网络图像收集现有的面部识别数据集，缺乏关于属性的详细注释（例如，姿势和表达），因此对面部识别的不同属性的影响已经很差。在本文中，我们使用合成面部图像，即Synface来解决面部识别中的上述问题。具体而言，我们首先探讨用合成和真实面部图像训练的最近最先进的人脸识别模型之间的性能差距。然后，我们分析了性能差距背后的潜在原因，例如，较差的阶级变化和合成和真实面部图像之间的域间隙。灵感来自于此，我们使用身份混合（IM）和域混合（DM）设计了SYNFACE，以减轻上述性能差距，展示了对面部识别的综合数据的巨大潜力。此外，利用可控的面部合成模型，我们可以容易地管理合成面代的不同因素，包括姿势，表达，照明，身份的数量和每个身份的样本。因此，我们还对综合性面部图像进行系统实证分析，以提供一些关于如何有效利用综合数据进行人脸识别的见解。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

最先进的面部识别方法通常采用多分类管道，并采用基于SoftMax的损耗进行优化。虽然这些方法取得了巨大的成功，但基于Softmax的损失在开放式分类的角度下有其限制：训练阶段的多分类目标并没有严格匹配开放式分类测试的目标。在本文中，我们派生了一个名为全局边界Cosface的新损失（GB-Cosface）。我们的GB-COSface介绍了自适应全局边界，以确定两个面积是否属于相同的身份，使得优化目标与从开放集分类的角度与测试过程对齐。同时，由于损失配方来自于基于软MAX的损失，因此我们的GB-COSFace保留了基于软MAX的损耗的优异性能，并且证明了COSFace是拟议损失的特殊情况。我们在几何上分析并解释了所提出的GB-Cosface。多面识别基准测试的综合实验表明，所提出的GB-Cosface优于主流面部识别任务中的当前最先进的面部识别损失。与Cosface相比，我们的GB-Cosface在Tar @ Far = 1E-6，1E-5，1E-4上提高了1.58％，0.57％和0.28％的IJB-C基准。

在本文中，我们提出了一个新颖的解释性框架，旨在更好地理解面部识别模型作为基本数据特征的表现（受保护的属性：性别，种族，年龄；非保护属性：面部毛发，化妆品，配件，脸部，面部，面部，面部，面部，面部，它们被测试的变化的方向和阻塞，图像失真，情绪）。通过我们的框架，我们评估了十种最先进的面部识别模型，并在两个数据集上的安全性和可用性方面进行了比较，涉及基于性别和种族的六个小组。然后，我们分析图像特征对模型性能的影响。我们的结果表明，当考虑多归因组时，单属分析中出现的趋势消失或逆转，并且性能差异也与非保护属性有关。源代码：https：//cutt.ly/2xwrlia。

不同的人以不同的方式衰老。为每个人学习个性化的年龄估计器是年龄估计的有前途的方向，因为它可以更好地建模衰老过程的个性化。但是，由于高级要求，大多数现有的个性化方法都缺乏大规模数据集：身份标签和足够的样本使每个人形成长期衰老模式。在本文中，我们旨在学习没有上述要求的个性化年龄估计量，并提出一种元学习方法，称为年龄估计。与大多数现有的个性化方法不同，这些方法学习了培训集中每个人的个性化估计器的参数，我们的方法将映射从身份信息到年龄估计器参数学习。具体而言，我们引入了个性化的估算器元学习器，该估计量元学习器将身份功能作为输入并输出定制估算器的参数。这样，我们的方法就可以学习元知识而没有上述要求，并无缝将学习的元知识转移到测试集中，这使我们能够利用现有的大规模年龄数据集，而无需任何其他注释。在包括Morph II，Chalearn Lap 2015和Chalearn Lap 2016数据库在内的三个基准数据集上进行的大量实验结果表明，我们的元大大提高了现有的个性化方法的性能，并优于最先进的方法。

学习歧视性面部特征在建立高性能面部识别模型方面发挥着重要作用。最近的最先进的面部识别解决方案，提出了一种在常用的分类损失函数，Softmax损失中纳入固定的惩罚率，通过最大限度地减少级别的变化来增加面部识别模型的辨别力并最大化级别的帧间变化。边缘惩罚Softmax损失，如arcFace和Cosface，假设可以使用固定的惩罚余量同样地学习不同身份之间的测地距。然而，这种学习目标对于具有不一致的间帧内变化的真实数据并不是现实的，这可能限制了面部识别模型的判别和概括性。在本文中，我们通过提出弹性罚款损失（弹性面）来放松固定的罚款边缘约束，这允许在推动阶级可分离性中灵活性。主要思想是利用从每个训练迭代中的正常分布中汲取的随机保证金值。这旨在提供决策边界机会，以提取和缩回，以允许灵活的类别可分离学习的空间。我们展示了在大量主流基准上使用相同的几何变换，展示了我们的弹性面损失和COSFace损失的优势。从更广泛的角度来看，我们的弹性面在九个主流基准中提出了最先进的面部识别性能。

商业和政府部门中自动面部识别的扩散引起了个人的严重隐私问题。解决这些隐私问题的一种方法是采用逃避攻击针对启动面部识别系统的度量嵌入网络的攻击：面部混淆系统会产生不透彻的扰动图像，从而导致面部识别系统误解用户。受扰动的面孔是在公制嵌入网络上产生的，在面部识别的背景下，这是不公平的。人口公平的问题自然而然：面部混淆系统表现是否存在人口统计学差异？我们通过对最近的面部混淆系统的分析和经验探索来回答这个问题。指标嵌入网络在人口统计学上很有意识：面部嵌入由人口统计组群聚集。我们展示了这种聚类行为如何导致少数群体面孔的面部混淆实用性减少。直观的分析模型可以深入了解这些现象。

基于机器学习的决策支持系统的利用率增加强调了导致所有利益相关者准确和公平的预测的必要性。在这项工作中，我们提出了一种新的方法，可以在训练期间提高神经网络模型的公平性。我们介绍了一系列公平性，增强了我们与传统的二进制交叉熵基准损耗一起使用的正规化组件。这些损失函数基于偏置奇偶校验分数（BPS），一个分数有助于使用单个数字量化模型中的偏差。在目前的工作中，我们调查这些正则化组件对偏见的行为和效果。我们在累犯预测任务以及基于人口普查的成人收入数据集的上下文中部署它们。结果表明，对于公平损失功能的良好选择，我们可以减少训练有素的模型的偏置，而不会降低精度，即使在不平衡数据集中也是如此。

This paper addresses deep face recognition (FR) problem under open-set protocol, where ideal face features are expected to have smaller maximal intra-class distance than minimal inter-class distance under a suitably chosen metric space. However, few existing algorithms can effectively achieve this criterion. To this end, we propose the angular softmax (A-Softmax) loss that enables convolutional neural networks (CNNs) to learn angularly discriminative features. Geometrically, A-Softmax loss can be viewed as imposing discriminative constraints on a hypersphere manifold, which intrinsically matches the prior that faces also lie on a manifold. Moreover, the size of angular margin can be quantitatively adjusted by a parameter m. We further derive specific m to approximate the ideal feature criterion. Extensive analysis and experiments on Labeled Face in the Wild (LFW), Youtube Faces (YTF) and MegaFace Challenge show the superiority of A-Softmax loss in FR tasks. The code has also been made publicly available 1 .

随着最近深度卷积神经网络的进步，一般面临的概念取得了重大进展。然而，最先进的一般面部识别模型对遮挡面部图像没有概括，这正是现实世界场景中的常见情况。潜在原因是用于训练和特定设计的大规模遮挡面部数据，用于解决闭塞所带来的损坏功能。本文提出了一种新颖的面部识别方法，其基于单端到端的深神经网络的闭塞是强大的。我们的方法（使用遮挡掩码）命名（面部识别），学会发现深度卷积神经网络的损坏功能，并通过动态学习的面具清洁它们。此外，我们构建了大规模的遮挡面部图像，从有效且有效地培训。与现有方法相比，依靠外部探测器发现遮挡或采用较少鉴别的浅模型的现有方法，从简单且功能强大。 LFW，Megaface挑战1，RMF2，AR数据集和其他模拟遮挡/掩蔽数据集的实验结果证实，从大幅提高了遮挡下的准确性，并概括了一般面部识别。

数据和算法中固有的偏见使得基于广泛的机器学习（ML）的决策系统的公平性不如最佳。为了提高此类ML决策系统的信任性，至关重要的是要意识到这些解决方案中的固有偏见并使它们对公众和开发商更加透明。在这项工作中，我们旨在提供一组解释性工具，以分析处理不同人口组时面部识别模型行为的差异。我们通过利用基于激活图的高阶统计信息来构建解释性工具来做到这一点，以将FR模型的行为差异与某些面部区域联系起来。与参考组相比，在两个数据集和两个面部识别模型上的实验结果指出了FR模型对某些人口组的反应不同。这些分析的结果有趣地与分析人体测量学差异和人类判断差异的研究结果非常相吻合。因此，这是第一项专门解释不同人口组上FR模型的偏见行为并将其直接链接到空间面部特征的研究。该代码在这里公开可用。

从大规模嘈杂的面孔中学习强大的特征表示是高性能面部识别的关键挑战之一。最近通过减轻了阶层内冲突和阶级冲突来应对这一挑战。但是，每种冲突中无约束的噪声类型仍然使这些算法难以表现良好。为了更好地理解这一点，我们将每个类别的噪声类型以更细粒度的方式重新制定为n-身份| k^c-clusters。可以通过调整\ nkc的值来生成不同类型的嘈杂面。基于这种统一的公式，我们发现噪声射击表示学习背后的主要障碍是在不同的N，K和C下算法的灵活性。对于此潜在问题，我们提出了一种新方法，称为Evolving子中心学习〜（ESL），找到最佳的超平面，以准确描述大型嘈杂面的潜在空间。更具体地说，我们将每个类的M子中心初始化，ESL鼓励它通过生产，合并和丢弃操作自动与n-身份| k^c-clusters面对面。嘈杂面上属于相同身份的图像可以有效地收敛到同一子中心，并且具有不同身份的样本将被推开。我们通过对具有不同n，k和C的合成噪声数据集进行了精心的消融研究来检查其有效性

随着面部识别使用的平等问题最近，最近追求了很多关注，因此已经对脱叠的深入学习模型进行了更大的努力，以改善少数群体的公平性。但是，仍然没有明确的定义，也没有足够的偏见评估指标进行分析。我们提出了一种信息 - 理论，独立的偏见评估度量，以识别来自普查面部识别系统的学习概念的受保护人口属性的偏差程度。我们的指标与其他方法不同，依赖于分类准确性或检查使用浅网络预测的受保护属性的地面真理和预测标签之间的差异。此外，我们理论上和实验地认为，由于基于神经网络的预测器始终可以找到相关性，所以Logits级丢失不充分解释偏差。此外，我们介绍了一个合成数据集，这些数据集可以减轻某些队列中的样本不足的问题。最后，我们通过在明确的歧视和与其他度量进行比较的情况下呈现优势来建立基准度量，并评估具有所提出的指标的不同脱叠模型的性能。