深度神经网络在大规模标记的数据集的帮助下，在各种任务上取得了出色的表现。然而，这些数据集既耗时又竭尽全力来获得现实的任务。为了减轻对标记数据的需求，通过迭代分配伪标签将伪标签分配给未标记的样本，自我训练被广泛用于半监督学习中。尽管它很受欢迎，但自我训练还是不可靠的，通常会导致训练不稳定。我们的实验研究进一步表明，半监督学习的偏见既来自问题本身，也来自不适当的训练，并具有可能不正确的伪标签，这会在迭代自我训练过程中累积错误。为了减少上述偏见，我们提出了自我训练（DST）。首先，伪标签的生成和利用是由两个独立于参数的分类器头解耦，以避免直接误差积累。其次，我们估计自我训练偏差的最坏情况，其中伪标记函数在标记的样品上是准确的，但在未标记的样本上却尽可能多地犯错。然后，我们通过避免最坏的情况来优化表示形式，以提高伪标签的质量。广泛的实验证明，DST在标准的半监督学习基准数据集上的最先进方法中，平均提高了6.3％，而在13个不同任务上，FIXMATCH的平均水平为18.9％。此外，DST可以无缝地适应其他自我训练方法，并有助于稳定他们在从头开始的培训和预先训练模型的训练的情况下，在培训的情况下进行培训和平衡表现。

一个常见的分类任务情况是，有大量数据可用于培训，但只有一小部分用类标签注释。在这种情况下，半监督培训的目的是通过利用标记数据，而且从大量未标记的数据中提高分类准确性。最近的作品通过探索不同标记和未标记数据的不同增强性数据之间的一致性约束，从而取得了重大改进。遵循这条路径，我们提出了一个新颖的无监督目标，该目标侧重于彼此相似的高置信度未标记的数据之间所研究的关系较少。新提出的对损失最大程度地减少了高置信度伪伪标签之间的统计距离，其相似性高于一定阈值。我们提出的简单算法将对损失与MixMatch家族开发的技术结合在一起，显示出比以前在CIFAR-100和MINI-IMAGENET上的算法的显着性能增长，并且与CIFAR-的最先进方法相当。 10和SVHN。此外，简单还优于传输学习设置中最新方法，其中模型是由在ImainEnet或域内实现的权重初始化的。该代码可在github.com/zijian-hu/simple上获得。

We present Self Meta Pseudo Labels, a novel semi-supervised learning method similar to Meta Pseudo Labels but without the teacher model. We introduce a novel way to use a single model for both generating pseudo labels and classification, allowing us to store only one model in memory instead of two. Our method attains similar performance to the Meta Pseudo Labels method while drastically reducing memory usage.

Semi-supervised learning (SSL) provides an effective means of leveraging unlabeled data to improve a model's performance. This domain has seen fast progress recently, at the cost of requiring more complex methods. In this paper we propose FixMatch, an algorithm that is a significant simplification of existing SSL methods. FixMatch first generates pseudo-labels using the model's predictions on weaklyaugmented unlabeled images. For a given image, the pseudo-label is only retained if the model produces a high-confidence prediction. The model is then trained to predict the pseudo-label when fed a strongly-augmented version of the same image. Despite its simplicity, we show that FixMatch achieves state-of-the-art performance across a variety of standard semi-supervised learning benchmarks, including 94.93% accuracy on CIFAR-10 with 250 labels and 88.61% accuracy with 40 -just 4 labels per class. We carry out an extensive ablation study to tease apart the experimental factors that are most important to FixMatch's success. The code is available at https://github.com/google-research/fixmatch.

Semi-supervised learning (SSL) has achieved great success in leveraging a large amount of unlabeled data to learn a promising classifier. A popular approach is pseudo-labeling that generates pseudo labels only for those unlabeled data with high-confidence predictions. As for the low-confidence ones, existing methods often simply discard them because these unreliable pseudo labels may mislead the model. Nevertheless, we highlight that these data with low-confidence pseudo labels can be still beneficial to the training process. Specifically, although the class with the highest probability in the prediction is unreliable, we can assume that this sample is very unlikely to belong to the classes with the lowest probabilities. In this way, these data can be also very informative if we can effectively exploit these complementary labels, i.e., the classes that a sample does not belong to. Inspired by this, we propose a novel Contrastive Complementary Labeling (CCL) method that constructs a large number of reliable negative pairs based on the complementary labels and adopts contrastive learning to make use of all the unlabeled data. Extensive experiments demonstrate that CCL significantly improves the performance on top of existing methods. More critically, our CCL is particularly effective under the label-scarce settings. For example, we yield an improvement of 2.43% over FixMatch on CIFAR-10 only with 40 labeled data.

尽管半监督学习（SSL）的最新研究已经在单标签分类问题上取得了强劲的表现，但同样重要但毫无疑问的问题是如何利用多标签分类任务中未标记数据的优势。为了将SSL的成功扩展到多标签分类，我们首先使用说明性示例进行分析，以获得有关多标签分类中存在的额外挑战的一些直觉。基于分析，我们提出了一个基于百分比的阈值调整方案的百分位摩擦，以动态地改变训练期间每个类别的正和负伪标签的得分阈值，以及动态的未标记失误权重，从而进一步降低了从早期未标记的预测。与最近的SSL方法相比，在不丧失简单性的情况下，我们在Pascal VOC2007和MS-Coco数据集上实现了强劲的性能。

半监督学习（SSL）的最新最新方法将一致性正则化与基于置信的伪标记结合在一起。为了获得高质量的伪标签，通常采用高置信度阈值。但是，已经表明，对于远离训练数据的样本，深网的基于软磁性的置信度得分可能很高，因此，即使是高信心不明的样品，伪标签也可能仍然不可靠。在这项工作中，我们提出了伪标记的新观点：而不是依靠模型信心，而是衡量未标记的样本是否可能是“分布”；即，接近当前的培训数据。为了对未标记的样本进行分类是“分布”还是“分发”，我们采用了分布外检测文献中的能量评分。随着培训的进行进展，更不标记的样品成为分配并有助于培训，标记和伪标记的数据可以更好地近似于真正的分布以改善模型。实验表明，我们的基于能量的伪标记方法，尽管从概念上讲简单，但在不平衡的SSL基准测试方面显着优于基于置信的方法，并在类平衡的数据上实现了竞争性能。例如，当不平衡比率高于50时，它会在CIFAR10-LT上产生4-6％的绝对准确性提高。当与最新的长尾SSL方法结合使用时，可以实现进一步的改进。

The core issue in semi-supervised learning (SSL) lies in how to effectively leverage unlabeled data, whereas most existing methods tend to put a great emphasis on the utilization of high-confidence samples yet seldom fully explore the usage of low-confidence samples. In this paper, we aim to utilize low-confidence samples in a novel way with our proposed mutex-based consistency regularization, namely MutexMatch. Specifically, the high-confidence samples are required to exactly predict "what it is" by conventional True-Positive Classifier, while the low-confidence samples are employed to achieve a simpler goal -- to predict with ease "what it is not" by True-Negative Classifier. In this sense, we not only mitigate the pseudo-labeling errors but also make full use of the low-confidence unlabeled data by consistency of dissimilarity degree. MutexMatch achieves superior performance on multiple benchmark datasets, i.e., CIFAR-10, CIFAR-100, SVHN, STL-10, mini-ImageNet and Tiny-ImageNet. More importantly, our method further shows superiority when the amount of labeled data is scarce, e.g., 92.23% accuracy with only 20 labeled data on CIFAR-10. Our code and model weights have been released at https://github.com/NJUyued/MutexMatch4SSL.

在构建培训迷你批次时，最半监督的学习方法在样本标记的数据上。本文研究了这种常见做法是否改善了学习和方法。我们将其与替代设置进行比较，其中每个迷你批次从所有训练数据均匀地采样，标有或不统计，这大大减少了典型的低标签制度中真正标签的直接监督。然而，这种更简单的设置也可以看作更通用，甚至是必要的，在多任务问题中，标记数据的过采样将变得棘手。我们对半监控的CiFar-10图像分类的实验，使用FixMatch显示使用均匀采样方法时的性能下降，当标记数据的量或训练时间增加时，在均匀采样方法增加时。此外，我们分析培训动态，了解标记数据的过采样如何比较均匀采样。我们的主要发现是，在训练中特别有益，但在更多伪标签变得正确时，在后期的阶段中不太重要。尽管如此，我们还发现，保持一些真正的标签仍然很重要，以避免从错误的伪标签中积累确认错误。

伪标记已被证明是一种有希望的半监督学习（SSL）范式。现有的伪标记方法通常假定培训数据的类别分布是平衡的。但是，这种假设远非现实的场景，现有的伪标记方法在班级不平衡的背景下遭受了严重的性能变性。在这项工作中，我们在半监督设置下研究伪标记。核心思想是使用偏置自适应分类器自动吸收由班级失衡引起的训练偏差，该分类器将原始线性分类器与偏置吸引子配合使用。偏置吸引子设计为适应训练偏见的轻巧残留网络。具体而言，通过双级学习框架来学习偏见吸引子，以便偏见自适应分类器能够符合不平衡的训练数据，而线性分类器可以为每个类提供无偏的标签预测。我们在各种不平衡的半监督设置下进行了广泛的实验，结果表明我们的方法可以适用于不同的伪标记模型，并且优于先前的艺术。

这项工作研究了伪标签的偏见问题，一种广泛发生的自然现象，但经常通过先前的研究忽视。当在源数据上培训的分类器被传送到未标记的目标数据时，会生成伪标签。当半监督的学习模型Fixmatch预测未标记的数据时，我们观察到沉重的长尾伪标签即使未标记的数据被策划到平衡。没有干预，培训模型继承了伪标签的偏置，最终是次优。为了消除模型偏置，我们提出了一种简单而有效的方法DebiSmatch，包括自适应脱叠模块和自适应边际损失。通过使用在线更新的队列，可以自动调整脱叠的强度和边距的大小。在ImageNet-1K上基准测试，DebiasMatch分别在半监督学习（0.2％注释数据）和零拍摄学习任务中显着超过26％和8.7％的最先进。

半监督学习（SSL）是规避建立高性能模型的昂贵标签成本的最有前途的范例之一。大多数现有的SSL方法常规假定标记和未标记的数据是从相同（类）分布中绘制的。但是，在实践中，未标记的数据可能包括课外样本；那些不能从标签数据中的封闭类中的单热编码标签，即未标记的数据是开放设置。在本文中，我们介绍了Opencos，这是一种基于最新的自我监督视觉表示学习框架来处理这种现实的半监督学习方案。具体而言，我们首先观察到，可以通过自我监督的对比度学习有效地识别开放式未标记数据集中的类外样本。然后，Opencos利用此信息来克服现有的最新半监督方法中的故障模式，通过利用一式旋转伪标签和软标签来为已识别的识别和外部未标记的标签数据分别。我们广泛的实验结果表明了Opencos的有效性，可以修复最新的半监督方法，适合涉及开放式无标记数据的各种情况。

标签预测上的一致性正则化成为半监督学习中的一项基本技术，但是它仍然需要大量的训练迭代以进行高性能。在这项研究中，我们分析了一致性正则化限制了由于在模型更新中排除具有不受欢迎的伪标记的样品，因此标记信息的传播限制了。然后，我们提出对比度正则化，以提高未标记数据的群集特征一致性正则化的效率和准确性。在特定的情况下，在通过其伪标签将强大的增强样品分配给群集后，我们的对比度正规化更新了模型，以便具有自信的伪标签的功能在同一集群中汇总了功能，同时将功能推迟了不同的群集中的功能。结果，在培训中，可以有效地将自信的伪标签的信息有效地传播到更无标记的样品中。在半监督学习任务的基准上，我们的对比正则化改善了以前的基于一致性的方法，并取得了最新的结果，尤其是在培训次数较少的情况下。我们的方法还显示了在开放式半监督学习中的稳健性能，其中未标记的数据包括分发样本。

长期以来，半监督学习（SSL）已被证明是一种有限的标签模型的有效技术。在现有的文献中，基于一致性的基于正则化的方法，这些方法迫使扰动样本具有类似的预测，而原始的样本则引起了极大的关注。但是，我们观察到，当标签变得极为有限时，例如，每个类别的2或3标签时，此类方法的性能会大大降低。我们的实证研究发现，主要问题在于语义信息在数据增强过程中的漂移。当提供足够的监督时，可以缓解问题。但是，如果几乎没有指导，错误的正则化将误导网络并破坏算法的性能。为了解决该问题，我们（1）提出了一种基于插值的方法来构建更可靠的正样品对； （2）设计一种新颖的对比损失，以指导学习网络的嵌入以在样品之间进行线性更改，从而通过扩大保证金决策边界来提高网络的歧视能力。由于未引入破坏性正则化，因此我们提出的算法的性能在很大程度上得到了改善。具体而言，所提出的算法的表现优于第二好算法（COMATT），而当CIFAR-10数据集中的每个类只有两个标签可用时，可以实现88.73％的分类精度，占5.3％。此外，我们通过通过我们提出的策略大大改善现有最新算法的性能，进一步证明了所提出的方法的普遍性。

由于训练和测试分布之间的不匹配，自动语音识别（ASR）的跨域性能可能会受到严重阻碍。由于目标域通常缺乏标记的数据，并且在声学和语言水平上存在域移位，因此对ASR进行无监督的域适应性（UDA）是一项挑战。先前的工作表明，通过利用未标记的数据的自我检查，自我监督的学习（SSL）或伪标记（PL）可以有效地进行UDA。但是，这些自我介绍也面临不匹配的域分布中的性能退化，而以前的工作未能解决。这项工作提出了一个系统的UDA框架，可以在预训练和微调范式中充分利用具有自学贴标签的未标记数据。一方面，我们应用持续的预训练和数据重播技术来减轻SSL预训练模型的域不匹配。另一方面，我们提出了一种基于PL技术的域自适应微调方法，并具有三种独特的修改：首先，我们设计了一种双分支PL方法，以降低对错误的伪标签的敏感性；其次，我们设计了一种不确定性感知的置信度过滤策略，以提高伪标签的正确性。第三，我们引入了两步PL方法，以结合目标域语言知识，从而产生更准确的目标域伪标记。各种跨域场景的实验结果表明，所提出的方法可以有效地提高跨域的性能，并显着超过以前的方法。

半监督学习方法已成为对打击获得大量注释数据的挑战的活跃研究领域。为了提高半监督学习方法表现的目标，我们提出了一种新颖的框架，Hiematch，一种半监督方法，利用分层信息来降低标签成本并表现以及vanilla半监督学习方法。分层信息通常是具有细粒标签的粗标签（例如，啄木鸟）的粗标签（例如，啄木鸟）的现有知识（例如，柔软的啄木鸟或金朝啄木鸟）。但是，尚未探讨使用使用粗类标签来改进半监督技术的监督。在没有细粒度的标签的情况下，Himatch利用标签层次结构，并使用粗级标签作为弱监控信号。此外，Himatch是一种改进任何半熟的学习框架的通用方法，我们使用我们的结果在最近的最先进的技术Mixmatch和Fixmatch上展示了这一点。我们评估了在两个基准数据集，即CiFar-100和Nabirds上的Himatch疗效。与MixMatch相比，HOMACHACT可以在CIFAR-100上减少50％的粒度标签50％的用量，仅在前1个精度的边缘下降0.59％。代码：https://github.com/07agarg/hiermatch.

半监督学习（SSL）在标记数据稀缺时，在利用未标记数据的情况下表现出强大的能力。但是，大多数SSL算法在假设中，在培训和测试集中平衡类分布。在这项工作中，我们考虑到SSL对类别不平衡数据的问题，这更好地反映了现实世界的情况。特别是，我们将表示和分类器的训练分离，并系统地在培训包括分类器的整个网络以及仅微调特征提取器的整个网络时进行不同数据重新采样技术的影响。我们发现数据重新采样是重要的，以了解一个良好的分类器，因为它增加了伪标签的准确性，特别是对于未标记数据中的少数群体类别。有趣的是，我们发现准确的伪标签在训练特征提取器时无助于，相反，数据重新采样损害了特征提取器的训练。这一发现是针对错误的伪标签始终损害SSL中的模型性能的通用直觉。基于这些发现，我们建议重新思考具有单个数据重新采样策略的当前范式，并在类上不平衡数据上开发SSL的简单但高效的双采样（BIS）策略。 BIS实现了两种不同的重新采样策略，用于训练特征提取器和分类器，并将这种解耦培训集成到端到端框架中。具体地，BIS逐渐改变训练期间的数据分布，使得在开始时，特征提取器有效地训练，而朝向训练的结束时，数据被重新平衡，使得分类器可靠地训练。我们在广泛的数据集中广泛地基准了我们提出的双采样策略，实现了最先进的表演。

我们研究视觉变压器（VIT）的半监督学习（SSL），尽管VIT架构广泛采用了不同的任务，但视觉变形金刚（VIT）还是一个不足的主题。为了解决这个问题，我们提出了一条新的SSL管道，该管道由第一个联合国/自制的预训练组成，然后是监督的微调，最后是半监督的微调。在半监督的微调阶段，我们采用指数的移动平均线（EMA） - 教师框架，而不是流行的FixMatch，因为前者更稳定，并且为半手不见的视觉变压器提供了更高的准确性。此外，我们提出了一种概率的伪混合机制来插入未标记的样品及其伪标签以改善正则化，这对于训练电感偏差较弱的训练VIT很重要。我们所提出的方法被称为半vit，比半监督分类设置中的CNN对应物获得可比性或更好的性能。半vit还享受VIT的可伸缩性优势，可以很容易地扩展到具有越来越高的精度的大型模型。例如，半效率总数仅使用1％标签在Imagenet上获得令人印象深刻的80％TOP-1精度，使用100％ImageNet标签与Inception-V4相当。

We present Noisy Student Training, a semi-supervised learning approach that works well even when labeled data is abundant. Noisy Student Training achieves 88.4% top-1 accuracy on ImageNet, which is 2.0% better than the state-of-the-art model that requires 3.5B weakly labeled Instagram images. On robustness test sets, it improves ImageNet-A top-1 accuracy from 61.0% to 83.7%, reduces ImageNet-C mean corruption error from 45.7 to 28.3, and reduces ImageNet-P mean flip rate from 27.8 to 12.2.Noisy Student Training extends the idea of self-training and distillation with the use of equal-or-larger student models and noise added to the student during learning. On Im-ageNet, we first train an EfficientNet model on labeled images and use it as a teacher to generate pseudo labels for 300M unlabeled images. We then train a larger Efficient-Net as a student model on the combination of labeled and pseudo labeled images. We iterate this process by putting back the student as the teacher. During the learning of the student, we inject noise such as dropout, stochastic depth, and data augmentation via RandAugment to the student so that the student generalizes better than the teacher. 1 * This work was conducted at Google.

尽管在细粒度的视觉分类（FGVC）上进行了巨大的进步，但目前的方法仍然依赖于全面监督的范式，呼叫充足的专家标签。半监督学习（SSL）技术，从未标记的数据获取知识，提供了相当大的手段，并为粗粒度问题表示了很大的承诺。但是，退出SSL范例主要假设分销（即，类别对齐的）未标记数据，这在重新提出FGVC时阻碍了其有效性。在本文中，我们提出了一种专门针对半监督FGVC的分发数据工作的新颖设计，即“将它们联系在”。我们拆除了所有细粒度类别自然遵循等级结构的重要假设（例如，“AVES”的所有鸟类的“AVES”的系统发育树）。因此，我们可以在单个样本上运行，而是可以将该树结构内的示例关系预测为SSL的优化目标。除此之外，我们进一步推出了这两种策略，这些树结构唯一带来了唯一的一致性正则化和可靠的伪关系。我们的实验结果表明，（i）所提出的方法产生良好的鲁棒性，与分发数据产生良好的稳健性，（ii）它可以配备现有技术，提高它们的性能，从而产生最先进的结果。代码可在https://github.com/pris-cv/relmatch提供。