In recent years, the field of intelligent transportation systems (ITS) has achieved remarkable success, which is mainly due to the large amount of available annotation data. However, obtaining these annotated data has to afford expensive costs in reality. Therefore, a more realistic strategy is to leverage semi-supervised learning (SSL) with a small amount of labeled data and a large amount of unlabeled data. Typically, semantic consistency regularization and the two-stage learning methods of decoupling feature extraction and classification have been proven effective. Nevertheless, representation learning only limited to semantic consistency regularization may not guarantee the separation or discriminability of representations of samples with different semantics; due to the inherent limitations of the two-stage learning methods, the extracted features may not match the specific downstream tasks. In order to deal with the above drawbacks, this paper proposes an end-to-end deep semi-supervised learning double contrast of semantic and feature, which extracts effective tasks specific discriminative features by contrasting the semantics/features of positive and negative augmented samples pairs. Moreover, we leverage information theory to explain the rationality of double contrast of semantics and features and slack mutual information to contrastive loss in a simpler way. Finally, the effectiveness of our method is verified in benchmark datasets.

长期以来，半监督学习（SSL）已被证明是一种有限的标签模型的有效技术。在现有的文献中，基于一致性的基于正则化的方法，这些方法迫使扰动样本具有类似的预测，而原始的样本则引起了极大的关注。但是，我们观察到，当标签变得极为有限时，例如，每个类别的2或3标签时，此类方法的性能会大大降低。我们的实证研究发现，主要问题在于语义信息在数据增强过程中的漂移。当提供足够的监督时，可以缓解问题。但是，如果几乎没有指导，错误的正则化将误导网络并破坏算法的性能。为了解决该问题，我们（1）提出了一种基于插值的方法来构建更可靠的正样品对； （2）设计一种新颖的对比损失，以指导学习网络的嵌入以在样品之间进行线性更改，从而通过扩大保证金决策边界来提高网络的歧视能力。由于未引入破坏性正则化，因此我们提出的算法的性能在很大程度上得到了改善。具体而言，所提出的算法的表现优于第二好算法（COMATT），而当CIFAR-10数据集中的每个类只有两个标签可用时，可以实现88.73％的分类精度，占5.3％。此外，我们通过通过我们提出的策略大大改善现有最新算法的性能，进一步证明了所提出的方法的普遍性。

在这项研究中，我们提出了一种基于对比学习的特征提取框架，其适应性阳性和阴性样本（CL-FEFA）适用于无监督，监督和半监督单视图特征提取。 CL-FEFA自适应地构建来自特征提取结果的正面和阴性样品，这使得更合适和准确。此后，根据先前的正和阴性样品重新提取歧视特征，以根据阳性和阴性样品进行InfoNce损失，这将使阶级样品更紧凑，并且阶级样品更大分散。同时，使用子空间样本的潜在结构信息动态构建正面和负样本可以使我们的框架更加强大地嘈杂的数据。此外，CL-FEFA考虑阳性样本之间的相互信息，即潜在结构中的类似样品，为其在特征提取中提供了理论支持。最终的数值实验证明，该框架具有与传统特征提取方法和对比学习方法的强大优势。

This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that bridges contrastive learning with clustering. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it encodes semantic structures discovered by clustering into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.

基于对比度学习（CL）以成对的方式学习视觉表示。尽管流行的CL模型取得了长足的进步，但在本文中，我们发现了一种不断被忽视的现象：当CL模型接受完整图像训练时，以完整图像测试的性能要比前景区域的表现更好。当CL模型接受前景区域训练时，以完整图像测试的性能要比前景区域差。该观察结果表明，图像中的背景可能会干扰模型学习语义信息及其影响尚未完全消除。为了解决这个问题，我们建立了一个结构性因果模型（SCM），以建模背景作为混杂因素。我们提出了一种基于后门调整的正则化方法，即用元语义正常器（ICL-MSR）进行介入的对比度学习，以对所提出的SCM进行因果干预。可以将ICL-MSR纳入任何现有的CL方法中，以减轻代表学习的背景干扰。从理论上讲，我们证明ICL-MSR达到了更严格的误差。从经验上讲，我们在多个基准数据集上的实验表明，ICL-MSR能够改善不同最先进的CL方法的性能。

最近的特征对比学习（FCL）在无监督的代表学习中表现出了有希望的表现。然而，对于近置表示学习，其中标记的数据和未标记数据属于相同的语义空间，FCL不能显示由于在优化期间不涉及类语义而无法占用的压倒性增益。因此，产生的特征不保证由来自标记数据中学到的类重量轻松归类，尽管它们是富有的信息。为了解决这个问题，我们在本文中提出了一种新颖的概率对比学习（PCL），这不仅产生了丰富的功能，而且还强制执行它们以分布在课堂上的原型。具体而言，我们建议在SoftMax之后使用输出概率来执行对比学习而不是FCL中提取的功能。显然，这种方法可以在优化期间利用类语义。此外，我们建议在传统的FCL中删除$ \ ell_ {2} $归一化，并直接使用$ \ ell_ {1} $ - 归一化对比学习的概率。我们提出的PCL简单有效。我们在三个近距离图像分类任务中进行广泛的实验，即无监督域适应，半监督学习和半监督域适应。多个数据集上的结果表明，我们的PCL可以一致地获得相当大的收益并实现所有三个任务的最先进的性能。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

Semi-supervised learning (SSL) has achieved great success in leveraging a large amount of unlabeled data to learn a promising classifier. A popular approach is pseudo-labeling that generates pseudo labels only for those unlabeled data with high-confidence predictions. As for the low-confidence ones, existing methods often simply discard them because these unreliable pseudo labels may mislead the model. Nevertheless, we highlight that these data with low-confidence pseudo labels can be still beneficial to the training process. Specifically, although the class with the highest probability in the prediction is unreliable, we can assume that this sample is very unlikely to belong to the classes with the lowest probabilities. In this way, these data can be also very informative if we can effectively exploit these complementary labels, i.e., the classes that a sample does not belong to. Inspired by this, we propose a novel Contrastive Complementary Labeling (CCL) method that constructs a large number of reliable negative pairs based on the complementary labels and adopts contrastive learning to make use of all the unlabeled data. Extensive experiments demonstrate that CCL significantly improves the performance on top of existing methods. More critically, our CCL is particularly effective under the label-scarce settings. For example, we yield an improvement of 2.43% over FixMatch on CIFAR-10 only with 40 labeled data.

我们解决了新颖的类发现问题，旨在根据可见类别的数据在未标记的数据中发现新的类。主要的挑战是将所见类中包含的知识转移到看不见的知识中。先前的方法主要通过共享表示空间或关节标签空间传输知识。但是，他们倾向于忽略可见类别和看不见的类别之间的阶级关系，因此学习的表示对聚类的看不见类别的有效性较差。在本文中，我们提出了一种原理和一般方法，以在可见的和看不见的阶级之间传递语义知识。我们的见解是利用共同的信息来衡量受限的标签空间中看到的类和看不见的类之间的关系，并最大化相互信息可以促进传递语义知识的传递。为了验证我们方法的有效性和概括，我们对新型类发现和一般新型类发现设置进行了广泛的实验。我们的结果表明，所提出的方法在几个基准上优于先前的SOTA。

现有的深度聚类方法依赖于对比学习的对比学习，这需要否定例子来形成嵌入空间，其中所有情况都处于良好分离状态。但是，否定的例子不可避免地引起阶级碰撞问题，损害了群集的表示学习。在本文中，我们探讨了对深度聚类的非对比表示学习，被称为NCC，其基于Byol，一种没有负例的代表性方法。首先，我们建议将一个增强的实例与嵌入空间中的另一个视图的邻居对齐，称为正抽样策略，该域避免了由否定示例引起的类碰撞问题，从而提高了集群内的紧凑性。其次，我们建议鼓励在所有原型中的一个原型和均匀性的两个增强视图之间的对准，命名的原型是原型的对比损失或protocl，这可以最大化簇间距离。此外，我们在期望 - 最大化（EM）框架中制定了NCC，其中E-Step利用球面K手段来估计实例的伪标签和来自目标网络的原型的分布，并且M-Step利用了所提出的损失优化在线网络。结果，NCC形成了一个嵌入空间，其中所有集群都处于分离良好，而内部示例都很紧凑。在包括ImageNet-1K的几个聚类基准数据集上的实验结果证明了NCC优于最先进的方法，通过显着的余量。

神经网络二进制通过将其权重和激活量化为1位来加速深层模型。但是，二进制神经网络（BNN）与其完整精确（FP）对应物之间仍然存在巨大的性能差距。由于早期作品中权重二进制引起的量化误差已减少，因此激活二进化成为进一步提高准确性的主要障碍。 BNN表征了独特而有趣的结构，其中二进制和潜在的fp激活存在于同一正向通行证中（\ textit {i.e。} $ \ text {binarize}（\ mathbf {a} _f {a} _f）= \ mathbf {a a} _b $） 。为了减轻从FP到二元激活的二进化操作引起的信息降解，我们在通过互信息（MI）最大化的镜头训练BNN时建立了一种新颖的对比学习框架。将MI作为指标引入，以衡量二进制和FP激活之间共享的信息，这有助于对比度学习。具体而言，通过从相同输入样品中拉出二进制和FP激活的正对，以及从不同样品中推动负面对（负面对数的数量可以大大），从而极大地增强了BNN的表示能力。这使下游任务不仅有益于分类，而且还受益于分类和深度估计，〜\ textit {etc}。实验结果表明，我们的方法可以作为现有最新二元方法的堆积模块实现NYUD-V2的能力。

最近对比学习在从未标记数据学习视觉表现方面表现出显着进展。核心思想正在培训骨干，以不变的实例的不同增强。虽然大多数方法只能最大化两个增强数据之间的特征相似性，但我们进一步产生了更具挑战性的训练样本，并强迫模型继续预测这些硬样品上的判别表示。在本文中，我们提出了Mixsiam，传统暹罗网络的混合方法。一方面，我们将实例的两个增强图像输入到骨干，并通过执行两个特征的元素最大值来获得辨别结果。另一方面，我们将这些增强图像的混合物作为输入，并期望模型预测接近鉴别的表示。以这种方式，模型可以访问实例的更多变体数据样本，并继续预测它们的不变判别表示。因此，与先前的对比学习方法相比，学习模型更加强大。大型数据集的广泛实验表明，Mixsiam稳步提高了基线，并通过最先进的方法实现了竞争结果。我们的代码即将发布。

从一个非常少数标记的样品中学习新颖的课程引起了机器学习区域的越来越高。最近关于基于元学习或转移学习的基于范例的研究表明，良好特征空间的获取信息可以是在几次拍摄任务上实现有利性能的有效解决方案。在本文中，我们提出了一种简单但有效的范式，该范式解耦了学习特征表示和分类器的任务，并且只能通过典型的传送学习培训策略从基类嵌入体系结构的特征。为了在每个类别内保持跨基地和新类别和辨别能力的泛化能力，我们提出了一种双路径特征学习方案，其有效地结合了与对比特征结构的结构相似性。以这种方式，内部级别对齐和级别的均匀性可以很好地平衡，并且导致性能提高。三个流行基准测试的实验表明，当与简单的基于原型的分类器结合起来时，我们的方法仍然可以在电感或转换推理设置中的标准和广义的几次射击问题达到有希望的结果。

通过对比学习，自我监督学习最近在视觉任务中显示了巨大的潜力，这旨在在数据集中区分每个图像或实例。然而，这种情况级别学习忽略了实例之间的语义关系，有时不希望地从语义上类似的样本中排斥锚，被称为“假否定”。在这项工作中，我们表明，对于具有更多语义概念的大规模数据集来说，虚假否定的不利影响更为重要。为了解决这个问题，我们提出了一种新颖的自我监督的对比学习框架，逐步地检测并明确地去除假阴性样本。具体地，在训练过程之后，考虑到编码器逐渐提高，嵌入空间变得更加语义结构，我们的方法动态地检测增加的高质量假否定。接下来，我们讨论两种策略，以明确地在对比学习期间明确地消除检测到的假阴性。广泛的实验表明，我们的框架在有限的资源设置中的多个基准上表现出其他自我监督的对比学习方法。

卷积神经网络（CNN）通过使用大型数据集在图像分类方面取得了重大成功。但是，在小规模数据集上从头开始学习，有效地有效地学习，这仍然是巨大的挑战。借助有限的培训数据集，类别的概念将是模棱两可的，因为过度参数化的CNN倾向于简单地记住数据集，从而导致概括能力差。因此，研究如何在避免过度拟合的同时学习更多的判别性表示至关重要。由于类别的概念往往是模棱两可的，因此获取更多个人信息很重要。因此，我们提出了一个新框架，称为“吸引和修复”，由对比度正规化（CR）组成以丰富特征表示形式，对称交叉熵（SCE），以平衡不同类别的拟合和平均教师以校准标签信息。具体而言，SCE和CR学习歧视性表示，同时通过班级信息（吸引）和实例（拒绝）之间的适应性权衡缓解过度构成。之后，平均教师通过校准更准确的软伪标签来进一步提高性能。足够的实验验证了吸引和修复框架的有效性。加上其他策略，例如积极的数据增强，tencrop推断和模型结合，我们在ICCV 2021 vipriors图像分类挑战中获得了第二名。

标签昂贵，有时是不可靠的。嘈杂的标签学习，半监督学习和对比学习是三种不同的设计，用于设计需要更少的注释成本的学习过程。最近已经证明了半监督学习和对比学习，以改善使用嘈杂标签地址数据集的学习策略。尽管如此，这些领域之间的内部连接以及将它们的强度结合在一起的可能性仅开始出现。在本文中，我们探讨了融合它们的进一步方法和优势。具体而言，我们提出了CSSL，统一的对比半监督学习算法和Codim（对比DivideMix），一种用嘈杂标签学习的新算法。 CSSL利用经典半监督学习和对比学习技术的力量，并进一步适应了Codim，其从多种类型和标签噪声水平鲁莽地学习。我们表明Codim带来了一致的改进，并在多个基准上实现了最先进的结果。

随着大数据在多个高影响应用程序中的出现，我们经常面临复杂异质性的挑战。新收集的数据通常由多种模态组成，并具有多个标签，因此表现出多种类型的异质性的共存。尽管最先进的技术擅长使用足够的标签信息对复杂的异质性进行建模，但是在实际应用中获得的标签信息可能非常昂贵。最近，研究人员通过利用丰富的未标记数据，非常关注对比度学习的出色表现。但是，对比度学习上的现有工作无法解决虚假负面对的问题，即，如果某些“负”对具有相同的标签，则可能具有相似的表示。为了克服这些问题，在本文中，我们提出了一个统一的异质学习框架，该框架结合了加权的无监督对比损失和加权监督的对比损失，以模拟多种类型的异质性。我们首先提供了理论分析，表明在存在假负对的情况下，香草对比度学习损失很容易导致次优的解决方案，而拟议的加权损失可以自动根据学习表示的相似性自动调整重量，从而减轻这种情况以减轻这种情况问题。现实世界数据集的实验结果证明了对多种类型的异质性建模所提出的框架的有效性和效率。

上下文信息对于各种计算机视觉任务至关重要，以前的作品通常设计插件模块和结构损失，以有效地提取和汇总全局上下文。这些方法利用优质标签来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，可以将优选的分布引入硬像素（即错误分类的像素）。受到无监督范式的对比学习的启发，我们以监督的方式应用了对比度损失，并重新设计了损失功能，以抛弃无监督学习的刻板印象（例如，积极和负面的不平衡，对锚定计算的混淆）。为此，我们提出了阳性阴性相等的对比损失（PNE损失），这增加了阳性嵌入对锚的潜在影响，并同时对待阳性和阴性样本对。 PNE损失可以直接插入现有的语义细分框架中，并以可忽视的额外计算成本导致出色的性能。我们利用许多经典的分割方法（例如，DeepLabv3，Ocrnet，Upernet）和骨干（例如Resnet，Hrnet，Swin Transformer）进行全面的实验，并在两个基准数据集（例如，例如，例如，，例如城市景观和可可固定）。我们的代码将公开

我们介绍了代表学习（CARL）的一致分配，通过组合来自自我监督对比学习和深层聚类的思路来学习视觉表现的无监督学习方法。通过从聚类角度来看对比学习，Carl通过学习一组一般原型来学习无监督的表示，该原型用作能量锚来强制执行给定图像的不同视图被分配给相同的原型。与与深层聚类的对比学习的当代工作不同，Carl建议以在线方式学习一组一般原型，使用梯度下降，而无需使用非可微分算法或k手段来解决群集分配问题。卡尔在许多代表性学习基准中超越了竞争对手，包括线性评估，半监督学习和转移学习。

使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。