对比自我监督学习（CSL）已设法匹配或超过图像和视频分类中监督学习的表现。但是，仍然未知两个学习范式引起的表示的性质是否相似。我们在对抗性鲁棒性的角度下对此进行了研究。我们对该问题的分析治疗揭示了CSL对监督学习的内在更高灵敏度。它将数据表示形式在CSL表示空间中的单位过球上的统一分布是这种现象的关键因素。我们确定这会增加模型对输入扰动的敏感性，而在培训数据中存在假阴性的情况下。我们的发现得到了对对抗性扰动和其他输入损坏的图像和视频分类的广泛实验的支持。在洞察力的基础上，我们制定了简单但有效地通过CSL培训改善模型鲁棒性的策略。我们证明，对抗攻击的CSL及其受监督的对手之间的性能差距最高可下降68％。最后，我们通过将我们的发现纳入对抗性的自我监督学习中，为强大的CSL范式做出了贡献。我们证明，在该域中的两种不同的最新方法中，平均增益约为5％。

对比度学习（CL）可以通过在其顶部的线性分类器上学习更广泛的特征表示并实现下游任务的最先进的性能。然而，由于对抗性稳健性在图像分类中变得至关重要，但仍然不清楚CL是否能够为下游任务保留鲁棒性。主要挑战是，在自我监督的预押率+监督的FineTuning范式中，由于学习任务不匹配从预先追溯到Fineetuning，对抗性鲁棒性很容易被遗忘。我们称之为挑战“跨任务稳健性转移性”。为了解决上述问题，在本文中，我们通过稳健性增强的镜头重新审视并提前CL原理。我们展示了（1）对比视图的设计事项：图像的高频分量有利于提高模型鲁棒性; （2）使用伪监督刺激（例如，诉诸特征聚类）增强CL，有助于保持稳健性而不会忘记。配备了我们的新设计，我们提出了一种新的对抗对比预制框架的advcl。我们表明Advcl能够增强跨任务稳健性转移性，而不会损失模型精度和芬降效率。通过彻底的实验研究，我们展示了Advcl优于跨多个数据集（CiFar-10，CiFar-100和STL-10）和FineTuning方案的最先进的自我监督的自我监督学习方法（线性评估和满模型fineetuning）。

在本文中，我们引入了一个新型的神经网络训练框架，该框架增加了模型对对抗性攻击的对抗性鲁棒性，同时通过将对比度学习（CL）与对抗性训练（AT）结合在一起，以保持高清洁精度。我们建议通过学习在数据增强和对抗性扰动下保持一致的特征表示来提高对对抗性攻击的模型鲁棒性。我们利用对比的学习来通过将对抗性示例视为另一个积极的例子来提高对抗性的鲁棒性，并旨在最大化数据样本的随机增强及其对抗性示例之间的相似性，同时不断更新分类头，以避免在认知解离之间分类头和嵌入空间。这种分离是由于CL将网络更新到嵌入空间的事实引起的，同时冻结用于生成新的积极对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗性特征（CLAF）的对比度学习，在该数据集上，它在替代监督和自我监督的对抗学习方法上均优于强大的精度和清洁精度。

最近提出的对抗自我监督的学习方法通常需要大批和长期训练时期提取强大的功能，在实际应用中是不友好的。在本文中，我们提出了一种新的对抗动力对比学习方法，它利用两个存储体来跟踪不同迷你批次的不变特征。这些存储体可以有效地结合到每次迭代中，并帮助网络学习具有较小批次的更强大的特征表示，并且较少的时期。此外，在对分类任务进行微调后，所提出的方法可以满足或超过现实世界数据集上一些最先进的监督基线的性能。我们的代码可用于\ url {https:/github.com/mtandhj/amoc}。

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

自我监督学习的最新进展证明了多种视觉任务的有希望的结果。高性能自我监督方法中的一个重要成分是通过培训模型使用数据增强，以便在嵌入空间附近的相同图像的不同增强视图。然而，常用的增强管道整体地对待图像，忽略图像的部分的语义相关性-e.g。主题与背景 - 这可能导致学习杂散相关性。我们的工作通过调查一类简单但高度有效的“背景增强”来解决这个问题，这鼓励模型专注于语义相关内容，劝阻它们专注于图像背景。通过系统的调查，我们表明背景增强导致在各种任务中跨越一系列最先进的自我监督方法（MOCO-V2，BYOL，SWAV）的性能大量改进。 $ \ SIM $ + 1-2％的ImageNet收益，使得与监督基准的表现有关。此外，我们发现有限标签设置的改进甚至更大（高达4.2％）。背景技术增强还改善了许多分布换档的鲁棒性，包括天然对抗性实例，想象群-9，对抗性攻击，想象成型。我们还在产生了用于背景增强的显着掩模的过程中完全无监督的显着性检测进展。

尽管基于3D点云表示的基于自我监督的对比度学习模型最近取得了成功，但此类预训练模型的对抗性鲁棒性引起了人们的关注。对抗性对比学习（ACL）被认为是改善预训练模型的鲁棒性的有效方法。相比之下，投影仪被认为是在对比度预处理过程中删除不必要的特征信息的有效组成部分，并且大多数ACL作品还使用对比度损失，与预测的功能表示形式相比损失，在预处理中产生对抗性示例，而“未转移”的功能表征用于发电的对抗性输入。在推理期间。由于投影和“未投影”功能之间的分布差距，其模型受到限制，以获取下游任务的可靠特征表示。我们介绍了一种新方法，通过利用虚拟对抗性损失在对比度学习框架中使用“未重新注射”功能表示，以生成高质量的3D对抗示例，以进行对抗训练。我们介绍了强大的意识损失功能，以对抗自我监督对比度学习框架。此外，我们发现选择具有正常操作员（DON）操作员差异的高差异作为对抗性自学对比度学习的附加输入，可以显着提高预训练模型的对抗性鲁棒性。我们在下游任务上验证我们的方法，包括3D分类和使用多个数据集的3D分割。它在最先进的对抗性学习方法上获得了可比的鲁棒精度。

最近，对抗性训练已被纳入自我监督的对比预训练中，以增强标签效率，并具有令人兴奋的对抗性鲁棒性。但是，鲁棒性是经过昂贵的对抗训练的代价。在本文中，我们表明了一个令人惊讶的事实，即对比的预训练与稳健性具有有趣而隐含的联系，并且在经过训练的代表中如此自然的鲁棒性使我们能够设计出一种强大的鲁棒算法，以防止对抗性攻击，Rush，将标准组合在一起。对比的预训练和随机平滑。它提高了标准准确性和强大的精度，并且与对抗训练相比，培训成本大大降低了。我们使用广泛的经验研究表明，拟议中的Rush在一阶攻击下的共同基准（CIFAR-10，CIFAR-100和STL-10）的大幅度优于对抗性训练的强大分类器。特别是，在$ \ ell _ {\ infty} $下 - 大小为8/255 PGD攻击CIFAR-10的标准扰动，我们使用RESNET-18作为骨架达到77.8％的型号达到77.8％稳健精度和87.9％的标准精度。与最先进的工作相比，我们的工作的鲁棒精度提高了15％以上，标准准确性略有提高。

标准的对比学习方法通常需要大量的否定否定有效的无监督学习，并且往往表现出缓慢的收敛性。我们怀疑这种行为是由于用于提供与积极鲜明对比的否定的廉价选择。我们通过从支持向量机（SVM）的灵感来呈现最大值保证金对比学习（MMCL）来抵消这种困难。我们的方法选择否定作为通过二次优化问题获得的稀疏支持向量，通过最大化决策余量来强制执行对比度。由于SVM优化可以计算要求，特别是在端到端设置中，我们提出了缓解计算负担的简化。我们验证了我们对标准视觉基准数据集的方法，展示了在无监督的代表上学习最先进的表现，同时具有更好的经验收敛性。

对比度学习（CL）最近已应用于对抗性学习任务。这种实践将对抗样本视为实例的其他积极观点，并且通过彼此达成最大的协议，可以产生更好的对抗性鲁棒性。但是，由于对抗性扰动可能会导致实例级别的身份混乱，因此这种机制可能存在缺陷，这可能会通过用单独的身份将不同的实例聚集在一起来阻碍CL性能。为了解决这个问题，我们建议在形成鲜明对比时不平等地对待对抗样本，与不对称的Infonce目标（$ a-Infonce $）允许区分对抗样本的考虑。具体而言，对手被视为降低的阳性，会引起较弱的学习信号，或者是与其他负面样本形成较高对比的艰难负面因素。以不对称的方式，可以有效地减轻CL和对抗性学习之间相互冲突目标的不利影响。实验表明，我们的方法始终超过不同鉴定方案的现有对抗性CL方法，而无需额外的计算成本。提出的A-INFONCE也是一种通用形式，可以很容易地扩展到其他CL方法。代码可从https://github.com/yqy2001/a-infonce获得。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

最近的自我监督方法在学习特征表示中取得了成功，这些特征表示可以与完全监督竞争，并且已被证明以几种方式有利于模型：例如改善模型的鲁棒性和分布外检测。在我们的论文中，我们进行了一个实证研究，以更准确地了解自我监督的学习 - 作为训练技术或反对派训练的一部分 - 影响模型鲁棒性至$ l_2 $和$ l _ {\ infty} $对抗扰动和自然形象腐败。自我监督确实可以改善模型稳健性，但事实证明魔鬼是细节。如果只有对逆势训练的串联增加自我监督损失，那么当用更小或与$ \ epsilon_ {rest} $的价值进行对抗的对手扰动评估时，可以看到模型的准确性提高。但是，如果一个人观察到$ \ epsilon_ {test} \ ge \ epsilon_ {train} $的准确性，则模型精度下降。事实上，监督损失的重量越大，性能下降越大，即损害模型的鲁棒性。我们确定自我监督可以添加到对抗的主要方式，并观察使用自我监督损失来优化网络参数，发现对抗性示例导致模型稳健性最强的改善，因为这可以被视为合奏对抗培训的形式。尽管与随机重量初始化相比，自我监督的预训练产生益处改善对抗性培训，但如果在对抗培训中，我们将在模型鲁棒性或准确性中观察到模型鲁棒性或准确性。

深度卷积神经网络（CNN）很容易被输入图像的细微，不可察觉的变化所欺骗。为了解决此漏洞，对抗训练会创建扰动模式，并将其包括在培训设置中以鲁棒性化模型。与仅使用阶级有限信息的现有对抗训练方法（例如，使用交叉渗透损失）相反，我们建议利用功能空间中的其他信息来促进更强的对手，这些信息又用于学习强大的模型。具体来说，我们将使用另一类的目标样本的样式和内容信息以及其班级边界信息来创建对抗性扰动。我们以深入监督的方式应用了我们提出的多任务目标，从而提取了多尺度特征知识，以创建最大程度地分开对手。随后，我们提出了一种最大边缘对抗训练方法，该方法可最大程度地减少源图像与其对手之间的距离，并最大程度地提高对手和目标图像之间的距离。与最先进的防御能力相比，我们的对抗训练方法表明了强大的鲁棒性，可以很好地推广到自然发生的损坏和数据分配变化，并保留了清洁示例的模型准确性。

对共同腐败的稳健性的文献表明对逆势培训是否可以提高这种环境的性能，没有达成共识。 First, we show that, when used with an appropriately selected perturbation radius, $\ell_p$ adversarial training can serve as a strong baseline against common corruptions improving both accuracy and calibration.然后，我们解释了为什么对抗性训练比具有简单高斯噪声的数据增强更好地表现，这被观察到是对共同腐败的有意义的基线。与此相关，我们确定了高斯增强过度适用于用于培训的特定标准偏差的$ \ sigma $ -oviting现象，这对培训具有显着不利影响的普通腐败精度。我们讨论如何缓解这一问题，然后如何通过学习的感知图像贴片相似度引入对抗性训练的有效放松来进一步增强$ \ ell_p $普发的培训。通过对CiFar-10和Imagenet-100的实验，我们表明我们的方法不仅改善了$ \ ell_p $普发的培训基线，而且还有累积的收益与Augmix，Deepaulment，Ant和Sin等数据增强方法，导致普通腐败的最先进的表现。我们的实验代码在HTTPS://github.com/tml-epfl/adv-training - 窗子上公开使用。

在对比学习中，最近的进步表现出了出色的表现。但是，绝大多数方法仅限于封闭世界的环境。在本文中，我们通过挖掘开放世界的环境来丰富表示学习的景观，其中新颖阶级的未标记样本自然可以在野外出现。为了弥合差距，我们引入了一个新的学习框架，开放世界的对比学习（Opencon）。Opencon应对已知和新颖阶级学习紧凑的表现的挑战，并促进了一路上的新颖性发现。我们证明了Opencon在挑战基准数据集中的有效性并建立竞争性能。在Imagenet数据集上，Opencon在新颖和总体分类精度上分别胜过当前最佳方法的最佳方法，分别胜过11.9％和7.4％。我们希望我们的工作能为未来的工作打开新的大门，以解决这一重要问题。

现代神经网络Excel在图像分类中，但它们仍然容易受到常见图像损坏，如模糊，斑点噪音或雾。最近的方法关注这个问题，例如Augmix和Deepaulment，引入了在预期运行的防御，以期望图像损坏分布。相比之下，$ \ ell_p $ -norm界限扰动的文献侧重于针对最坏情况损坏的防御。在这项工作中，我们通过提出防范内人来调和两种方法，这是一种优化图像到图像模型的参数来产生对外损坏的增强图像的技术。我们理论上激发了我们的方法，并为其理想化版本的一致性以及大纲领提供了足够的条件。我们的分类机器在预期对CiFar-10-C进行的常见图像腐败基准上提高了最先进的，并改善了CIFAR-10和ImageNet上的$ \ ell_p $ -norm有界扰动的最坏情况性能。

我们提出了自适应培训 - 一种统一的培训算法，通过模型预测动态校准并增强训练过程，而不会产生额外的计算成本 - 以推进深度神经网络的监督和自我监督的学习。我们分析了培训数据的深网络培训动态，例如随机噪声和对抗例。我们的分析表明，模型预测能够在数据中放大有用的基础信息，即使在没有任何标签信息的情况下，这种现象也会发生，突出显示模型预测可能会产生培训过程：自适应培训改善了深网络的概括在噪音下，增强自我监督的代表学习。分析还阐明了解深度学习，例如，在经验风险最小化和最新的自我监督学习算法的折叠问题中对最近发现的双重现象的潜在解释。在CIFAR，STL和Imagenet数据集上的实验验证了我们在三种应用中的方法的有效性：用标签噪声，选择性分类和线性评估进行分类。为了促进未来的研究，该代码已在HTTPS://github.com/layneh/Self-Aveptive-训练中公开提供。

自我监督的对比学习是学习无标签的视觉表示的强大工具。先前的工作主要集中于评估各种训练算法的识别精度，但忽略了其他行为方面。除了准确性外，分布鲁棒性在机器学习模型的可靠性中起着至关重要的作用。我们设计和进行一系列鲁棒性测试，以量化对比度学习与监督学习之间的行为差​​异，以使其下游或训练前数据分布变化。这些测试利用多个级别的数据损坏，范围从像素级伽马失真到补丁级的改组，再到数据集级别的分布变化。我们的测试揭示了对比度和监督学习的有趣鲁棒性行为。一方面，在下游腐败下，我们通常会观察到对比度学习比监督学习更强大。另一方面，在训练前的损坏下，我们发现对比度学习容易被补丁改组和像素强度变化，但对数据集级别的分布变化却不太敏感。我们试图通过数据增强和特征空间属性的作用来解释这些结果。我们的见解具有改善监督学习的下游鲁棒性的意义。

Contrastive learning has become a key component of self-supervised learning approaches for computer vision. By learning to embed two augmented versions of the same image close to each other and to push the embeddings of different images apart, one can train highly transferable visual representations. As revealed by recent studies, heavy data augmentation and large sets of negatives are both crucial in learning such representations. At the same time, data mixing strategies, either at the image or the feature level, improve both supervised and semi-supervised learning by synthesizing novel examples, forcing networks to learn more robust features. In this paper, we argue that an important aspect of contrastive learning, i.e. the effect of hard negatives, has so far been neglected. To get more meaningful negative samples, current top contrastive self-supervised learning approaches either substantially increase the batch sizes, or keep very large memory banks; increasing memory requirements, however, leads to diminishing returns in terms of performance. We therefore start by delving deeper into a top-performing framework and show evidence that harder negatives are needed to facilitate better and faster learning. Based on these observations, and motivated by the success of data mixing, we propose hard negative mixing strategies at the feature level, that can be computed on-the-fly with a minimal computational overhead. We exhaustively ablate our approach on linear classification, object detection, and instance segmentation and show that employing our hard negative mixing procedure improves the quality of visual representations learned by a state-of-the-art self-supervised learning method.Project page: https://europe.naverlabs.com/mochi 34th Conference on Neural Information Processing Systems (NeurIPS 2020),

自我监督的学习方法，如对比学习，在自然语言处理中非常重视。它使用对培训数据增强对具有良好表示能力的编码器构建分类任务。然而，在对比学习的学习成对的构建在NLP任务中更难。以前的作品生成单词级更改以形成对，但小变换可能会导致句子含义的显着变化作为自然语言的离散和稀疏性质。在本文中，对对抗的训练在NLP的嵌入空间中产生了挑战性和更难的学习对抗性示例作为学习对。使用对比学学习提高了对抗性培训的泛化能力，因为对比损失可以使样品分布均匀。同时，对抗性培训也提高了对比学习的稳健性。提出了两种小说框架，监督对比对抗学习（SCAS）和无监督的SCAS（USCAL），通过利用对比学习的对抗性培训来产生学习成对。利用基于标签的监督任务丢失，以产生对抗性示例，而无监督的任务会带来对比损失。为了验证所提出的框架的有效性，我们将其雇用到基于变换器的模型，用于自然语言理解，句子语义文本相似性和对抗学习任务。胶水基准任务的实验结果表明，我们的微调监督方法优于BERT $ _ {基础} $超过1.75 \％。我们还评估我们对语义文本相似性（STS）任务的无监督方法，并且我们的方法获得77.29 \％with bert $ _ {base} $。我们方法的稳健性在NLI任务的多个对抗性数据集下进行最先进的结果。