在本文中，我们从优化的角度研究了对比度学习，旨在分析和解决现有的对比学习方法的基本问题，这些方法依靠大批量大小或大型矢量词典。我们考虑了对比度学习的全球目标，该目标将每个正对与锚点的所有负对对比。从优化的角度来看，我们解释了为什么诸如SIMCLR之类的现有方法需要大批量大小才能获得令人满意的结果。为了消除此类要求，我们提出了一种记忆有效的随机优化算法，用于求解名为SOGCLR的对比度学习的全局目标。我们表明，在足够数量的迭代次数之后，在合理条件下，其优化误差可以忽略不计，或者对于稍有不同的全局对比目标而减少。从经验上讲，我们证明具有小批量大小的SOGCLR（例如256）可以在Imagenet-1k上的自我监督学习任务上获得与具有较大批量大小（例如8192）的SIMCLR相似的性能。我们还试图证明所提出的优化技术是通用的，可以应用于解决其他对比损失，例如双峰对比度学习的双向对比损失。提出的方法是在我们开源的图书馆libauc（www.libauc.org）中实现的。

对比学习（CL）是自我监督学习（SSL）最成功的范式之一。它以原则上的方式考虑了两个增强的“视图”，同一图像是正面的，将其拉近，所有其他图像都是负面的。但是，在基于CL的技术的令人印象深刻的成功之后，它们的配方通常依赖于重型设置，包括大型样品批次，广泛的培训时代等。因此，我们有动力解决这些问题并建立一个简单，高效但有竞争力的问题对比学习的基线。具体而言，我们从理论和实证研究中鉴定出对广泛使用的Infonce损失的显着负阳性耦合（NPC）效应，从而导致有关批处理大小的不合适的学习效率。通过消除NPC效应，我们提出了脱钩的对比度学习（DCL）损失，该损失从分母中删除了积极的术语，并显着提高了学习效率。 DCL对竞争性表现具有较小的对亚最佳超参数的敏感性，既不需要SIMCLR中的大批量，Moco中的动量编码或大型时代。我们以各种基准来证明，同时表现出对次优的超参数敏感的鲁棒性。值得注意的是，具有DCL的SIMCLR在200个时期内使用批次尺寸256实现68.2％的Imagenet-1K TOP-1精度，在预训练中的表现优于其SIMCLR基线6.4％。此外，DCL可以与SOTA对比度学习方法NNCLR结合使用，以达到72.3％的Imagenet-1k Top-1精度，在400个时期的512批次大小中，这代表了对比学习中的新SOTA。我们认为DCL为将来的对比SSL研究提供了宝贵的基准。

NDCG是标准化的折扣累积增益，是信息检索和机器学习中广泛使用的排名指标。但是，仍然缺乏最大化NDCG的有效且可证明的随机方法，尤其是对于深层模型。在本文中，我们提出了一种优化NDCG及其最高$ K $变体的原则方法。首先，我们制定了一个新颖的组成优化问题，以优化NDCG替代物，以及一个新型的双层构图优化问题，用于优化顶部$ K $ NDCG代理。然后，我们开发有效的随机算法，并为非凸目标提供可证明的收敛保证。与现有的NDCG优化方法不同，我们的算法量表的均量复杂性与迷你批量大小，而不是总项目的数量。为了提高深度学习的有效性，我们通过使用初始热身和停止梯度操作员进一步提出实用策略。多个数据集的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是首次提出随机算法以优化具有可证明的收敛保证的NDCG。我们提出的方法在https://libauc.org/的libauc库中实现。

使用超越欧几里德距离的神经网络，深入的Bregman分歧测量数据点的分歧，并且能够捕获分布的发散。在本文中，我们提出了深深的布利曼对视觉表现的对比学习的分歧，我们的目标是通过基于功能Bregman分歧培训额外的网络来提高自我监督学习中使用的对比损失。与完全基于单点之间的分歧的传统对比学学习方法相比，我们的框架可以捕获分布之间的发散，这提高了学习表示的质量。我们展示了传统的对比损失和我们提出的分歧损失优于基线的结合，并且最先前的自我监督和半监督学习的大多数方法在多个分类和对象检测任务和数据集中。此外，学习的陈述在转移到其他数据集和任务时概括了良好。源代码和我们的型号可用于补充，并将通过纸张释放。

现有的深度聚类方法依赖于对比学习的对比学习，这需要否定例子来形成嵌入空间，其中所有情况都处于良好分离状态。但是，否定的例子不可避免地引起阶级碰撞问题，损害了群集的表示学习。在本文中，我们探讨了对深度聚类的非对比表示学习，被称为NCC，其基于Byol，一种没有负例的代表性方法。首先，我们建议将一个增强的实例与嵌入空间中的另一个视图的邻居对齐，称为正抽样策略，该域避免了由否定示例引起的类碰撞问题，从而提高了集群内的紧凑性。其次，我们建议鼓励在所有原型中的一个原型和均匀性的两个增强视图之间的对准，命名的原型是原型的对比损失或protocl，这可以最大化簇间距离。此外，我们在期望 - 最大化（EM）框架中制定了NCC，其中E-Step利用球面K手段来估计实例的伪标签和来自目标网络的原型的分布，并且M-Step利用了所提出的损失优化在线网络。结果，NCC形成了一个嵌入空间，其中所有集群都处于分离良好，而内部示例都很紧凑。在包括ImageNet-1K的几个聚类基准数据集上的实验结果证明了NCC优于最先进的方法，通过显着的余量。

对比表示学习旨在通过估计数据的多个视图之间的共享信息来获得有用的表示形式。在这里，数据增强的选择对学会表示的质量很敏感：随着更难的应用，数据增加了，视图共享更多与任务相关的信息，但也可以妨碍表示代表的概括能力。在此激励的基础上，我们提出了一种新的强大的对比度学习计划，即r \'enyicl，可以通过利用r \'enyi差异来有效地管理更艰难的增强。我们的方法建立在r \'enyi差异的变异下限基础上，但是由于差异很大，对变异方法的使用是不切实际的。要应对这一挑战，我们提出了一个新颖的对比目标，该目标是进行变异估计的新型对比目标偏斜r \'enyi的分歧，并提供理论保证，以确保偏差差异如何导致稳定训练。我们表明，r \'enyi对比度学习目标执行先天的硬性负面样本和易于选择的阳性抽样学习有用的功能并忽略滋扰功能。通过在Imagenet上进行实验，我们表明，r \'enyi对比度学习具有更强的增强性能优于其他自我监督的方法，而无需额外的正则化或计算上的开销。图形和表格，显示了与其他对比方法相比的经验增益。

Unsupervised image representations have significantly reduced the gap with supervised pretraining, notably with the recent achievements of contrastive learning methods. These contrastive methods typically work online and rely on a large number of explicit pairwise feature comparisons, which is computationally challenging. In this paper, we propose an online algorithm, SwAV, that takes advantage of contrastive methods without requiring to compute pairwise comparisons. Specifically, our method simultaneously clusters the data while enforcing consistency between cluster assignments produced for different augmentations (or "views") of the same image, instead of comparing features directly as in contrastive learning. Simply put, we use a "swapped" prediction mechanism where we predict the code of a view from the representation of another view. Our method can be trained with large and small batches and can scale to unlimited amounts of data. Compared to previous contrastive methods, our method is more memory efficient since it does not require a large memory bank or a special momentum network. In addition, we also propose a new data augmentation strategy, multi-crop, that uses a mix of views with different resolutions in place of two full-resolution views, without increasing the memory or compute requirements. We validate our findings by achieving 75.3% top-1 accuracy on ImageNet with ResNet-50, as well as surpassing supervised pretraining on all the considered transfer tasks.

X-fisk是一个介绍的术语，以代表组成量度或目标家族，其中每个数据点与一组数据点显式或隐式进行比较，以定义风险函数。它包括许多广泛使用的措施或目标在一定的召回水平上的精确度，对比目标等处于最高$ K $的位置。尽管在机器学习，计算机视觉，信息检索等文献中已经研究了这些措施/目标及其优化算法，但优化了这些措施/目标在深度学习方面遇到了一些独特的挑战。在这份技术报告中，我们通过重点关注其算法基础，调查了最近对深X风险优化（DXO）的严格努力。我们介绍了一类技术，以优化X风险以进行深度学习。我们分别将DXO分别属于非凸端优化的非凸优化问题的三个特殊家族，分别分别属于Min-Max优化，非凸组成优化和非Convex Bilevel优化。对于每个问题家族，我们提出了一些强大的基线算法及其复杂性，这将激发进一步的研究以改善现有结果。关于提出的结果和未来研究的讨论在最后进行。在www.libauc.org的libauc库中实现了用于优化各种X风险的有效算法。

在本文中，我们提出了适用于深度学习的单向和双向部分AUC（PAUC）最大化的系统和高效的基于梯度的方法。我们通过使用分布强大的优化（DRO）来定义每个单独的积极数据的损失，提出了PAUC替代目标的新公式。我们考虑了两种DRO的配方，其中一种是基于条件 - 价值风险（CVAR），该风险（CVAR）得出了PAUC的非平滑但精确的估计器，而另一个基于KL差异正则DRO产生不确定的dro。但是PAUC的平滑（软）估计器。对于单向和双向PAUC最大化，我们提出了两种算法，并证明了它们分别优化其两种配方的收敛性。实验证明了所提出的算法对PAUC最大化的有效性，以对各种数据集进行深度学习。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

我们从统计依赖性角度接近自我监督的图像表示学习，提出与希尔伯特 - 施密特独立性标准（SSL-HSIC）自我监督的学习。 SSL-HSIC最大化图像和图像标识的变换表示之间的依赖性，同时最小化这些表示的核化方差。该框架产生了对Infonce的新了解，在不同转换之间的相互信息（MI）上的变分下限。虽然已知MI本身具有可能导致学习无意义的表示的病理学，但其绑定表现得更好：我们表明它隐含地近似于SSL-HSIC（具有略微不同的规范器）。我们的方法还向我们深入了解Byol，一种无与伦比的SSL方法，因为SSL-HSIC类似地了解了当地的样本邻居。 SSL-HSIC允许我们在批量大小中直接在时间线性上直接优化统计依赖性，而无需限制数据假设或间接相互信息估计。 SSL-HSIC培训或没有目标网络，SSL-HSIC与Imagenet的标准线性评估相匹配，半监督学习和转移到其他分类和视觉任务，如语义分割，深度估计和对象识别等。代码可在https://github.com/deepmind/ssl_hsic提供。

对比度学习重要的是什么？我们认为，对比度学习在很大程度上取决于信息丰富的特征或“硬”（正面或负面）特征。早期作品包括通过应用复杂的数据增强和较大的批量尺寸或内存库以及最近的作品设计精心设计的采样方法来探索信息丰富的功能，包括更有信息的功能。探索此类功能的关键挑战是，通过应用随机数据增强来生成源多视图数据，这使得始终在增强数据中添加有用的信息是不可行的。因此，从这种增强数据中学到的功能的信息有限。作为回应，我们建议直接增强潜在空间中的特征，从而在没有大量输入数据的情况下学习判别性表示。我们执行一种元学习技术来构建通过考虑编码器的性能来更新其网络参数的增强生成器。但是，输入数据不足可能会导致编码器学习折叠功能，从而导致增强发生器故障。在目标函数中进一步添加了新的注入边缘的正则化，以避免编码器学习退化映射。为了对比一个梯度背部传播步骤中的所有特征，我们采用了提出的优化驱动的统一对比损失，而不是常规的对比损失。从经验上讲，我们的方法在几个基准数据集上实现了最新的结果。

在本文中，我们研究了多块最小双重双层优化问题，其中上层是非凸线的最小值最小值目标，而下层级别是一个强烈的凸目标，并且有多个双重变量块和下层级别。问题。由于交织在一起的多块最小双重双重结构，每次迭代处的计算成本可能高高，尤其是在大量块中。为了应对这一挑战，我们提出了一种单循环随机随机算法，该算法需要在每次迭代时仅恒定数量的块进行更新。在对问题的一些温和假设下，我们建立了$ \ Mathcal {o}（1/\ Epsilon^4）$的样本复杂性，用于查找$ \ epsilon $ - 稳定点。这匹配了在一般无偏见的随机甲骨文模型下求解随机非convex优化的最佳复杂性。此外，我们在多任务深度AUC（ROC曲线下）最大化和多任务深度部分AUC最大化中提供了两种应用。实验结果验证了我们的理论，并证明了我们方法对数百个任务问题的有效性。

剪辑在零拍传输学习任务上产生了令人印象深刻的结果，并被视为BERT或GPT3等基础模型。具有丰富表示形式的剪辑视觉模型是使用Infonce目标和自然语言监督对特定任务进行微调之前进行预训练的。尽管剪辑在零拍传输学习方面表现出色，但它遭受了解释的问题，也就是说，它的重点是一个或几个功能，同时忽略了其他相关功能。该问题是由于原始多模式数据中未充分提取协方差结构而引起的。我们建议使用现代Hopfield网络来解决解释的问题。他们检索到的嵌入具有富集的协方差结构，该结构源自存储嵌入中特征的共发生。但是，现代的Hopfield网络增加了阻碍学习的Infonce目标的饱和效应。我们建议使用Infoloob目标来减轻这种饱和效果。我们介绍了小说``对比抛弃了一个增压'（Cloob），该小说使用现代的Hopfield网络与Infoloob Opportions一起进行协方差丰富。在实验中，我们将Cloob与概念标题进行预培训后的剪辑和YFCC数据集进行了比较，相对于其在其他数据集上的零拍传输学习性能。 Cloob在所有考虑的架构和数据集中始终在零摄像转移学习上胜过剪辑。

We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.

本文研究了一系列组成函数的随机优化，其中每个汇总的内部函数与相应的求和指数耦合。我们将这个问题家族称为有限和耦合的组成优化（FCCO）。它在机器学习中具有广泛的应用，用于优化非凸或凸组成措施/目标，例如平均精度（AP），p-norm推动，列表排名损失，邻居组成分析（NCA），深度生存分析，深层可变模型等等，这应该得到更精细的分析。然而，现有的算法和分析在一个或其他方面受到限制。本文的贡献是为非凸和凸目标的简单随机算法提供全面的收敛分析。我们的关键结果是通过使用带有微型批次的基于移动平均的估计器，通过并行加速提高了Oracle的复杂性。我们的理论分析还展示了通过对外部和内部水平相等大小的批量来改善实际实现的新见解。关于AP最大化，NCA和P-norm推动的数值实验证实了该理论的某些方面。

Self-supervised learning (SSL) aims to produce useful feature representations without access to any human-labeled data annotations. Due to the success of recent SSL methods based on contrastive learning, such as SimCLR, this problem has gained popularity. Most current contrastive learning approaches append a parametrized projection head to the end of some backbone network to optimize the InfoNCE objective and then discard the learned projection head after training. This raises a fundamental question: Why is a learnable projection head required if we are to discard it after training? In this work, we first perform a systematic study on the behavior of SSL training focusing on the role of the projection head layers. By formulating the projection head as a parametric component for the InfoNCE objective rather than a part of the network, we present an alternative optimization scheme for training contrastive learning based SSL frameworks. Our experimental study on multiple image classification datasets demonstrates the effectiveness of the proposed approach over alternatives in the SSL literature.

Image token removal is an efficient augmentation strategy for reducing the cost of computing image features. However, this efficient augmentation strategy has been found to adversely affect the accuracy of CLIP-based training. We hypothesize that removing a large portion of image tokens may improperly discard the semantic content associated with a given text description, thus constituting an incorrect pairing target in CLIP training. To address this issue, we propose an attentive token removal approach for CLIP training, which retains tokens with a high semantic correlation to the text description. The correlation scores are computed in an online fashion using the EMA version of the visual encoder. Our experiments show that the proposed attentive masking approach performs better than the previous method of random token removal for CLIP training. The approach also makes it efficient to apply multiple augmentation views to the image, as well as introducing instance contrastive learning tasks between these views into the CLIP framework. Compared to other CLIP improvements that combine different pre-training targets such as SLIP and MaskCLIP, our method is not only more effective, but also much more efficient. Specifically, using ViT-B and YFCC-15M dataset, our approach achieves $43.9\%$ top-1 accuracy on ImageNet-1K zero-shot classification, as well as $62.7/42.1$ and $38.0/23.2$ I2T/T2I retrieval accuracy on Flickr30K and MS COCO, which are $+1.1\%$, $+5.5/+0.9$, and $+4.4/+1.3$ higher than the SLIP method, while being $2.30\times$ faster. An efficient version of our approach running $1.16\times$ faster than the plain CLIP model achieves significant gains of $+5.3\%$, $+11.3/+8.0$, and $+9.5/+4.9$ on these benchmarks.

对比度学习（CL）方法有效地学习数据表示，而无需标记监督，在该方法中，编码器通过单VS-MONY SOFTMAX跨透镜损失将每个正样本在多个负样本上对比。通过利用大量未标记的图像数据，在Imagenet上预先训练时，最近的CL方法获得了有希望的结果，这是一个具有均衡图像类的曲制曲线曲线集。但是，当对野外图像进行预训练时，它们往往会产生较差的性能。在本文中，为了进一步提高CL的性能并增强其对未经保育数据集的鲁棒性，我们提出了一种双重的CL策略，该策略将其内部查询的正（负）样本对比，然后才能决定多么强烈地拉动（推）。我们通过对比度吸引力和对比度排斥（CACR）意识到这一策略，这使得查询不仅发挥了更大的力量来吸引更遥远的正样本，而且可以驱除更接近的负面样本。理论分析表明，CACR通过考虑正/阴性样品的分布之间的差异来概括CL的行为，而正/负样品的分布通常与查询独立进行采样，并且它们的真实条件分布给出了查询。我们证明了这种独特的阳性吸引力和阴性排斥机制，这有助于消除在数据集的策划较低时尤其有益于数据及其潜在表示的统一先验分布的需求。对许多标准视觉任务进行的大规模大规模实验表明，CACR不仅在表示学习中的基准数据集上始终优于现有的CL方法，而且在对不平衡图像数据集进行预训练时，还表现出更好的鲁棒性。

对比度学习依赖于假设正对包含相关视图，例如，视频的图像或视频的共同发生的多峰信号，其共享关于实例的某些基础信息。但如果违反了这个假设怎么办？该文献表明，对比学学习在存在嘈杂的视图中产生次优表示，例如，没有明显共享信息的假正对。在这项工作中，我们提出了一种新的对比损失函数，这是对嘈杂的观点的强大。我们通过显示嘈杂二进制分类的强大对称损失的连接提供严格的理论理由，并通过基于Wassersein距离测量来建立新的对比界限进行新的对比。拟议的损失是完全的方式无话无双，并且对Innoconce损失的更换简单的替代品，这使得适用于现有的对比框架。我们表明，我们的方法提供了在展示各种现实世界噪声模式的图像，视频和图形对比学习基准上的一致性改进。