自我监督的学习在视力和NLP方面取得了巨大进展。最近，它也引起了人们对X射线，CT和MRI等各种医学成像方式的广泛关注。现有方法主要集中于构建新的借口自学任务，例如根据医学图像的属性进行重建，方向和掩盖识别。但是，并未完全利用公开可用的自我实施模型。在本文中，我们提出了一个强大而有效的自学框架，用于外科视频理解。我们的主要见解是将知识从大型通用数据集中培训的公开模型中提取知识，以促进对手术视频的自我监督学习。为此，我们首先引入了一种传承语义的培训计划，以获取我们的教师模型，该模型不仅包含了公开可用模型的语义，而且还可以为手术数据提供准确的知识。除了仅具有对比度学习的培训外，我们还引入了一个蒸馏目标，将丰富的学习信息从教师模型转移到手术数据上的自学学习。对两个手术期识别基准的广泛实验表明，我们的框架可以显着提高现有的自我监督学习方法的性能。值得注意的是，我们的框架在低DATA制度下表现出了令人信服的优势。我们的代码可在https://github.com/xmed-lab/distillingself上找到。

尽管对视频表示学习的自我监督预先预测方法的突出成功，但在未标记的预测数据集很小或源任务（预先训练）中的未标记数据和目标任务中标记的数据（Fineetuning）之间的域差异。为了缓解这些问题，我们提出了一种新的方法来通过基于知识相似性蒸馏，Auxskd的辅助预押阶段补充自我监督预测，以便更好地推广，具有明显较少量的视频数据，例如，动力学-100而不是动力学-400。我们的方法通过捕获未标记的视频数据的段之间的相似信息，将其知识迭代地将其知识蒸发到学生模型。然后，学生模型通过利用此先验知识来解决借口任务。我们还介绍了一种新颖的借口任务，视频段速度预测或VSPP，这需要我们的模型来预测输入视频的随机选择段的播放速度，以提供更可靠的自我监督的表示。我们的实验结果表明，在K100上预先训练时，UCF101和HMDB51数据集的最先进结果卓越。此外，我们表明我们的辅助辅助辅助持久性辅助阶段作为最近的艺术的自我监督方法（例如VideOpace和Rspnet），可以在UCF101和HMDB51上提高结果。我们的代码即将发布。

最近的蒙版图像建模（MIM）在自我监督学习（SSL）中受到了很多关注，该学习要求目标模型恢复输入图像的掩盖部分。尽管基于MIM的预训练方法在转移到许多下游任务时达到了新的最新性能，但可视化表明，与基于基于对比性学习预训练相比，学习的表示形式不可分割，尤其是相比。这激发了我们思考MIM预培训表示的线性可分离性是否可以进一步改善，从而改善了训练的性能。由于MIM和对比度学习倾向于利用不同的数据增强和培训策略，因此将这两个借口任务结合起来并不是微不足道的。在这项工作中，我们提出了一个新颖而灵活的预训练框架，名为Mimco，该框架通过两阶段的预培训结合了MIM和对比度学习。具体而言，MIMCO将预先训练的对比学习模型作为教师模型，并通过两种类型的学习目标进行了预培训：贴片级和图像级的重建损失。关于下游任务的广泛转移实验证明了我们的MIMCO预训练框架的出色表现。以VIT-S为例，当使用预先训练的MoCov3-Vit-S作为教师模型时，Mimco只需要100个时期的预训练时期即可达到Imagenet-1K上的82.53％Top-1 FineTuning精度，这表现优于表现最先进的自我监督学习对手。

Benefiting from masked visual modeling, self-supervised video representation learning has achieved remarkable progress. However, existing methods focus on learning representations from scratch through reconstructing low-level features like raw pixel RGB values. In this paper, we propose masked video distillation (MVD), a simple yet effective two-stage masked feature modeling framework for video representation learning: firstly we pretrain an image (or video) model by recovering low-level features of masked patches, then we use the resulting features as targets for masked feature modeling. For the choice of teacher models, we observe that students taught by video teachers perform better on temporally-heavy video tasks, while image teachers transfer stronger spatial representations for spatially-heavy video tasks. Visualization analysis also indicates different teachers produce different learned patterns for students. Motivated by this observation, to leverage the advantage of different teachers, we design a spatial-temporal co-teaching method for MVD. Specifically, we distill student models from both video teachers and image teachers by masked feature modeling. Extensive experimental results demonstrate that video transformers pretrained with spatial-temporal co-teaching outperform models distilled with a single teacher on a multitude of video datasets. Our MVD with vanilla ViT achieves state-of-the-art performance compared with previous supervised or self-supervised methods on several challenging video downstream tasks. For example, with the ViT-Large model, our MVD achieves 86.4% and 75.9% Top-1 accuracy on Kinetics-400 and Something-Something-v2, outperforming VideoMAE by 1.2% and 1.6% respectively. Code will be available at \url{https://github.com/ruiwang2021/mvd}.

深度学习模型的培训通常需要大量的注释数据，以实现有效的收敛和泛化。然而，获得高质量的注释是一种借鉴和昂贵的过程，因为需要专家放射科学家进行标签任务。在医学图像分析中的半监督学习的研究是至关重要的，因为获得未标记的图像的昂贵比以获得专家放射科医师标记的图像更便宜。基本上，半监督方法利用大量未标记的数据来实现比仅使用小组标记图像更好的训练收敛和泛化。在本文中，我们提出了自我监督的平均教师进行半监督（S $ ^ 2 $ MTS $ ^ 2 $）学习，将自我监督的卑鄙教师预训练与半监督微调相结合。 S $ ^ 2 $ MTS $ ^ 2 $的主要创新是基于联合对比学习的自我监督的平均教师预培训，它使用无限数量的正查询和关键特征来改善平均值 - 老师代表。然后使用具有半监督学习的指数移动平均教师框架进行微调。我们从胸部X-ray14和Chexpert的多标签分类问题上验证了S $ ^ 2 $ MTS $ ^ 2 $，以及iC2018的多级分类，在那里我们表明它优于前一个SOTA半监督的学习方法通过大幅度。

One paradigm for learning from few labeled examples while making best use of a large amount of unlabeled data is unsupervised pretraining followed by supervised fine-tuning. Although this paradigm uses unlabeled data in a task-agnostic way, in contrast to common approaches to semi-supervised learning for computer vision, we show that it is surprisingly effective for semi-supervised learning on ImageNet. A key ingredient of our approach is the use of big (deep and wide) networks during pretraining and fine-tuning. We find that, the fewer the labels, the more this approach (task-agnostic use of unlabeled data) benefits from a bigger network. After fine-tuning, the big network can be further improved and distilled into a much smaller one with little loss in classification accuracy by using the unlabeled examples for a second time, but in a task-specific way. The proposed semi-supervised learning algorithm can be summarized in three steps: unsupervised pretraining of a big ResNet model using SimCLRv2, supervised fine-tuning on a few labeled examples, and distillation with unlabeled examples for refining and transferring the task-specific knowledge. This procedure achieves 73.9% ImageNet top-1 accuracy with just 1% of the labels (≤13 labeled images per class) using ResNet-50, a 10× improvement in label efficiency over the previous state-of-theart. With 10% of labels, ResNet-50 trained with our method achieves 77.5% top-1 accuracy, outperforming standard supervised training with all of the labels. 1

糖尿病性视网膜病变（DR）是发达国家工人衰老人群中失明的主要原因之一，这是由于糖尿病的副作用降低了视网膜的血液供应。深度神经网络已被广泛用于自动化系统中，以在眼底图像上进行DR分类。但是，这些模型需要大量带注释的图像。在医疗领域，专家的注释昂贵，乏味且耗时。结果，提供了有限数量的注释图像。本文提出了一种半监督的方法，该方法利用未标记的图像和标记的图像来训练一种检测糖尿病性视网膜病的模型。提出的方法通过自我监督的学习使用无监督的预告片，然后使用一小部分标记的图像和知识蒸馏来监督微调，以提高分类任务的性能。在Eyepacs测试和Messidor-2数据集中评估了此方法，仅使用2％的Eyepacs列车标记图像，分别使用0.94和0.89 AUC。

尽管自我监督的表示学习（SSL）受到社区的广泛关注，但最近的研究认为，当模型大小降低时，其性能将遭受悬崖的下降。当前的方法主要依赖于对比度学习来训练网络，在这项工作中，我们提出了一种简单而有效的蒸馏对比学习（Disco），以大幅度减轻问题。具体而言，我们发现主流SSL方法获得的最终嵌入包含最富有成果的信息，并建议提炼最终的嵌入，以最大程度地将教师的知识传播到轻量级模型中，通过约束学生的最后嵌入与学生的最后嵌入，以使其与该模型保持一致。老师。此外，在实验中，我们发现存在一种被称为蒸馏瓶颈的现象，并存在以扩大嵌入尺寸以减轻此问题。我们的方法在部署过程中不会向轻型模型引入任何额外的参数。实验结果表明，我们的方法在所有轻型模型上都达到了最先进的作用。特别是，当使用RESNET-101/RESNET-50用作教师教授有效网络-B0时，Imagenet上有效网络B0的线性结果非常接近Resnet-101/Resnet-50，但是有效网络B0的参数数量仅为9.4 \％/16.3 \％Resnet-101/resnet-50。代码可从https：// github获得。 com/yuting-gao/disco-pytorch。

To date, most existing self-supervised learning methods are designed and optimized for image classification. These pre-trained models can be sub-optimal for dense prediction tasks due to the discrepancy between image-level prediction and pixel-level prediction. To fill this gap, we aim to design an effective, dense self-supervised learning method that directly works at the level of pixels (or local features) by taking into account the correspondence between local features. We present dense contrastive learning (DenseCL), which implements self-supervised learning by optimizing a pairwise contrastive (dis)similarity loss at the pixel level between two views of input images.Compared to the baseline method MoCo-v2, our method introduces negligible computation overhead (only <1% slower), but demonstrates consistently superior performance when transferring to downstream dense prediction tasks including object detection, semantic segmentation and instance segmentation; and outperforms the state-of-the-art methods by a large margin. Specifically, over the strong MoCo-v2 baseline, our method achieves significant improvements of 2.0% AP on PASCAL VOC object detection, 1.1% AP on COCO object detection, 0.9% AP on COCO instance segmentation, 3.0% mIoU on PASCAL VOC semantic segmentation and 1.8% mIoU on Cityscapes semantic segmentation.

本文研究了从预先训练的模型，尤其是蒙面自动编码器中提取知识的潜力。我们的方法很简单：除了优化掩盖输入的像素重建损失外，我们还将教师模型的中间特征图与学生模型的中间特征图之间的距离最小化。此设计导致一个计算高效的知识蒸馏框架，给定1）仅使用一个少量可见的补丁子集，2）（笨拙的）教师模型仅需要部分执行，\ ie，\ ie，在前几个中，向前传播输入层，用于获得中间特征图。与直接蒸馏微型模型相比，提炼预训练的模型显着改善了下游性能。例如，通过将知识从MAE预先训练的VIT-L提炼为VIT-B，我们的方法可实现84.0％的Imagenet Top-1精度，表现优于直接将微型VIT-L蒸馏的基线，降低1.2％。更有趣的是，我们的方法即使具有极高的掩盖率也可以从教师模型中进行鲁棒性蒸馏：例如，在蒸馏过程中仅可见十个斑块，我们的VIT-B具有竞争力的前1个Imagenet精度为83.6％，在95％的掩盖率中，只有十个斑块。 ;令人惊讶的是，它仍然可以通过仅四个可见斑（98％的掩盖率）积极训练来确保82.4％的Top-1 Imagenet精度。代码和模型可在https://github.com/ucsc-vlaa/dmae上公开获得。

从未标记的视频中学习时间通信对于计算机视觉至关重要，并且已经通过各种自我监督的借口来解决。对于自我监督的学习，最近的研究表明，尽管经过培训成本，但使用大型视频数据集。我们提出了一个时空的借口任务来解决培训数据成本问题。该任务由两个步骤组成。首先，我们使用来自未标记的静止图像数据的对比度学习来获得对外观敏感的特征。然后，我们切换到未标记的视频数据，并通过重建帧来学习运动敏感的功能。在第二步中，我们提出了一个全局相关蒸馏损失，以保留第一步中学到的外观灵敏度，以及金字塔结构中的局部相关蒸馏损失以应对时间不连续性。实验结果表明，我们的方法超过了一系列基于对应的任务的最新自我监督方法。进行的消融研究验证了提出的两步任务和损失功能的有效性。

现有的少量学习（FSL）方法依赖于具有大型标记数据集的培训，从而阻止它们利用丰富的未标记数据。从信息理论的角度来看，我们提出了一种有效的无监督的FSL方法，并以自学意义进行学习表示。遵循信息原理，我们的方法通过捕获数据的内在结构来学习全面的表示。具体而言，我们以低偏置的MI估计量来最大化实例及其表示的相互信息（MI），以执行自我监督的预训练。我们的自我监督模型对所见类别的可区分特征的监督预训练没有针对可见的阶级的偏见，从而对看不见的类别进行了更好的概括。我们解释说，受监督的预训练和自我监督的预训练实际上正在最大化不同的MI目标。进一步进行了广泛的实验，以通过各种训练环境分析其FSL性能。令人惊讶的是，结果表明，在适当条件下，自我监管的预训练可以优于监督预训练。与最先进的FSL方法相比，我们的方法在没有基本类别的任何标签的情况下，在广泛使用的FSL基准上实现了可比的性能。

本文提出了一个简单而有效的框架蒙版，该框架将新提出的掩盖自distillation纳入对比的语言图像预处理中。掩盖自distillation的核心思想是将表示从完整的图像提取到蒙版图像预测的表示形式。这种合并享有两个重要的好处。首先，掩盖的自我验证目标是本地贴片表示学习，这与视觉对比度的互补，专注于与文本相关的表示。二，掩盖的自我验证也与视觉语言对比符合训练目标的视野对比是一致的。视觉编码器用于功能对齐，因此能够学习本地语义从该语言中获得间接监督。我们提供了专门设计的实验，并进行了全面的分析，以验证这两个好处。从经验上讲，我们表明，当MaskClip应用于各种具有挑战性的下游任务时，可以在线性探测，填充和零拍摄中取得卓越的结果，并在语言编码器的指导下取得了卓越的结果。

我们介绍了一种对比视频表示方法，它使用课程学习在对比度培训中施加动态抽样策略。更具体地说，Concur以易于正面样本（在时间上和语义上相似的剪辑上）开始对比度训练，并且随着训练的进行，它会有效地提高时间跨度，从而有效地采样了硬质阳性（时间为时间和语义上不同）。为了学习更好的上下文感知表示形式，我们还提出了一个辅助任务，以预测积极剪辑之间的时间距离。我们对两个流行的动作识别数据集进行了广泛的实验，即UCF101和HMDB51，我们提出的方法在两项视频动作识别和视频检索的基准任务上实现了最新的性能。我们通过使用R（2+1）D和C3D编码器以及对Kinetics-400和Kinetics-200200数据集的R（2+1）D和C3D编码器以及预训练的影响来探讨编码器骨架和预训练策略的影响。此外，一项详细的消融研究显示了我们提出的方法的每个组成部分的有效性。

我们提出了将粗大分类标签纳入细粒域中的图像分类器的技术。这种标签通常可以通过较小的努力来获得较小的粒状域，例如根据生物分类法组织类别的自然界。在三个王国组成的半inat数据集上，包括Phylum标签，在使用ImageNet预训练模型的转移学习设置中将物种级别分类精度提高了6％。使用称为FixMatch的最先进的半监督学习算法的分层标签结构提高了1.3％的性能。当提供诸如类或订单的详细标签或从头开始培训时，相对收益更大。但是，我们发现大多数方法对来自新类别的域名数据的存在并不强大。我们提出了一种技术来从层次结构引导的大量未标记图像中选择相关数据，这提高了鲁棒性。总体而言，我们的实验表明，具有粗大分类标签的半监督学习对于细粒度域中的培训分类器是实用的。

基于骨架的动作识别广泛用于各种区域，例如监视和人机相互作用。现有模型主要以监督方式学习，从而根据标签昂贵时可能是不可行的大规模标记数据。在本文中，我们提出了一种新的对比度重建表示学习网络（CRRL），其同时为无监督的基于骨架的动作识别捕获姿势和运动动力学。它主要由三部分组成：序列重建器，对比运动学习者和信息定影器。序列重建者通过重建学习从骨架坐标序列的表示，因此学习的表示倾向于聚焦在琐碎的姿势坐标上并且在运动学习中犹豫不决。为了增强运动的学习，对比运动学习者分别在从坐标序列和附加速度序列中学到的表示之间进行对比学习。最后，在信息定位器中，我们探讨了将序列重建器和对比运动学习者结合的各种策略，并建议通过基于知识蒸馏的融合策略同时捕获姿势和动作，从而将动作学习从对比运动学习者转移到序列中的序列重建者。在若干基准测试中，即NTU RGB + D 60，NTU RGB + D 120，CMU Mocap和NW-UCLA的实验结果证明了所提出的CRRL方法​​的承诺，到目前为止的现有方法。

Previous work on action representation learning focused on global representations for short video clips. In contrast, many practical applications, such as video alignment, strongly demand learning the intensive representation of long videos. In this paper, we introduce a new framework of contrastive action representation learning (CARL) to learn frame-wise action representation in a self-supervised or weakly-supervised manner, especially for long videos. Specifically, we introduce a simple but effective video encoder that considers both spatial and temporal context by combining convolution and transformer. Inspired by the recent massive progress in self-supervised learning, we propose a new sequence contrast loss (SCL) applied to two related views obtained by expanding a series of spatio-temporal data in two versions. One is the self-supervised version that optimizes embedding space by minimizing KL-divergence between sequence similarity of two augmented views and prior Gaussian distribution of timestamp distance. The other is the weakly-supervised version that builds more sample pairs among videos using video-level labels by dynamic time wrapping (DTW). Experiments on FineGym, PennAction, and Pouring datasets show that our method outperforms previous state-of-the-art by a large margin for downstream fine-grained action classification and even faster inference. Surprisingly, although without training on paired videos like in previous works, our self-supervised version also shows outstanding performance in video alignment and fine-grained frame retrieval tasks.

由于缺乏大规模标记的3D数据集，大多数3D神经网络都是从划痕训练。在本文中，我们通过利用来自丰富的2D数据集学习的2D网络来介绍一种新的3D预预测方法。我们提出了通过将像素级和点级别特征映射到同一嵌入空间中的对比度的像素到点知识转移来有效地利用2D信息。由于2D和3D网络之间的异构性质，我们介绍了后投影功能以对准2D和3D之间的功能以使转移成为可能。此外，我们设计了一个上采样功能投影层，以增加高级2D特征图的空间分辨率，这使得能够学习细粒度的3D表示。利用普雷累染的2D网络，所提出的预介绍过程不需要额外的2D或3D标记数据，进一步缓解了昂贵的3D数据注释成本。据我们所知，我们是第一个利用现有的2D培训的权重，以预先rain 3D深度神经网络。我们的密集实验表明，使用2D知识预订的3D模型可以通过各种真实世界3D下游任务进行3D网络的性能。

深度学习的成功通常伴随着神经网络深度的增长。但是，传统培训方法仅在最后一层监督神经网络并逐层传播，这导致了优化中间层的困难。最近，已经提出了深层监督，以在深神经网络的中间层中添加辅助分类器。通过通过监督任务损失优化这些辅助分类器，可以将监督直接应用于浅层层。但是，深层监督与众所周知的观察结果冲突，即浅层学习低级特征，而不是任务偏向的高级语义特征。为了解决这个问题，本文提出了一个名为“对比深度监督”的新型培训框架，该框架通过基于增强的对比学习来监督中间层。具有11个模型的九个流行数据集的实验结果证明了其对监督学习，半监督学习和知识蒸馏中一般图像分类，细粒度的图像分类和对象检测的影响。代码已在Github发布。

Well-annotated medical datasets enable deep neural networks (DNNs) to gain strong power in extracting lesion-related features. Building such large and well-designed medical datasets is costly due to the need for high-level expertise. Model pre-training based on ImageNet is a common practice to gain better generalization when the data amount is limited. However, it suffers from the domain gap between natural and medical images. In this work, we pre-train DNNs on ultrasound (US) domains instead of ImageNet to reduce the domain gap in medical US applications. To learn US image representations based on unlabeled US videos, we propose a novel meta-learning-based contrastive learning method, namely Meta Ultrasound Contrastive Learning (Meta-USCL). To tackle the key challenge of obtaining semantically consistent sample pairs for contrastive learning, we present a positive pair generation module along with an automatic sample weighting module based on meta-learning. Experimental results on multiple computer-aided diagnosis (CAD) problems, including pneumonia detection, breast cancer classification, and breast tumor segmentation, show that the proposed self-supervised method reaches state-of-the-art (SOTA). The codes are available at https://github.com/Schuture/Meta-USCL.