虽然知识蒸馏（KD）被认为是许多视觉任务中的有用工具，例如监督分类和自我监督的代表学习，但香草KD框架的主要缺点是其机制，它消耗了大部分计算开销通过巨型教师网络转发，使整个学习程序效率低下和昂贵。 Relabel是最近提出的解决方案，建议为整个图像创建标签映射。在培训期间，它通过ROI对齐在预先生成的整个标签地图上接收裁剪区域级标签，允许有效的监督生成，而无需多次通过教师。然而，随着KD教师来自传统的多作物培训，在这种技术中，全球标签 - 地图和区域级标签之间存在各种不匹配，导致性能恶化。在这项研究中，我们介绍了一种快速知识蒸馏（FKD）框架，可通过多作物KD方法进行复制，并产生软标签，同时训练比RELABEL更快，因为ROI对齐和软墨率操作等后期用过的。当在同一图像中进行多作物进行数据加载时，我们的FKD比传统的图像分类框架更有效。在Imagenet-1K上，我们使用Reset-50获得79.8％，优先表现优于〜1.0％，同时更快。在自我监督的学习任务上，我们还表明FKD具有效率优势。我们的项目页面：http：//zhiqiangshen.com/projects/fkd/index.html，源代码和型号可用于：https：//github.com/szq0214/fkd。

最近对知识蒸馏的研究发现，组合来自多位教师或学生的“黑暗知识”是有助于为培训创造更好的软目标，但以更大的计算和/或参数的成本为本。在这项工作中，我们通过在同一批量中传播和集合其他样本的知识来提供批处理知识合奏（烘焙）以生产用于锚固图像的精细柔软目标。具体地，对于每个感兴趣的样本，根据采样间的亲和力加权知识的传播，其与当前网络一起估计。然后可以集合传播的知识以形成更好的蒸馏靶。通过这种方式，我们的烘焙框架只通过单个网络跨多个样本进行在线知识。与现有知识合并方法相比，它需要最小的计算和内存开销。广泛的实验表明，轻质但有效的烘烤始终如一地提升多个数据集上各种架构的分类性能，例如，在想象网上的显着+ 0.7％的VINE-T的增益，只有+ 1.5％计算开销和零附加参数。烘焙不仅改善了Vanilla基线，还超越了所有基准的单一网络最先进。

Vision Transformer（VIT）最近由于其出色的模型功能而引起了计算机视觉的极大关注。但是，大多数流行的VIT模型都有大量参数，从而限制了其在资源有限的设备上的适用性。为了减轻这个问题，我们提出了Tinyvit，这是一个新的小型，有效的小型视觉变压器，并通过我们提议的快速蒸馏框架在大型数据集上预处理。核心思想是将知识从大型模型转移到小型模型，同时使小型模型能够获得大量预处理数据的股息。更具体地说，我们在预训练期间应用蒸馏进行知识转移。大型教师模型的徽标被稀疏并提前存储在磁盘中，以节省内存成本和计算开销。微小的学生变形金刚自动从具有计算和参数约束的大型审计模型中缩小。全面的实验证明了TinyVit的功效。它仅具有21m参数的Imagenet-1k上的前1个精度为84.8％，与在Imagenet-21K上预读的SWIN-B相当，而使用较少的参数则使用了4.2倍。此外，增加图像分辨率，TinyVit可以达到86.5％的精度，仅使用11％参数，比SWIN-L略好。最后但并非最不重要的一点是，我们在各种下游任务上展示了TinyVit的良好转移能力。代码和型号可在https://github.com/microsoft/cream/tree/main/tinyvit上找到。

尽管自我监督的表示学习（SSL）受到社区的广泛关注，但最近的研究认为，当模型大小降低时，其性能将遭受悬崖的下降。当前的方法主要依赖于对比度学习来训练网络，在这项工作中，我们提出了一种简单而有效的蒸馏对比学习（Disco），以大幅度减轻问题。具体而言，我们发现主流SSL方法获得的最终嵌入包含最富有成果的信息，并建议提炼最终的嵌入，以最大程度地将教师的知识传播到轻量级模型中，通过约束学生的最后嵌入与学生的最后嵌入，以使其与该模型保持一致。老师。此外，在实验中，我们发现存在一种被称为蒸馏瓶颈的现象，并存在以扩大嵌入尺寸以减轻此问题。我们的方法在部署过程中不会向轻型模型引入任何额外的参数。实验结果表明，我们的方法在所有轻型模型上都达到了最先进的作用。特别是，当使用RESNET-101/RESNET-50用作教师教授有效网络-B0时，Imagenet上有效网络B0的线性结果非常接近Resnet-101/Resnet-50，但是有效网络B0的参数数量仅为9.4 \％/16.3 \％Resnet-101/resnet-50。代码可从https：// github获得。 com/yuting-gao/disco-pytorch。

无教师的在线知识蒸馏（KD）旨在培训多个学生模型的合奏，并彼此提炼知识。尽管现有的在线KD方法实现了理想的性能，但它们通常专注于阶级概率作为核心知识类型，而忽略了宝贵的特征代表性信息。我们为在线KD提供了一个相互的对比学习（MCL）框架。 MCL的核心思想是以在线方式进行对比分布的相互交互和对比度分布的转移。我们的MCL可以汇总跨网络嵌入信息，并最大化两个网络之间的相互信息的下限。这使每个网络能够从他人那里学习额外的对比知识，从而提供更好的特征表示形式，从而提高视觉识别任务的性能。除最后一层外，我们还将MCL扩展到辅助特征细化模块辅助的几个中间层。这进一步增强了在线KD的表示能力。关于图像分类和转移学习到视觉识别任务的实验表明，MCL可以针对最新的在线KD方法带来一致的性能提高。优势表明，MCL可以指导网络生成更好的特征表示。我们的代码可在https://github.com/winycg/mcl上公开获取。

特征回归是将大型神经网络模型蒸馏到较小的功能回归。我们表明，随着网络架构的简单变化，回归可能会优于自我监督模型的知识蒸馏更复杂的最先进方法。令人惊讶的是，即使仅在蒸馏过程中仅使用并且在下游任务中丢弃时，将多层的Perceptron头部添加到CNN骨架上是有益的。因此，更深的非线性投影可以使用在不改变推理架构和时间的情况下准确地模仿老师。此外，我们利用独立的投影头来同时蒸馏多个教师网络。我们还发现，使用与教师和学生网络的输入相同的弱增强图像辅助蒸馏。Imagenet DataSet上的实验证明了各种自我监督蒸馏环境中提出的变化的功效。

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolution-free transformers by training on Imagenet only. We train them on a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.More importantly, we introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention. We show the interest of this token-based distillation, especially when using a convnet as a teacher. This leads us to report results competitive with convnets for both Imagenet (where we obtain up to 85.2% accuracy) and when transferring to other tasks. We share our code and models.

蒙面自动编码器已成为自我监督的视觉表示学习的流行培训范例。这些模型随机掩盖了输入的一部分，并根据目标表示形式重建蒙版部分。在本文中，我们首先表明，对目标表示的仔细选择对于学习良好表示形式不必要，因为不同的目标倾向于得出相似的模型。在这一观察结果的驱动下，我们提出了一个多阶段掩盖的蒸馏管道，并使用随机初始化的模型作为教师，使我们能够有效地训练高容量模型，而无需仔细设计目标表示形式。有趣的是，我们进一步探索了能力较大的教师，获得具有出色转移能力的蒸馏学生。在分类，转移学习，对象检测和语义分割的不同任务上，使用自举的教师（DBOT）执行掩盖知识蒸馏的建议方法优于先前的自我监督方法，而不是非平凡的边缘。我们希望我们的发现以及拟议的方法能够激励人们重新考虑目标表征在预训练的蒙面自动编码器中的作用。

知识蒸馏（KD）是一个有效的框架，旨在将有意义的信息从大型老师转移到较小的学生。通常，KD通常涉及如何定义和转移知识。以前的KD方法通常着重于挖掘各种形式的知识，例如功能地图和精致信息。但是，知识源自主要监督任务，因此是高度特定于任务的。在自我监督的代表学习的最新成功中，我们提出了一项辅助自我实施的增强任务，以指导网络学习更多有意义的功能。因此，我们可以从KD的这项任务中得出软性自我实施的增强分布作为更丰富的黑暗知识。与以前的知识不同，此分布编码从监督和自我监督的特征学习中编码联合知识。除了知识探索之外，我们建议在各个隐藏层上附加几个辅助分支，以充分利用分层特征图。每个辅助分支都被指导学习自学的增强任务，并将这种分布从教师到学生提炼。总体而言，我们称我们的KD方法为等级自我实施的增强知识蒸馏（HSSAKD）。标准图像分类的实验表明，离线和在线HSSAKD都在KD领域达到了最先进的表现。对象检测的进一步转移实验进一步验证了HSSAKD可以指导网络学习更好的功能。该代码可在https://github.com/winycg/hsakd上找到。

知识蒸馏（KD）在将学习表征从大型模型（教师）转移到小型模型（学生）方面表现出非常有希望的能力。但是，随着学生和教师之间的容量差距变得更大，现有的KD方法无法获得更好的结果。我们的工作表明，“先验知识”对KD至关重要，尤其是在应用大型老师时。特别是，我们提出了动态的先验知识（DPK），该知识将教师特征的一部分作为特征蒸馏之前的先验知识。这意味着我们的方法还将教师的功能视为“输入”，而不仅仅是``目标''。此外，我们根据特征差距动态调整训练阶段的先验知识比率，从而引导学生在适当的困难中。为了评估所提出的方法，我们对两个图像分类基准（即CIFAR100和Imagenet）和一个对象检测基准（即MS Coco）进行了广泛的实验。结果表明，在不同的设置下，我们方法在性能方面具有优势。更重要的是，我们的DPK使学生模型的表现与教师模型的表现呈正相关，这意味着我们可以通过应用更大的教师进一步提高学生的准确性。我们的代码将公开用于可重复性。

We introduce submodel co-training, a regularization method related to co-training, self-distillation and stochastic depth. Given a neural network to be trained, for each sample we implicitly instantiate two altered networks, ``submodels'', with stochastic depth: we activate only a subset of the layers. Each network serves as a soft teacher to the other, by providing a loss that complements the regular loss provided by the one-hot label. Our approach, dubbed cosub, uses a single set of weights, and does not involve a pre-trained external model or temporal averaging. Experimentally, we show that submodel co-training is effective to train backbones for recognition tasks such as image classification and semantic segmentation. Our approach is compatible with multiple architectures, including RegNet, ViT, PiT, XCiT, Swin and ConvNext. Our training strategy improves their results in comparable settings. For instance, a ViT-B pretrained with cosub on ImageNet-21k obtains 87.4% top-1 acc. @448 on ImageNet-val.

我们通过以端到端的方式对大规模未标记的数据集进行分类，呈现扭曲，简单和理论上可解释的自我监督的表示学习方法。我们使用Softmax操作终止的暹罗网络，以产生两个增强图像的双类分布。没有监督，我们强制执行不同增强的班级分布。但是，只需最小化增强之间的分歧将导致折叠解决方案，即，输出所有图像的相同类概率分布。在这种情况下，留下有关输入图像的信息。为了解决这个问题，我们建议最大化输入和课程预测之间的互信息。具体地，我们最小化每个样品的分布的熵，使每个样品的课程预测是对每个样品自信的预测，并最大化平均分布的熵，以使不同样品的预测变得不同。以这种方式，扭曲可以自然地避免没有特定设计的折叠解决方案，例如非对称网络，停止梯度操作或动量编码器。因此，扭曲优于各种任务的最先进的方法。特别是，在半监督学习中，扭曲令人惊讶地表现出令人惊讶的是，使用Reset-50作为骨干的1％ImageNet标签实现61.2％的顶级精度，以前的最佳结果为6.2％。代码和预先训练的模型是给出的：https://github.com/byteDance/twist

由于其能够学习全球关系和卓越的表现，变形金刚引起了很多关注。为了实现更高的性能，将互补知识从变形金刚到卷积神经网络（CNN）是很自然的。但是，大多数现有的知识蒸馏方法仅考虑同源 - 建筑蒸馏，例如将知识从CNN到CNN蒸馏。在申请跨架构方案时，它们可能不合适，例如从变压器到CNN。为了解决这个问题，提出了一种新颖的跨架构知识蒸馏方法。具体而言，引入了部分交叉注意投影仪和小组线性投影仪，而不是直接模仿老师的输出/中级功能，以使学生的功能与教师的功能保持一致。并进一步提出了多视图强大的训练方案，以提高框架的稳健性和稳定性。广泛的实验表明，所提出的方法在小规模和大规模数据集上均优于14个最先进的方法。

自我介绍在训练过程中利用自身的非均匀软监管，并在没有任何运行时成本的情况下提高性能。但是，在训练过程中的开销经常被忽略，但是在巨型模型的时代，培训期间的时间和记忆开销越来越重要。本文提出了一种名为ZIPF标签平滑（ZIPF的LS）的有效自我验证方法，该方法使用网络的直立预测来生成软监管，该软监管在不使用任何对比样本或辅助参数的情况下符合ZIPF分布。我们的想法来自经验观察，即当对网络进行适当训练时，在按样品的大小和平均分类后，应遵循分布的分布，让人联想到ZIPF的自然语言频率统计信息，这是在按样品中的大小和平均值进行排序之后进行的。 。通过在样本级别和整个培训期内强制执行此属性，我们发现预测准确性可以大大提高。使用INAT21细粒分类数据集上的RESNET50，与香草基线相比，我们的技术获得了 +3.61％的准确性增长，而与先前的标签平滑或自我验证策略相比，增益增加了0.88％。该实现可在https://github.com/megvii-research/zipfls上公开获得。

Most existing distillation methods ignore the flexible role of the temperature in the loss function and fix it as a hyper-parameter that can be decided by an inefficient grid search. In general, the temperature controls the discrepancy between two distributions and can faithfully determine the difficulty level of the distillation task. Keeping a constant temperature, i.e., a fixed level of task difficulty, is usually sub-optimal for a growing student during its progressive learning stages. In this paper, we propose a simple curriculum-based technique, termed Curriculum Temperature for Knowledge Distillation (CTKD), which controls the task difficulty level during the student's learning career through a dynamic and learnable temperature. Specifically, following an easy-to-hard curriculum, we gradually increase the distillation loss w.r.t. the temperature, leading to increased distillation difficulty in an adversarial manner. As an easy-to-use plug-in technique, CTKD can be seamlessly integrated into existing knowledge distillation frameworks and brings general improvements at a negligible additional computation cost. Extensive experiments on CIFAR-100, ImageNet-2012, and MS-COCO demonstrate the effectiveness of our method. Our code is available at https://github.com/zhengli97/CTKD.

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolutionfree transformers trained on ImageNet only using a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.We also introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention, typically from a convnet teacher. The learned transformers are competitive (85.2% top-1 acc.) with the state of the art on ImageNet, and similarly when transferred to other tasks. We will share our code and models.

本文研究了两种技术，用于开发有效的自我监督视觉变压器（ESVIT）进行视觉表示学习。首先，我们通过一项全面的实证研究表明，具有稀疏自我生产的多阶段体系结构可以显着降低建模的复杂性，但具有失去捕获图像区域之间细粒度对应关系的能力的成本。其次，我们提出了一项新的区域匹配训练任务，该任务使模型可以捕获细粒的区域依赖性，因此显着提高了学习视觉表示的质量。我们的结果表明，ESVIT在ImageNet线性探针评估上结合两种技术，在ImageNet线性探针评估中获得了81.3％的TOP-1，优于先前的艺术，其较高吞吐量的顺序幅度约为较高。当转移到下游线性分类任务时，ESVIT在18个数据集中的17个中优于其受监督的对方。代码和模型可公开可用：https：//github.com/microsoft/esvit

Unlike existing knowledge distillation methods focus on the baseline settings, where the teacher models and training strategies are not that strong and competing as state-of-the-art approaches, this paper presents a method dubbed DIST to distill better from a stronger teacher. We empirically find that the discrepancy of predictions between the student and a stronger teacher may tend to be fairly severer. As a result, the exact match of predictions in KL divergence would disturb the training and make existing methods perform poorly. In this paper, we show that simply preserving the relations between the predictions of teacher and student would suffice, and propose a correlation-based loss to capture the intrinsic inter-class relations from the teacher explicitly. Besides, considering that different instances have different semantic similarities to each class, we also extend this relational match to the intra-class level. Our method is simple yet practical, and extensive experiments demonstrate that it adapts well to various architectures, model sizes and training strategies, and can achieve state-of-the-art performance consistently on image classification, object detection, and semantic segmentation tasks. Code is available at: https://github.com/hunto/DIST_KD .

最先进的蒸馏方法主要基于中间层的深层特征，而logit蒸馏的重要性被极大地忽略了。为了提供研究逻辑蒸馏的新观点，我们将经典的KD损失重新分为两个部分，即目标类知识蒸馏（TCKD）和非目标类知识蒸馏（NCKD）。我们凭经验研究并证明了这两个部分的影响：TCKD转移有关训练样本“难度”的知识，而NCKD是Logit蒸馏起作用的重要原因。更重要的是，我们揭示了经典的KD损失是一种耦合的配方，该配方抑制了NCKD的有效性，并且（2）限制了平衡这两个部分的灵活性。为了解决这些问题，我们提出了脱钩的知识蒸馏（DKD），使TCKD和NCKD能够更有效，更灵活地发挥其角色。与基于功能的复杂方法相比，我们的DKD可相当甚至更好的结果，并且在CIFAR-100，ImageNet和MS-Coco数据集上具有更好的培训效率，用于图像分类和对象检测任务。本文证明了Logit蒸馏的巨大潜力，我们希望它对未来的研究有所帮助。该代码可从https://github.com/megvii-research/mdistiller获得。