基于变压器的模型已在主要的视频识别基准上取得了最佳性能。与基于CNN的模型相比，这些模型受益于自我发项机制，显示出更强的建模长期依赖性能力。但是，大量的计算开销是由于自我注意力的二次复杂性在大量令牌之上，限制了现有的视频变压器在具有有限资源（例如移动设备）的应用程序中的使用。在本文中，我们将移动格式扩展到视频移动格式，该版本将视频体系结构分解为轻量级的3D-CNN，用于本地上下文建模，并以并行方式将变压器模块用于全局交互建模。为了避免通过计算视频中大量本地补丁之间的自我注意力而产生的重大计算成本，我们建议在变形金刚中使用很少的全球令牌（例如6）将整个视频中的整个视频用于与3D-CNN交换信息 - 注意机制。通过有效的全球时空建模，视频移动形式显着提高了替代轻型基线的视频识别性能，并且在各种视频识别任务上，低FLOP策略的其他有效CNN模型从500m到6G总鞋类胜过其他基于CNN的模型。值得注意的是，视频移动格式是第一个基于变压器的视频模型，它限制了1G失败范围内的计算预算。

We present in this paper a new architecture, named Convolutional vision Transformer (CvT), that improves Vision Transformer (ViT) in performance and efficiency by introducing convolutions into ViT to yield the best of both designs. This is accomplished through two primary modifications: a hierarchy of Transformers containing a new convolutional token embedding, and a convolutional Transformer block leveraging a convolutional projection. These changes introduce desirable properties of convolutional neural networks (CNNs) to the ViT architecture (i.e. shift, scale, and distortion invariance) while maintaining the merits of Transformers (i.e. dynamic attention, global context, and better generalization). We validate CvT by conducting extensive experiments, showing that this approach achieves state-of-the-art performance over other Vision Transformers and ResNets on ImageNet-1k, with fewer parameters and lower FLOPs. In addition, performance gains are maintained when pretrained on larger datasets (e.g. ImageNet-22k) and fine-tuned to downstream tasks. Pretrained on ImageNet-22k, our CvT-W24 obtains a top-1 accuracy of 87.7% on the ImageNet-1k val set. Finally, our results show that the positional encoding, a crucial component in existing Vision Transformers, can be safely removed in our model, simplifying the design for higher resolution vision tasks. Code will be released at https: //github.com/leoxiaobin/CvT.

虽然变形金机对视频识别任务的巨大潜力具有较强的捕获远程依赖性的强大能力，但它们经常遭受通过对视频中大量3D令牌的自我关注操作引起的高计算成本。在本文中，我们提出了一种新的变压器架构，称为双重格式，可以有效且有效地对视频识别进行时空关注。具体而言，我们的Dualformer将完全时空注意力分层到双级级联级别，即首先在附近的3D令牌之间学习细粒度的本地时空交互，然后捕获查询令牌之间的粗粒度全局依赖关系。粗粒度全球金字塔背景。不同于在本地窗口内应用时空分解或限制关注计算以提高效率的现有方法，我们本地 - 全球分层策略可以很好地捕获短期和远程时空依赖项，同时大大减少了钥匙和值的数量在注意计算提高效率。实验结果表明，对抗现有方法的五个视频基准的经济优势。特别是，Dualformer在动态-400/600上设置了新的最先进的82.9％/ 85.2％，大约1000g推理拖鞋，比具有相似性能的现有方法至少3.2倍。

由于视频帧之间的庞大本地冗余和复杂的全局依赖性，这是一种具有挑战性的任务。该研究的最近进步主要由3D卷积神经网络和视觉变压器推动。虽然3D卷积可以有效地聚合本地上下文来抑制来自小3D邻域的本地冗余，但由于接收领域有限，它缺乏捕获全局依赖性的能力。或者，视觉变压器可以通过自我关注机制有效地捕获远程依赖性，同时具有在每层中所有令牌之间的盲目相似性比较来降低本地冗余的限制。基于这些观察，我们提出了一种新颖的统一变压器（统一机），其以简洁的变压器格式无缝地整合3D卷积和时空自我关注的优点，并在计算和准确性之间实现了优选的平衡。与传统的变形金刚不同，我们的关系聚合器可以通过在浅层和深层中学习本地和全球令牌亲和力来解决时空冗余和依赖性。我们对流行的视频基准进行了广泛的实验，例如动力学-400，动力学-600，以及某种东西 - 某种东西 - 某种东西 - 某种东西 - 某种东西。只有ImageNet-1K预磨料，我们的统一器在动力学-400 /动力学-600上实现了82.9％/ 84.8％的前1个精度，同时需要比其他最先进的方法更少的gflops。对于某些东西而言，我们的制服分别实现了新的最先进的表演，分别实现了60.9％和71.2％的前1个精度。代码可在https://github.com/sense-x/uniformer获得。

视频变压器在主要视频识别基准上取得了令人印象深刻的结果，但它们遭受了高计算成本。在本文中，我们呈现Stts，一个令牌选择框架，动态地在输入视频样本上调节的时间和空间尺寸的几个信息令牌。具体而言，我们将令牌选择作为一个排名问题，估计每个令牌通过轻量级选择网络的重要性，并且只有顶级分数的人将用于下游评估。在时间维度中，我们将最相关的帧保持对识别作用类别的帧，而在空间维度中，我们确定特征映射中最辨别的区域，而不会影响大多数视频变换器中以分层方式使用的空间上下文。由于令牌选择的决定是不可差异的，因此我们采用了一个扰动最大的可分辨率Top-K运算符，用于最终培训。我们对动力学-400进行广泛的实验，最近推出的视频变压器骨架MVIT。我们的框架实现了类似的结果，同时需要计算20％。我们还表明我们的方法与其他变压器架构兼容。

我们介绍了移动前的Mobilenet和Transformer的平行设计，在两侧桥。该结构利用MobileNet在全局互动下在局部加工和变压器处的优点。而且桥梁可以实现本地和全局特征的双向融合。不同于近期Vision变形金机的作品，移动设备中的变压器包含很少的令牌（例如6或更少的令牌），这些代币被随机初始化以学习全球前沿，导致计算成本低。结合所提出的轻量度跨关注模型桥梁，移动前不仅是计算高效的，而且还有更多的表示力量。它在从25米到500米到500米拖鞋的低浮圈制度以25米到500米的潮流表现出MobileNetv3。例如，移动前者在294米的拖鞋处获得77.9 \％的前1个精度，获得1.3 \％的MobileNetv3，但节省了17 \％的计算。当传输到对象检测时，移动式以前从RetinAnet框架中占MobileNetv3到8.6 AP。此外，我们通过用移动设备替换DETR中的骨干，编码器和解码器来构建高效的端到端探测器，该骨干，其优于12个AP，但节省了52 \％的计算成本和36 \％的参数。

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

基于变压器的方法最近在基于2D图像的视力任务上取得了巨大进步。但是，对于基于3D视频的任务，例如动作识别，直接将时空变压器应用于视频数据将带来沉重的计算和记忆负担，因为斑块的数量大大增加以及自我注意计算的二次复杂性。如何对视频数据的3D自我注意力进行有效地建模，这对于变压器来说是一个巨大的挑战。在本文中，我们提出了一种时间贴片移动（TPS）方法，用于在变压器中有效的3D自发明建模，以进行基于视频的动作识别。 TPS在时间尺寸中以特定的镶嵌图模式移动斑块的一部分，从而将香草的空间自我发项操作转换为时空的一部分，几乎没有额外的成本。结果，我们可以使用几乎相同的计算和记忆成本来计算3D自我注意力。 TPS是一个插件模块，可以插入现有的2D变压器模型中，以增强时空特征学习。提出的方法可以通过最先进的V1和V1，潜水-48和Kinetics400实现竞争性能，同时在计算和内存成本方面效率更高。 TPS的源代码可在https://github.com/martinxm/tps上找到。

动作检测的任务旨在在每个动作实例中同时推论动作类别和终点的本地化。尽管Vision Transformers推动了视频理解的最新进展，但由于在长时间的视频剪辑中，设计有效的架构以进行动作检测是不平凡的。为此，我们提出了一个有效的层次时空时空金字塔变压器（STPT）进行动作检测，这是基于以下事实：变压器中早期的自我注意力层仍然集中在局部模式上。具体而言，我们建议在早期阶段使用本地窗口注意来编码丰富的局部时空时空表示，同时应用全局注意模块以捕获后期的长期时空依赖性。通过这种方式，我们的STPT可以用冗余的大大减少来编码区域和依赖性，从而在准确性和效率之间进行有希望的权衡。例如，仅使用RGB输入，提议的STPT在Thumos14上获得了53.6％的地图，超过10％的I3D+AFSD RGB模型超过10％，并且对使用其他流量的额外流动功能的表现较少，该流量具有31％的GFLOPS ，它是一个有效，有效的端到端变压器框架，用于操作检测。

自我关注已成为最近网络架构的一个组成部分，例如，统治主要图像和视频基准的变压器。这是因为自我关注可以灵活地模拟远程信息。出于同样的原因，研究人员最近使尝试恢复多层Perceptron（MLP）并提出一些类似MLP的架构，显示出极大的潜力。然而，当前的MLP样架构不擅长捕获本地细节并缺乏对图像和/或视频中的核心细节的逐步了解。为了克服这个问题，我们提出了一种新颖的Morphmlp架构，该架构专注于在低级层处捕获本地细节，同时逐渐改变，以专注于高级层的长期建模。具体地，我们设计一个完全连接的层，称为Morphfc，两个可变过滤器，其沿着高度和宽度尺寸逐渐地发展其接收领域。更有趣的是，我们建议灵活地调整视频域中的Morphfc层。为了我们最好的知识，我们是第一个创建类似MLP骨干的用于学习视频表示的骨干。最后，我们对图像分类，语义分割和视频分类进行了广泛的实验。我们的Morphmlp，如此自我关注的自由骨干，可以与基于自我关注的型号一样强大。

变压器提供了一种设计神经网络以进行视觉识别的新方法。与卷积网络相比，变压器享有在每个阶段引用全局特征的能力，但注意模块带来了更高的计算开销，阻碍了变压器的应用来处理高分辨率的视觉数据。本文旨在减轻效率和灵活性之间的冲突，为此，我们为每个地区提出了专门的令牌，作为使者（MSG）。因此，通过操纵这些MSG令牌，可以在跨区域灵活地交换视觉信息，并且减少计算复杂性。然后，我们将MSG令牌集成到一个名为MSG-Transformer的多尺度体系结构中。在标准图像分类和对象检测中，MSG变压器实现了竞争性能，加速了GPU和CPU的推断。代码可在https://github.com/hustvl/msg-transformer中找到。

最近，视力变压器已被证明在多个视力任务中广泛使用基于卷积的方法（CNN）具有竞争力。与CNN相比，变压器的限制性偏差较小。但是，在图像分类设置中，这种灵活性在样本效率方面取决于变压器需要成像尺度训练。这个概念已转移到视频中，其中尚未在低标记或半监视设置中探索用于视频分类的变压器。我们的工作从经验上探讨了视频分类的低数据制度，发现与CNN相比，变形金刚在低标记的视频设置中表现出色。我们专门评估了两个对比的视频数据集（Kinetics-400和Somethingsomething-v2）的视频视觉变压器，并进行彻底的分析和消融研究，以使用视频变压器体系结构的主要特征来解释这一观察结果。我们甚至表明，仅使用标记的数据，变形金刚显着优于复杂的半监督CNN方法，这些方法也利用了大规模未标记的数据。我们的实验告知我们的建议，即半监督的学习视频工作应该考虑将来使用视频变压器。

我们呈现了基于纯变压器的视频分类模型，在图像分类中最近的近期成功进行了借鉴。我们的模型从输入视频中提取了时空令牌，然后由一系列变压器层编码。为了处理视频中遇到的令牌的长序列，我们提出了我们模型的几种有效的变体，它们将输入的空间和时间维构建。虽然已知基于变换器的模型只有在可用的大型训练数据集时才有效，但我们展示了我们如何在训练期间有效地规范模型，并利用预先训练的图像模型能够在相对小的数据集上训练。我们进行彻底的消融研究，并在包括动力学400和600，史诗厨房，东西的多个视频分类基准上实现最先进的结果，其中 - 基于深度3D卷积网络的现有方法表现出优先的方法。为了促进进一步的研究，我们在https://github.com/google-research/scenic/tree/main/scenic/projects/vivit发布代码

最近，类似于MLP的视觉模型已在主流视觉识别任务上实现了有希望的表演。与视觉变压器和CNN相反，类似MLP的模型的成功表明，令牌和渠道之间的简单信息融合操作可以为深度识别模型带来良好的表示能力。但是，现有的类似于MLP的模型通过静态融合操作融合代币，缺乏对代币内容的适应性。因此，习惯信息融合程序不够有效。为此，本文介绍了一种有效的MLP式网络体系结构，称为Dynamixer，诉诸动态信息融合。至关重要的是，我们提出了一个程序，该过程依赖于该过程，以通过利用混合所有令牌的内容来动态生成混合矩阵。为了减少时间复杂性并提高鲁棒性，采用了降低性降低技术和多段融合机制。我们提出的Dynamixer模型（9700万参数）在没有额外的训练数据的情况下，在Imagenet-1k数据集上实现了84.3 \％TOP-1的精度，对最先进的视觉MLP模型表现出色。当参数数量减少到26m时，它仍然可以达到82.7 \％TOP-1的精度，超过了具有相似容量的现有MLP样模型。该代码可在\ url {https://github.com/ziyuwwang/dynamixer}中获得。

本文研究了视频变压器的BERT预借鉴。考虑到近期图像变形金刚的伯爵预借鉴成功，这是一个简单但值得学习的延伸。我们介绍了Decouples将视频表示学习学习的BEVT进入空间代表学习和时间动态学习。特别地，BEVT首先在图像数据上执行屏蔽图像建模，然后在视频数据上与屏蔽视频建模联合进行屏蔽图像建模。这种设计具有两个观察的动机：1）在图像数据集上学习的变压器提供了体面的空间前沿，可以缓解视频变压器的学习，这通常是从划痕训练的计算密集型的时间。 2）鉴别的线索，即空间和时间信息，需要在不同的视频中进行正确的预测，由于阶级的阶级和阶级际变化而不同。我们对三个具有挑战性的视频基准进行了广泛的实验，其中BEVT达到了非常有前途的结果。在动力学400上，哪些识别主要依赖于歧视性空间表示，BEVT达到了强大的监督基线的可比结果。在某种东西 - V2和潜水48上，其中包含依靠时间动态的视频，BEVT优于所有替代基准，分别实现了70.6％和86.7％的最新性能。

We present the Group Propagation Vision Transformer (GPViT): a novel nonhierarchical (i.e. non-pyramidal) transformer model designed for general visual recognition with high-resolution features. High-resolution features (or tokens) are a natural fit for tasks that involve perceiving fine-grained details such as detection and segmentation, but exchanging global information between these features is expensive in memory and computation because of the way self-attention scales. We provide a highly efficient alternative Group Propagation Block (GP Block) to exchange global information. In each GP Block, features are first grouped together by a fixed number of learnable group tokens; we then perform Group Propagation where global information is exchanged between the grouped features; finally, global information in the updated grouped features is returned back to the image features through a transformer decoder. We evaluate GPViT on a variety of visual recognition tasks including image classification, semantic segmentation, object detection, and instance segmentation. Our method achieves significant performance gains over previous works across all tasks, especially on tasks that require high-resolution outputs, for example, our GPViT-L3 outperforms Swin Transformer-B by 2.0 mIoU on ADE20K semantic segmentation with only half as many parameters. Code and pre-trained models are available at https://github.com/ChenhongyiYang/GPViT .

由于复杂的注意机制和模型设计，大多数现有的视觉变压器（VIT）无法在现实的工业部署方案中的卷积神经网络（CNN）高效，例如张力和coreml。这提出了一个独特的挑战：可以设计视觉神经网络以与CNN一样快地推断并表现强大吗？最近的作品试图设计CNN-Transformer混合体系结构来解决这个问题，但是这些作品的整体性能远非令人满意。为了结束这些结束，我们提出了下一代视觉变压器，以在现实的工业场景中有效部署，即下一步，从延迟/准确性权衡的角度来看，它在CNN和VIT上占主导地位。在这项工作中，下一个卷积块（NCB）和下一个变压器块（NTB）分别开发出用于使用部署友好机制捕获本地和全球信息。然后，下一个混合策略（NHS）旨在将NCB和NTB堆叠在有效的混合范式中，从而提高了各种下游任务中的性能。广泛的实验表明，在各种视觉任务方面的延迟/准确性权衡方面，下一个VIT明显优于现有的CNN，VIT和CNN转换混合体系结构。在Tensorrt上，在可可检测上，Next-Vit超过5.4 MAP（从40.4到45.8），在类似延迟下，ADE20K细分的8.2％MIOU（从38.8％到47.0％）。同时，它可以与CSWIN达到可比的性能，而推理速度则以3.6倍的速度加速。在COREML上，在类似的延迟下，在COCO检测上，下一步超过了可可检测的4.6 MAP（从42.6到47.2），ADE20K分割的3.5％MIOU（从45.2％到48.7％）。代码将最近发布。

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

本文解决了有效的视频识别问题。在这一领域，视频变压器最近在效率（Top-1精度与Flops）频谱中占据了主导地位。同时，在图像域中进行了一些尝试，这些尝试挑战了变压器体系结构中自我发挥操作的必要性，主张使用更简单的方法来进行令牌混合。但是，对于视频识别的情况，尚无结果，在这种情况下，自我发项操作员对效率的影响（与图像的情况相比）明显更高。为了解决这一差距，在本文中，我们做出以下贡献：（a）我们基于移位操作员，构成的仿射偏移块构建了一个高效\＆精确的无注意块，专门为尽可能近的近似而设计变压器层的MHSA块中的操作。基于我们的仿射转移块，我们构建了我们的仿射转移变压器，并表明它已经超过了所有现有的基于移位/MLP的架构进行Imagenet分类。 （b）我们将公式扩展到视频域中，以构建视频播客变压器（vast），这是第一个纯粹无注意的基于偏移的视频变压器。 （c）我们表明，对于最流行的动作识别基准，对于具有低计算和内存足迹的模型的情况，大量的最新变压器在最流行的动作识别基准上表现出色。代码将可用。

用于深度卷积神经网络的视频插值的现有方法，因此遭受其内在限制，例如内部局限性核心权重和受限制的接收领域。为了解决这些问题，我们提出了一种基于变换器的视频插值框架，允许内容感知聚合权重，并考虑具有自我关注操作的远程依赖性。为避免全球自我关注的高计算成本，我们将当地注意的概念引入视频插值并将其扩展到空间域。此外，我们提出了一个节省时间的分离策略，以节省内存使用，这也提高了性能。此外，我们开发了一种多尺度帧合成方案，以充分实现变压器的潜力。广泛的实验证明了所提出的模型对最先进的方法来说，定量和定性地在各种基准数据集上进行定量和定性。