Vision Transformers convert images to sequences by slicing them into patches. The size of these patches controls a speed/accuracy tradeoff, with smaller patches leading to higher accuracy at greater computational cost, but changing the patch size typically requires retraining the model. In this paper, we demonstrate that simply randomizing the patch size at training time leads to a single set of weights that performs well across a wide range of patch sizes, making it possible to tailor the model to different compute budgets at deployment time. We extensively evaluate the resulting model, which we call FlexiViT, on a wide range of tasks, including classification, image-text retrieval, open-world detection, panoptic segmentation, and semantic segmentation, concluding that it usually matches, and sometimes outperforms, standard ViT models trained at a single patch size in an otherwise identical setup. Hence, FlexiViT training is a simple drop-in improvement for ViT that makes it easy to add compute-adaptive capabilities to most models relying on a ViT backbone architecture. Code and pre-trained models are available at https://github.com/google-research/big_vision
translated by 谷歌翻译
有效的缩放和灵活的任务接口使大型语言模型能够在许多任务中表现出色。帕利（Pali）根据视觉和文本输入生成文本，并使用该界面以许多语言执行许多视觉，语言和多模式任务。为了训练帕利，我们利用了大型的编码器语言模型和视觉变压器（VITS）。这使我们能够利用其现有能力，并利用培训它们的大量成本。我们发现，视觉和语言组成部分的联合缩放很重要。由于现有的语言变压器比其视觉对应物要大得多，因此我们训练迄今为止最大的VIT（VIT-E），以量化甚至大容量视觉模型的好处。为了训练Pali，我们基于一个新的图像文本训练集，其中包含10B图像和文本，以100多种语言来创建大型的多语言组合。帕利（Pali）在多个视觉和语言任务（例如字幕，视觉问题，索方式，场景文本理解）中实现了最新的，同时保留了简单，模块化和可扩展的设计。
translated by 谷歌翻译
近年来，深度学习的显着进步主要是由于规模的改进而驱动，在该规模上，更大的模型在较大的数据集上进行了更长的时间表的培训。为了从经验上预测规模的好处，我们主张基于外推损失的更严格的方法，而不是报告最合适的（插值）参数。然后，我们提出了一种从学习曲线可靠地估算缩放定律参数的配方。我们证明，除了来自大型基础评估基准的任务外，除了大型域中，包括图像分类，神经机器翻译（NMT）和语言建模，包括图像分类，神经机器翻译（NMT）和语言建模，它比以前的方法更准确地推断出更准确的方法。最后，我们发布了一个由90个评估任务组成的基准数据集，以促进该领域的研究。
translated by 谷歌翻译
将简单的体系结构与大规模预训练相结合已导致图像分类的大量改进。对于对象检测，预训练和缩放方法的确定性不佳，尤其是在长尾和开放式摄影的环境中，训练数据相对较少。在本文中，我们提出了一个强大的配方，用于将图像文本模型转移到开放式对象检测中。我们使用具有最小修改，对比度文本预训练和端到端检测微调的标准视觉变压器体系结构。我们对该设置的缩放属性的分析表明，增加图像级预训练和模型大小在下游检测任务上产生一致的改进。我们提供适应性策略和正规化，以实现零击文本条件和单次图像条件对象检测的非常强劲的性能。代码和型号可在GitHub上找到。
translated by 谷歌翻译
这项工作介绍了一个简单的视觉变压器设计，作为对象本地化和实例分段任务的强大基线。变压器最近在图像分类任务中展示了竞争性能。为了采用对象检测和密集的预测任务，许多作品从卷积网络和高度定制的Vit架构继承了多级设计。在这种设计背后，目标是在计算成本和多尺度全球背景的有效聚合之间进行更好的权衡。然而，现有的作品采用多级架构设计作为黑匣子解决方案，无清楚地了解其真正的益处。在本文中，我们全面研究了三个架构设计选择对vit - 空间减少，加倍的频道和多尺度特征 - 并证明了vanilla vit架构可以在没有手动的多尺度特征的情况下实现这一目标，保持原始的Vit设计哲学。我们进一步完成了缩放规则，以优化模型的准确性和计算成本/型号大小的权衡。通过在整个编码器块中利用恒定的特征分辨率和隐藏大小，我们提出了一种称为通用视觉变压器（UVIT）的简单而紧凑的VIT架构，可实现COCO对象检测和实例分段任务的强劲性能。
translated by 谷歌翻译
本文提出了一种对比调整，这是一种简单的方法，采用对比训练来对准图像和文本模型，同时仍然利用他们的预训练。在我们的实证研究中，我们发现，锁定的预训练图像模型与解锁文本模型最佳。我们调用这种对比调整“锁定图像文本调整”（LIT TOONING）的实例，该实例仅教导文本模型，从预先训练的图像模型中读出了良好的表示新任务。亮度调谐模型将零拍摄传输到新视觉任务的能力提高，例如图像分类或检索。建议的亮度调整是广泛适用的;它可以使用三种不同的图像文本数据集可靠地使用多种预训练方法（监督和无监督）和多种架构（Reset，Vision变换器和MLP-MILLER）。利用基于变压器的预训练VIT-G / 14型号，LIT调谐模型在想象网测试集中实现了84.5％的零射频传输精度，并且在充满挑战的分发ObjectNet测试集中实现了81.1％。
translated by 谷歌翻译
视觉变压器（VIT）已被证明可以在广泛的视觉应用中获得高度竞争性的性能，例如图像分类，对象检测和语义图像分割。与卷积神经网络相比，通常发现视觉变压器的较弱的电感偏差会在较小的培训数据集上培训时，会增加对模型正则化或数据增强的依赖（简称为“ AUGREG”）。我们进行了一项系统的实证研究，以便更好地了解培训数据，AUGREG，模型大小和计算预算之间的相互作用。作为这项研究的一个结果，我们发现增加的计算和AUGREG的组合可以产生与在数量级上训练的模型相同的训练数据的模型：我们在公共Imagenet-21K数据集中培训各种尺寸的VIT模型在较大的JFT-300M数据集上匹配或超越其对手的培训。
translated by 谷歌翻译
在实现最先进的性能和在实际应用中负担得起的大型模型之间，计算机视觉的差异越来越大。在本文中，我们解决了这个问题，并显着弥合了这两种模型之间的差距。在我们的实证研究中，我们不一定要提出一种新方法，而是要努力确定一个可靠的有效食谱，以使最先进的大型模型在实践中负担得起。我们证明，当正确执行时，知识蒸馏可以成为减少大型尺寸而不损害其性能的强大工具。特别是，我们发现存在某些隐式设计选择，这可能会严重影响蒸馏的有效性。我们的关键贡献是对这些设计选择的明确识别，这些选择以前在文献中尚未阐明。我们通过一项全面的实证研究备份了我们的发现，在广泛的视觉数据集上展示了令人信服的结果，尤其是获得了最先进的Imagenet Resnet-50模型，该模型可实现82.8％的Top-1准确性。 。
translated by 谷歌翻译
基于注意力的神经网络（例如Vision Transformer（VIT））最近在许多计算机视觉基准上获得了最新结果。尺度是获得出色结果的主要成分，因此，了解模型的缩放属性是有效设计子孙后代的关键。尽管已经研究了用于扩展变压器语言模型的法律，但视觉变压器如何扩展是未知的。为了解决这个问题，我们将VIT模型和数据扩展到上下，并表征错误率，数据和计算之间的关系。在此过程中，我们完善了VIT的体系结构和培训，减少了记忆消耗并提高了所得模型的准确性。结果，我们成功地训练了具有20亿个参数的VIT模型，该模型达到了90.45％TOP-1准确性的新最先进。该模型在几次转移中也表现良好，例如，ImageNet上的Top-1精度达到了84.86％，每个类别仅10个示例。
translated by 谷歌翻译
While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks. When pre-trained on large amounts of data and transferred to multiple mid-sized or small image recognition benchmarks (ImageNet, CIFAR-100, VTAB, etc.), Vision Transformer (ViT) attains excellent results compared to state-of-the-art convolutional networks while requiring substantially fewer computational resources to train. 1
translated by 谷歌翻译