多头注意力是最先进的变压器背后的推动力，它在各种自然语言处理（NLP）和计算机视觉任务中实现了出色的性能。已经观察到，对于许多应用，这些注意力头会学习冗余嵌入，并且大多数可以在不降低模型性能的情况下去除。受到这一观察的启发，我们提出了变压器的混合物（变压器-MGK）的混合物，这是一种新型的变压器架构，用每个头部的钥匙混合了变压器中的冗余头部。这些键的混合物遵循高斯混合模型，并使每个注意力头有效地集中在输入序列的不同部分上。与传统的变压器对应物相比，变压器-MGK会加速训练和推理，具有较少的参数，并且需要更少的拖船来计算，同时实现跨任务的可比性或更高的准确性。 Transformer-MGK也可以轻松扩展到线性注意力。我们从经验上证明了在一系列实用应用中变形金属MGK的优势，包括语言建模和涉及非常长序列的任务。在Wikitext-103和远程竞技场基准中，具有4个头部的变压器MGK具有与基线变压器具有8个头的可比性或更好的性能。

变形金刚在序列建模及以后取得了显着的成功，但相对于输入序列的长度，二次计算和记忆复杂性遭受了损失。利用技术包括稀疏和线性的注意力和哈希技巧；已经提出了有效的变压器来降低变压器的二次复杂性，但会显着降低准确性。作为响应，我们首先将计算注意图的线性注意力和残差连接解释为梯度下降步骤。然后，我们将动量引入这些组件，并提出\ emph {动量变压器}，该动量利用动量来提高线性变压器的精度，同时保持线性内存和计算复杂性。此外，我们制定了一种自适应策略，以根据二次优化的最佳动量计算模型的动量值。这种自适应动量消除了寻找最佳动量值的需求，并进一步增强了动量变压器的性能。包括图像生成和机器翻译在内的自回归和非自动回归任务的一系列实验表明，动量变压器在训练效率和准确性方面优于流行的线性变压器。

在这项工作中，我们介绍了内核化变压器，这是一个通用，可扩展的，数据驱动的框架，用于学习变压器中的内核功能。我们的框架将变压器内核作为光谱特征图之间的点产物近似，并通过学习光谱分布来学习内核。这不仅有助于学习通用的内核端到端，而且还可以减少变压器从二次到线性的时间和空间复杂性。我们表明，在准确性和计算效率方面，内核化的变压器实现了与现有的有效变压器体系结构相当的性能。我们的研究还表明，内核的选择对性能有重大影响，而内核学习变体是固定内核变压器的竞争替代方案，无论是长时间的序列任务。

基于变压器的模型广泛用于自然语言处理（NLP）。变压器模型的核心是自我关注机制，它捕获了输入序列中的令牌对的相互作用，并在序列长度上逐步取决于逐行。在更长的序列上培训此类模型是昂贵的。在本文中，我们表明，基于局部敏感散列（LSH）的伯努利采样注意机制降低了这种模型到线性的二次复杂性。我们通过考虑自我关注作为与Bernoulli随机变量相关的单独令牌的总和来绕过二次成本，原则上可以通过单个哈希进行一次（尽管在实践中，这个数字可能是一个小常数）。这导致了有效的采样方案来估算依赖于LSH的特定修改的自我关注（以便在GPU架构上进行部署）。我们在标准512序列长度上评估了胶水基准的算法，在那里我们看到了相对于标准预磨削变压器的良好性能。在远程竞技场（LRA）基准中，为了评估长序列的性能，我们的方法实现了与Softmax自我关注的结果一致，但具有相当大的加速和内存节省，并且通常优于其他有效的自我关注方法。我们的代码可以在https://github.com/mlpen/yoso获得

由于自我关注模块的二次空间和时间复杂性，基于变压器的模型在处理长序列中是不高的。为了解决此限制，建议通过分别通过低维投影和行选择来降低线性（模数对数因子）的二次复杂度。这两种型号本质上连接，并了解他们的连接，我们介绍了矩阵素描的理论框架。基于理论分析，我们提出了Skeinformer加速自我关注，进一步提高了三个精心设计的组件的自我关注的准确性：列采样，自适应行标准化和飞行员采样重新利用。关于长距离竞技场（LRA）基准的实验表明，我们的方法以始终如一的较小时间/空间占地面积优于替代方案。

变压器注意机制中的设计选择，包括弱电感偏置和二次计算复杂性，限制了其用于建模长序列的应用。在本文中，我们介绍了一个简单的，理论上的，单头的门控注意机制，配备了（指数）移动平均线，以将局部依赖性的电感偏置纳入位置 - 敏锐的注意机制中。我们进一步提出了一个具有线性时间和空间复杂性的大型变体，但通过将整个序列分为固定长度的多个块，仅产生最小的质量损失。对广泛的序列建模基准测试的广泛实验，包括远距离竞技场，神经机器翻译，自动回归语言建模以及图像和语音分类，表明，巨人比其他序列模型取得了重大改进，包括变种物的变体和最新的变体模型状态空间模型。

We introduce Performers, Transformer architectures which can estimate regular (softmax) full-rank-attention Transformers with provable accuracy, but using only linear (as opposed to quadratic) space and time complexity, without relying on any priors such as sparsity or low-rankness. To approximate softmax attentionkernels, Performers use a novel Fast Attention Via positive Orthogonal Random features approach (FAVOR+), which may be of independent interest for scalable kernel methods. FAVOR+ can also be used to efficiently model kernelizable attention mechanisms beyond softmax. This representational power is crucial to accurately compare softmax with other kernels for the first time on large-scale tasks, beyond the reach of regular Transformers, and investigate optimal attention-kernels. Performers are linear architectures fully compatible with regular Transformers and with strong theoretical guarantees: unbiased or nearly-unbiased estimation of the attention matrix, uniform convergence and low estimation variance. We tested Performers on a rich set of tasks stretching from pixel-prediction through text models to protein sequence modeling. We demonstrate competitive results with other examined efficient sparse and dense attention methods, showcasing effectiveness of the novel attention-learning paradigm leveraged by Performers.

由于其二次复杂性，是变压器中的关注模块，其是变压器中的重要组件不能高效地扩展到长序列。许多工作侧重于近似于尺寸的圆点 - 指数的软MAX功能，导致分二次甚至线性复杂性变压器架构。但是，我们表明这些方法不能应用于超出点的指数样式的更强大的注意模块，例如，具有相对位置编码（RPE）的变压器。由于在许多最先进的模型中，相对位置编码被用作默认，设计可以包含RPE的高效变压器是吸引人的。在本文中，我们提出了一种新颖的方法来加速对RPE的转化仪的关注计算在核心化的关注之上。基于观察到相对位置编码形成Toeplitz矩阵，我们数在数学上表明，可以使用快速傅里叶变换（FFT）有效地计算具有RPE的核化注意。使用FFT，我们的方法实现$ \ mathcal {o}（n \ log n）$时间复杂性。有趣的是，我们进一步证明使用相对位置编码适当地可以减轻香草群关注的培训不稳定问题。在广泛的任务上，我们经验证明我们的模型可以从头开始培训，没有任何优化问题。学习模型比许多高效的变压器变体更好地执行，并且在长序列制度中比标准变压器更快。

变压器注意机制的二次计算和内存复杂性限制了对长序列建模的可扩展性。在本文中，我们提出了Luna，一种线性统一嵌套关注机制，使Softmax注意力具有两个嵌套线性关注功能，仅产生线性（与二次）的时间和空间复杂度相反。具体地，通过第一注意功能，LUNA将输入序列包装成固定长度的序列。然后，使用第二关注功能未包装包装序列。与更传统的关注机制相比，LUNA引入具有固定长度的附加序列作为输入和额外的相应输出，允许LUNA线性地进行关注操作，同时还存储足够的上下文信息。我们对三个序列建模任务的基准进行了广泛的评估：长上下文序列建模，神经机平移和大型预磨损的屏蔽语言建模。竞争甚至更好的实验结果表明了Luna的有效性和效率与各种各样相比

自我发挥作用机制通过在所有输入令牌之间使用成对的注意来对远程环境进行建模。在这样做时，他们假设由个体令牌（例如文本字符或图像像素）定义的固定注意粒度，这对于在较高级别上建模复杂依赖性可能不是最佳的。在本文中，我们提出了ContextPool，通过调整每个令牌的注意力粒度来解决此问题。受到与合并以捕获远程依赖关系的Convnets成功的启发，我们学会了为每个令牌汇总相邻功能，然后在给定的注意力层中计算注意力。合并的权重和支撑大小是自适应确定的，允许汇总功能以不同的规模编码有意义的上下文。我们表明，ContextPool使注意力模型更具表现力，经常以更少的层次实现强大的性能，从而大大降低了成本。实验验证我们的上下文池模块插入变压器模型时，使用几种语言和图像基准的计算较少计算，匹配或超越了最先进的性能，胜过最新的作品，这些作品具有学习的上下文大小或稀疏注意的模式，并且也适用为了进行有效的功能学习。

变压器模型是置换等分之一的。要提供输入令牌的顺序和类型信息，通常将位置和段嵌入式添加到输入中。最近的作品提出了具有相对位置编码的位置编码的变化，实现了更好的性能。我们的分析表明，增益实际上来自从输入中将位置信息移动到注意层。由此激励，我们介绍了变压器（饮食）的解耦的位置注意，一个简单但有效的机制，将位置和分段信息编码为变压器模型。该方法具有更快的培训和推理时间，同时在胶水，Xtreme和WMT基准上实现竞争性能。我们进一步概括了我们的方法到远程变压器并显示性能增益。

最近，提出了随机特征专注（RFA），以通过线性化指数核来近似线性时间和空间复杂性的软磁性注意力。在本文中，我们首先提出了一种新颖的观点，以通过将RFA重新铸造为自称的重要性采样器来理解这种近似值的偏见。这种观点进一步阐明了整个软磁注意的\ emph {nobaled}估计量，称为随机注意（RA）。RA通过特定的分布构建积极的随机特征，并享有极大的改善近似保真度，尽管表现出二次复杂性。通过结合RA中的表现力和RFA的效率，我们开发了一种新型的线性复杂性自我发项机制，称为线性随机注意（LARA）。跨各个领域的广泛实验表明，RA和LARA可显着提高RFA的性能。

变压器建立在多头缩放的点产生关注和位置编码的基础上，旨在学习特征表示和令牌依赖性。在这项工作中，我们专注于通过学习通过变压器中的自我发项机制来增强特征图来增强独特的表示。具体而言，我们提出了水平的关注，以重新权重降低维度降低的点产量注意的多头输出，并提出垂直注意力以通过对不同的相互依赖性在不同的相互依赖性的方面自适应重新校准的频道响应，以使不同频道。我们证明了配备了两种专注的变压器模型在不同监督的学习任务中具有很高的概括能力，并具有较小的额外计算成本开销。提出的水平和垂直注意力是高度模块化的，可以将其插入各种变压器模型中，以进一步提高性能。我们的代码在补充材料中可用。

变形金刚是文本理解的强大模型。然而，由于其二次复杂性对输入序列长度的二次复杂性效率低下。虽然有很多关于变压器加速的方法，但它们仍然效率低于长序列或不够有效。在本文中，我们提出了FastFormer，即基于添加剂关注的高效变压器模型。在FastFormer中，我们首先使用添加剂注意机制来模拟全局上下文，而不是在令牌之间建模的成对相互建模，而不是建模。然后，基于与全局上下文表示的交互，进一步转换每个令牌表示。以这种方式，FastFormer可以实现具有线性复杂性的有效上下文建模。关于五个数据集的广泛实验表明，FastFormer比许多现有的变压器模型更有效，同时可以实现可比或甚至更好的长文本建模性能。

Transformers achieve remarkable performance in several tasks but due to their quadratic complexity, with respect to the input's length, they are prohibitively slow for very long sequences. To address this limitation, we express the self-attention as a linear dot-product of kernel feature maps and make use of the associativity property of matrix products to reduce the complexity from O N 2 to O (N ), where N is the sequence length. We show that this formulation permits an iterative implementation that dramatically accelerates autoregressive transformers and reveals their relationship to recurrent neural networks. Our linear transformers achieve similar performance to vanilla transformers and they are up to 4000x faster on autoregressive prediction of very long sequences.

The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 Englishto-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.0 after training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. * Equal contribution. Listing order is random. Jakob proposed replacing RNNs with self-attention and started the effort to evaluate this idea. Ashish, with Illia, designed and implemented the first Transformer models and has been crucially involved in every aspect of this work. Noam proposed scaled dot-product attention, multi-head attention and the parameter-free position representation and became the other person involved in nearly every detail. Niki designed, implemented, tuned and evaluated countless model variants in our original codebase and tensor2tensor. Llion also experimented with novel model variants, was responsible for our initial codebase, and efficient inference and visualizations. Lukasz and Aidan spent countless long days designing various parts of and implementing tensor2tensor, replacing our earlier codebase, greatly improving results and massively accelerating our research.† Work performed while at Google Brain.‡ Work performed while at Google Research.

变形金刚在语言和视觉域中取得了成功。然而，将它们缩放到长期序列（例如长）或高分辨率图像，因为自我关注机构相对于输入序列长度具有二次时间和存储器复杂性。在本文中，我们提出了长短变压器（变压器-LS），是一种有效的自我关注机制，用于对语言和视觉任务进行线性复杂性建模的长序列。它用动态投影聚集了一种新的远程关注，以模拟远处相关性和短期注意，以捕获细粒度的局部相关性。我们提出了双重正径策略，以解释两个注意机制之间的规模不匹配。变压器-LS可以应用于自回归和双向模型，而无需额外复杂。我们的方法在语言和视觉域中的多个任务中优于最先进的模型，包括远程竞技场基准，自回归语言建模和想象成分类。例如，变换器-LS使用比以前的方法的一半在eNWIK8上实现0.97测试BPC，同时与其在同一硬件上的全部关注版本相比，可以更快地处理3倍。在Imagenet上，它可以获得最先进的结果（例如，适度大小的55.8M模型，仅在224x224 Imagenet-1K上培训，可以获得顶级1精度84.1％），同时在高分辨率上更加可扩展图片。源代码和模型在https://github.com/nvidia/transformer-ls上发布。

In this paper, we propose a novel architecture, the Enhanced Interactive Transformer (EIT), to address the issue of head degradation in self-attention mechanisms. Our approach replaces the traditional multi-head self-attention mechanism with the Enhanced Multi-Head Attention (EMHA) mechanism, which relaxes the one-to-one mapping constraint among queries and keys, allowing each query to attend to multiple keys. Furthermore, we introduce two interaction models, Inner-Subspace Interaction and Cross-Subspace Interaction, to fully utilize the many-to-many mapping capabilities of EMHA. Extensive experiments on a wide range of tasks (e.g. machine translation, abstractive summarization, grammar correction, language modelling and brain disease automatic diagnosis) show its superiority with a very modest increase in model size.

Large Transformer models routinely achieve state-of-the-art results on a number of tasks but training these models can be prohibitively costly, especially on long sequences. We introduce two techniques to improve the efficiency of Transformers. For one, we replace dot-product attention by one that uses locality-sensitive hashing, changing its complexity from O(L 2 ) to O(L log L), where L is the length of the sequence. Furthermore, we use reversible residual layers instead of the standard residuals, which allows storing activations only once in the training process instead of N times, where N is the number of layers. The resulting model, the Reformer, performs on par with Transformer models while being much more memory-efficient and much faster on long sequences.

变压器架构现在是序列建模任务的核心。注意机制是核心，它可以在序列中对长期依赖性进行有效的建模。最近，变压器已成功地应用于计算机视觉域，在该域中首先将2D图像分割成斑块，然后将其视为1D序列。然而，这种线性化会损害图像中空间位置的概念，该图像具有重要的视觉线索。为了弥合差距，我们提出了连锁反应，这是视觉变压器的次级注意机制。基于最近基于内核的有效注意机制，我们设计了一种新型的动态编程算法，该算法将不同令牌的贡献加重了与它们在线性观察到的2D空间中相对空间距离的查询的贡献。广泛的实验和分析证明了连锁反应对各种视觉任务的有效性。