基于变压器的神经网络已在许多机器学习领域（包括自然语言处理和计算机视觉）中实现了最新的任务性能。为了进一步提高其准确性，最近的工作探索了动态行为的整合到这些网络中的形式（MOE）层的形式。在本文中，我们探讨了MOE层的引入以优化不同的指标：推理潜伏期。我们介绍了一个名为Planer的新型系统，该系统采用了现有的基于变压器的网络和一个用户定义的延迟目标，并生成了原始网络的优化，稀疏激活的版本，该版本试图满足潜伏期目标，同时保持基线准确性。我们使用变压器-XL网络对两个现实世界的语言建模任务进行评估，并在ISO准确性上实现超过2倍的推理潜伏期降低。

我们提出了三种新型的修剪技术，以提高推理意识到的可区分神经结构搜索（DNAS）的成本和结果。首先，我们介绍了DNA的随机双路构建块，它可以通过内存和计算复杂性在内部隐藏尺寸上进行搜索。其次，我们在搜索过程中提出了一种在超级网的随机层中修剪块的算法。第三，我们描述了一种在搜索过程中修剪不必要的随机层的新技术。由搜索产生的优化模型称为Prunet，并在Imagenet Top-1图像分类精度的推理潜伏期中为NVIDIA V100建立了新的最先进的Pareto边界。将Prunet作为骨架还优于COCO对象检测任务的GPUNET和EFIDENENET，相对于平均平均精度（MAP）。

在深度学习中，模型通常重用所有输入的相同参数。专家的混合（MOE）违反了这一点，而是为每个传入示例选择不同的参数。结果是一个稀疏激活的模型 - 具有残酷数量的参数 - 但恒定的计算成本。然而，尽管MOE取得了一些显着的成功，但复杂性，沟通成本和培训不稳定的阻碍了广泛的采用 - 我们使用Switch Transformer解决了这些领域。我们简化了MOE路由算法和设计直观的改进模型，以降低的通信和计算成本。我们提出的培训技术有助于纠缠不稳定，我们表明稀疏模型可能首次以较低的精度（BFLOAT16）格式进行培训。我们设计了基于T5基数和T5总数的模型，以使用相同的计算资源获得高达7倍的训练速度。这些改进扩展到多语言设置，我们在所有101种语言中衡量对MT5基本版本的收益。最后，我们通过在“巨大的清洁爬行语料库”上预先培训高达数万亿个参数模型，并在T5-XXL模型上实现4倍的速度，从而提高了语言模型的当前规模。

AD相关建模在包括Microsoft Bing在内的在线广告系统中起着至关重要的作用。为了利用强大的变压器在这种低延迟设置中，许多现有方法脱机执行广告端计算。虽然有效，但这些方法无法提供冷启动广告，从而导致对此类广告的相关性预测不佳。这项工作旨在通过结构化修剪设计一种新的低延迟BERT，以在CPU平台上授权实时在线推断对Cold Start Ads相关性。我们的挑战是，以前的方法通常将变压器的所有层都缩减为高，均匀的稀疏性，从而产生无法以可接受的精度实现令人满意的推理速度的模型。在本文中，我们提出了SwiftPruner - 一个有效的框架，利用基于进化的搜索自动在所需的延迟约束下自动找到表现最佳的稀疏BERT模型。与进行随机突变的现有进化算法不同，我们提出了一个具有潜伏意见的多目标奖励的增强突变器，以进行更好的突变，以有效地搜索层稀疏模型的大空间。广泛的实验表明，与均匀的稀疏基线和最先进的搜索方法相比，我们的方法始终达到更高的ROC AUC和更低的潜伏度。值得注意的是，根据我们在1900年的延迟需求，SwiftPruner的AUC比Bert-Mini在大型现实世界数据集中的最先进的稀疏基线高0.86％。在线A/B测试表明，我们的模型还达到了有缺陷的冷启动广告的比例，并获得了令人满意的实时服务延迟。

We study the problem of efficient generative inference for Transformer models, in one of its most challenging settings: large deep models, with tight latency targets and long sequence lengths. Better understanding of the engineering tradeoffs for inference for large Transformer-based models is important as use cases of these models are growing rapidly throughout application areas. We develop a simple analytical model for inference efficiency to select the best multi-dimensional partitioning techniques optimized for TPU v4 slices based on the application requirements. We combine these with a suite of low-level optimizations to achieve a new Pareto frontier on the latency and model FLOPS utilization (MFU) tradeoffs on 500B+ parameter models that outperforms the FasterTransformer suite of benchmarks. We further show that with appropriate partitioning, the lower memory requirements of multiquery attention (i.e. multiple query heads share single key/value head) enables scaling up to 32x larger context lengths. Finally, we achieve a low-batch-size latency of 29ms per token during generation (using int8 weight quantization) and a 76% MFU during large-batch-size processing of input tokens, while supporting a long 2048-token context length on the PaLM 540B parameter model.

Designing accurate and efficient ConvNets for mobile devices is challenging because the design space is combinatorially large. Due to this, previous neural architecture search (NAS) methods are computationally expensive. ConvNet architecture optimality depends on factors such as input resolution and target devices. However, existing approaches are too resource demanding for case-by-case redesigns. Also, previous work focuses primarily on reducing FLOPs, but FLOP count does not always reflect actual latency. To address these, we propose a differentiable neural architecture search (DNAS) framework that uses gradient-based methods to optimize Con-vNet architectures, avoiding enumerating and training individual architectures separately as in previous methods. FBNets (Facebook-Berkeley-Nets), a family of models discovered by DNAS surpass state-of-the-art models both designed manually and generated automatically. FBNet-B achieves 74.1% top-1 accuracy on ImageNet with 295M FLOPs and 23.1 ms latency on a Samsung S8 phone, 2.4x smaller and 1.5x faster than MobileNetV2-1.3[17] with similar accuracy. Despite higher accuracy and lower latency than MnasNet[20], we estimate FBNet-B's search cost is 420x smaller than MnasNet's, at only 216 GPUhours. Searched for different resolutions and channel sizes, FBNets achieve 1.5% to 6.4% higher accuracy than Mo-bileNetV2. The smallest FBNet achieves 50.2% accuracy and 2.9 ms latency (345 frames per second) on a Samsung S8. Over a Samsung-optimized FBNet, the iPhone-Xoptimized model achieves a 1.4x speedup on an iPhone X. FBNet models are open-sourced at https://github. com/facebookresearch/mobile-vision. * Work done while interning at Facebook.… Figure 1. Differentiable neural architecture search (DNAS) for ConvNet design. DNAS explores a layer-wise space that each layer of a ConvNet can choose a different block. The search space is represented by a stochastic super net. The search process trains the stochastic super net using SGD to optimize the architecture distribution. Optimal architectures are sampled from the trained distribution. The latency of each operator is measured on target devices and used to compute the loss for the super net.

专家混合物（MOE）由于其成功提高了模型质量，特别是在变压器方面的成功而变得流行。通过向几个专家提供稀疏门的令牌，每个专家只包含完整模型的一部分，Moe将模型尺寸保持不变，并且显着降低了每次标记计算，从而有效地缩放神经网络。但是，我们发现，目前的联合训练专家和稀疏门的方法引入了对模型精度的负面影响，缩短了昂贵的大规模模型训练的效率。在这项工作中，我们提出了用于MOE训练的密集至稀疏的门（DTS-Gate）。具体而言，代替使用永久稀疏门，DTS-Gate开始作为向所有专家路由令牌的密集栅极开始，然后逐渐和自适应地成为稀疏，而路线较少到更少的专家。与DTS-Gate的Moe自然地通过培训所有专家训练专家和稀疏门的训练，然后学习稀疏门。实验表明，与GPT-MOE（1.5B）模型中的最先进的开关门相比，使用OpenWeBtext数据集（40GB），DTS-Gate可以获得2.0倍的加速以达到相同的验证困惑，如以及更高的拖鞋 - 效率为1.42倍的加速。

稀疏的专家模型是一个三十年来的概念，作为深度学习中流行的建筑。这类体系结构包括专家的混合物，交换变压器，路由网络，基础层等，所有这些都以一个统一的想法，即每个示例都由参数的一个子集进行。通过这样做，稀疏度将参数计数与每个示例的计算分解，从而允许使用极大但有效的模型。最终的模型显示了各种领域的显着改善，例如自然语言处理，计算机视觉和语音识别。我们回顾了稀疏专家模型的概念，提供了对常见算法的基本描述，将深度学习时代的进步进行上下文化，并通过突出未来工作的领域来结束。

Training large, deep neural networks to convergence can be prohibitively expensive. As a result, often only a small selection of popular, dense models are reused across different contexts and tasks. Increasingly, sparsely activated models, which seek to decouple model size from computation costs, are becoming an attractive alternative to dense models. Although more efficient in terms of quality and computation cost, sparse models remain data-hungry and costly to train from scratch in the large scale regime. In this work, we propose sparse upcycling -- a simple way to reuse sunk training costs by initializing a sparsely activated Mixture-of-Experts model from a dense checkpoint. We show that sparsely upcycled T5 Base, Large, and XL language models and Vision Transformer Base and Large models, respectively, significantly outperform their dense counterparts on SuperGLUE and ImageNet, using only ~50% of the initial dense pretraining sunk cost. The upcycled models also outperform sparse models trained from scratch on 100% of the initial dense pretraining computation budget.

The Transformer is an extremely powerful and prominent deep learning architecture. In this work, we challenge the commonly held belief in deep learning that going deeper is better, and show an alternative design approach that is building wider attention Transformers. We demonstrate that wide single layer Transformer models can compete with or outperform deeper ones in a variety of Natural Language Processing (NLP) tasks when both are trained from scratch. The impact of changing the model aspect ratio on Transformers is then studied systematically. This ratio balances the number of layers and the number of attention heads per layer while keeping the total number of attention heads and all other hyperparameters constant. On average, across 4 NLP tasks and 10 attention types, single layer wide models perform 0.3% better than their deep counterparts. We show an in-depth evaluation and demonstrate how wide models require a far smaller memory footprint and can run faster on commodity hardware, in addition, these wider models are also more interpretable. For example, a single layer Transformer on the IMDb byte level text classification has 3.1x faster inference latency on a CPU than its equally accurate deeper counterpart, and is half the size. We therefore put forward wider and shallower models as a viable and desirable alternative for small models on NLP tasks, and as an important area of research for domains beyond this.

针对变压器的神经体系结构搜索（NAS）已用于创建针对某些延迟约束的最新模型。在这项工作中，我们提出了更大，更快的速度，这是一种新颖的量化参数共享NAS，它为8位整数（INT8）量化变压器的架构。我们的结果表明，我们的方法能够产生胜过当前最新技术的BERT模型，即Autotinybert，我们测试了所有潜伏期目标，达到了2.68％的准确性增益。此外，尽管我们技术发现的模型的参数数量比float32的参数数量更大，但由于其参数为INT8，但它们的内存足迹大大较小。

专家（MOE）的稀疏混合物由于具有负担得起的计算开销而有希望的缩放能力，因此引起了极大的兴趣。 Moe将密集的层转换为稀疏的专家，并利用封闭式路由网络使专家有条件地激活。但是，随着专家的数量的增长，带有残酷参数的MOE会受到过度拟合和稀疏数据分配的影响。此类问题在数据有限的任务上尤为严重，因此阻碍了MOE模型通过扩展来提高性能的进度。在这项工作中，我们提出了专家群集的混合 - 一种通用方法，可以使专家层通过在路由阶段施加基于方差的约束来学习更多多样化和适当的知识。我们进一步提出了专门为专家集群结构设计的集群级专家辍学策略。我们的实验表明，MEEC可以提高机器翻译和自然语言理解任务的性能，并提高在有限数据下扩展专家的性能上限。我们还验证了MEEC在缓解过度拟合和稀疏数据分配中起积极的作用。

变压器模型已经取得了有希望的自然语言处理（NLP）任务，包括提取问题应答（QA）。 NLP任务中使用的通用变压器编码器在所有层中处理上下文段落中所有输入令牌的隐藏状态。但是，与序列分类等其他任务不同，应答所提出的问题不一定需要上下文段落中的所有令牌。在此动机之后，我们提出了薄块撇子，这将在更高的隐藏层中略微浏览不必要的上下文，以改善和加速变压器性能。块撇屏的关键概念是识别必须进一步处理的上下文，并且可以在推理期间早期安全地丢弃的语言。批判性地，我们发现这些信息可以充分地从变压器模型内的自我注意重量得出。我们进一步将对应于下层的不必要位置对应的隐藏状态，实现了显着的推理时间加速。令我们惊讶的是，我们观察到这种方式修剪的模型优于他们的全尺寸对应物。 Block-Skim在不同数据集上提高了QA模型的准确性，并在BERT-Base模型上实现了3次加速。

稀疏激活的变压器（例如专家的混合物（MOE））由于其极端的缩放能力而引起了极大的兴趣，这可以使模型大小的急剧增加而没有大幅增加计算成本。为了实现这一目标，MOE模型用变压器中的Experts子层取代了前馈子层，并使用门控网络将每个令牌路由到其指定的专家。由于对此类模型进行有效培训的共同实践需要在不同的机器上分发专家和代币，因此这种路由策略通常会产生巨大的跨机器通信成本，因为代币及其分配的专家可能居住在不同的机器中。在本文中，我们提出了\ emph {门控辍学}，它允许代币忽略门控网络并留在其本地机器，从而减少了交叉机器的通信。与传统辍学类似，我们还表明，门控辍学在训练过程中具有正规化效果，从而改善了概括性能。我们验证了对多语言机器翻译任务中门控辍学的有效性。我们的结果表明，门控辍学可改善具有更快的壁式时间收敛速率的最先进的MOE模型，并为各种模型尺寸和数据集提供更好的BLEU分数。

基于注意力的神经网络在许多AI任务中都普遍存在。尽管其出色的算法性能，但注意力机制和前馈网络（FFN）的使用仍需要过多的计算和内存资源，这通常会损害其硬件性能。尽管已经引入了各种稀疏变体，但大多数方法仅着重于缓解算法级别上的二次注意力缩放，而无需明确考虑将其方法映射到真实硬件设计上的效率。此外，大多数努力仅专注于注意机制或FFN，但没有共同优化这两个部分，导致当前的大多数设计在处理不同的输入长度时缺乏可扩展性。本文从硬件角度系统地考虑了不同变体中的稀疏模式。在算法级别上，我们提出了Fabnet，这是一种适合硬件的变体，它采用统一的蝴蝶稀疏模式来近似关注机制和FFN。在硬件级别上，提出了一种新颖的适应性蝴蝶加速器，可以在运行时通过专用硬件控件配置，以使用单个统一的硬件引擎加速不同的蝴蝶层。在远程 - ARENA数据集上，FabNet达到了与香草变压器相同的精度，同时将计算量减少10到66次，参数数量为2至22次。通过共同优化算法和硬件，我们的基于FPGA的蝴蝶加速器在归一化到同一计算预算的最新加速器上达到了14.2至23.2倍的速度。与Raspberry Pi 4和Jetson Nano上优化的CPU和GPU设计相比，我们的系统在相同的功率预算下的最大273.8和15.1倍。

Compared to conventional bilingual translation systems, massively multilingual machine translation is appealing because a single model can translate into multiple languages and benefit from knowledge transfer for low resource languages. On the other hand, massively multilingual models suffer from the curse of multilinguality, unless scaling their size massively, which increases their training and inference costs. Sparse Mixture-of-Experts models are a way to drastically increase model capacity without the need for a proportional amount of computing. The recently released NLLB-200 is an example of such a model. It covers 202 languages but requires at least four 32GB GPUs just for inference. In this work, we propose a pruning method that allows the removal of up to 80\% of experts with a negligible loss in translation quality, which makes it feasible to run the model on a single 32GB GPU. Further analysis suggests that our pruning metrics allow to identify language-specific experts and prune non-relevant experts for a given language pair.

近年来，Experts（MOE）的混合物已成为一种有前途的深度学习技术，可以将模型能力扩展为万亿多个参数，同时通过稀疏计算降低计算成本。虽然MoE开设了一个非常大的模型的新领域，但由于MOE的动态性质与系统的静态平行性/管道层之间的不匹配，因此其数以千计的GPU的实现受到限制。我们提出了Tutel，这是一种具有动态自适应并行性和管道的高度可扩展的堆栈设计和实现。 TUTEL在运行时提供自适应并行性切换和自适应管道，分别达到1.74倍和2.00倍的单MOE层加速度。我们还提出了一种用于MOE通信速度的新颖的二维层次结构算法，该算法的表现超过了2,048 GPU的先前最先前的最新时间。 Tutel汇总了所有技术，最终在16 GPU和2,048 GPU上分别提供了4.96倍和5.75倍的加速度，分别通过Fairseq：Meta的Facebook AI AI研究序列到序列工具Kit（Tutel（Tutel）（Tutel）（Tutel）（现在由Fairseq部分采用）。 Tutel源代码可在公共场所获得：https：//github.com/microsoft/tutel。我们的评估表明，Tutel有效，有效地运行了一个基于现实的MOE模型，名为Swinv2-Moe，建立在Swin Transformer V2上，这是一种最先进的计算机视觉体系结构。在效率方面，Tutel加速了Swinv2-MoE，在FairSeq的训练和推理中分别达到1.55倍和2.11倍的速度。关于有效性，SWINV2-MOE模型在预训练和下游计算机视觉任务（例如可可对象检测）方面都比对应的密度密度模型都达到了卓越的精度，这表明Tutel准备对端到端现实世界模型训练的准备就绪和推理。 Swinv2-Moe在https://github.com/microsoft/swin-transformer中开放。

The mixture of Expert (MoE) parallelism is a recent advancement that scales up the model size with constant computational cost. MoE selects different sets of parameters (i.e., experts) for each incoming token, resulting in a sparsely-activated model. Despite several successful applications of MoE, its training efficiency degrades significantly as the number of experts increases. The routing stage in MoE relies on the efficiency of the All2All communication collective, which suffers from network congestion and has poor scalability. To mitigate these issues, we introduce SMILE, which exploits heterogeneous network bandwidth and splits a single-step routing into bi-level routing. Our experimental results show that the proposed method obtains a 2.5x speedup over Switch Transformer in terms of pretraining throughput on the Colossal Clean Crawled Corpus without losing any convergence speed.

随着巨型密集模型的训练在当今硬件资源的可用性和能力方面达到了界限，由于其质量降低了大量培训成本，因此Experts（MOE）模型成为最有前途的模型体系结构之一等效密集模型。它的培训成本节省从编码器模型（先前的工作）展示到自动攻击性语言模型的5倍（这项工作以及并行探索）。但是，由于模型的规模和独特的架构，如何提供快速MOE模型推理仍然具有挑战性和未解决，从而限制了其实际用途。为了解决这个问题，我们提出了DeepSpeed-Moe，这是DeepSpeed库的一部分，包括新型MOE架构设计和模型压缩技术，将MOE模型大小降低到3.7倍，以及一个，以及一个与现有的MOE推理解决方案相比，高度优化的推理系统可提供7.3倍的延迟和成本。 DeepSpeed-Moe提供了前所未有的量表和效率，可与质量等效的密集模型相比，提供高达4.5倍和9倍的推理的大型MOE模型。我们希望我们的创新和系统有助于在大型模型景观中打开通往新方向的有前途的途径，从密集到稀疏的MOE模型转变，在这种模型中，培训和部署具有更少资源的更高质量模型变得更加广泛。

具有密集乘法的神经网络（NNS）（例如，卷积和变形金刚）具有饥饿的能力，阻碍了它们更广泛的部署到资源受限的设备中。因此，遵循节能硬件实施的共同实践的无乘法网络，以更有效的运算符（例如，位移位和加法）参数化NN，并引起了人们的关注。但是，从实现的准确性方面，无乘法网络的表现不足。为此，这项工作倡导混合NN，包括强大但昂贵的乘法和有效而强大的运营商来嫁给两全其美的运营商，并提出了ShiftAddnas，它们可以自动寻找更准确，更有效的NN。我们的ShiftAddnas突出了两个推动者。具体而言，它集成了（1）第一个混合搜索空间，该空间同时结合了基于乘法的和无乘法的运算符，以促进精确和有效的混合NNS的开发； （2）一种新型的重量共享策略，可以在遵循异质分布的不同操作员之间有效分享（例如，用于卷积的高斯与添加操作员的拉普拉斯人），并同时导致超级降低的超网尺寸和更好的搜索网络。对各种模型，数据集和任务的广泛实验和消融研究始终如一地验证了ShiftAddnas的功效，例如，与最先进的NN相比，获得的精度高达 +4.7％，或者+4.9更好的BLEU得分，而BLEU得分更好最多可提供93％或69％的能源和延迟节省。可以在https://github.com/rice-eic/shiftaddnas上获得代码和预估计的模型。