We study a novel and important communication pattern in large-scale model-parallel deep learning (DL), which we call cross-mesh resharding. This pattern emerges when the two paradigms of model parallelism - intra-operator and inter-operator parallelism - are combined to support large models on large clusters. In cross-mesh resharding, a sharded tensor needs to be sent from a source device mesh to a destination device mesh, on which the tensor may be distributed with the same or different layouts. We formalize this as a many-to-many multicast communication problem, and show that existing approaches either are sub-optimal or do not generalize to different network topologies or tensor layouts, which result from different model architectures and parallelism strategies. We then propose two contributions to address cross-mesh resharding: an efficient broadcast-based communication system, and an "overlapping-friendly" pipeline schedule. On microbenchmarks, our overall system outperforms existing ones by up to 10x across various tensor and mesh layouts. On end-to-end training of two large models, GPT-3 and U-Transformer, we improve throughput by 10% and 50%, respectively.

ALPA通过生成统一数据，操作员和管道并行性的执行计划来自动对大型深度学习（DL）模型的模型平行训练。现有的模型并行训练系统要求用户手动创建并行化计划，或者自动从有限的模型并行性配置中生成一个计划。它们不足以在分布式计算设备上扩展复杂的DL模型。 ALPA通过将并行性视为两个层次级别来分配大型DL模型的训练：操作员和操作员并行性。基于它，ALPA构建了一个新的分层空间，用于大规模的模型并行执行计划。 ALPA设计了许多汇编，以在每个并行性级别自动得出有效的并行执行计划。 ALPA实现了有效的运行时，以在分布式计算设备上协调两级并行执行。我们的评估表明，ALPA生成的并行化计划，即使在其设计的型号上，也可以匹配或超过手动模型并联训练系统。与专业系统不同，ALPA还推广到具有异质体系结构和模型的模型，而没有手动设计的计划。 ALPA的源代码可在https://github.com/alpa-projects/alpa上公开获得

近来增加大型机器学习模型的趋势需要分发培训和推理任务。考虑到培训这些模型的巨大成本，必须在计算和沟通中解锁优化以获得最佳性能。然而，深入学习框架中的计算和通信内核之间的当前逻辑分离遍及此类障碍的优化机会。通过整体考虑破坏此抽象可以提供许多优化，以提供分布式工作负载中的性能改进。手动应用这些优化需要在每个场景中的底层计算和通信库中的修改，这是耗时和容易出错的。因此，我们呈现Coconet，用DSL表达具有计算和通信的程序。 Coconet包含几种机器学习感知转换，以优化程序和编译器以生成高性能内核。作为第一类构造的计算和通信允许用户在高级抽象上工作，并应用强大的优化，例如融合或传播和计算重叠。 Coconet使我们能够以几行代码在大型语言模型中优化数据，模型和管道平行工作负载。实验显示椰子显着优于最先进的分布式机器学习实现。

随着深度学习模型的速度较大，需要进行大型型号培训的系统级解决方案。我们展示了Amazon Sagemaker模型并行性，这是一个与Pytorch集成的软件库，并且可以使用模型并行性和其他内存节省功能轻松培训大型模型。与现有解决方案相比，Sagemaker库的实现更通用，灵活，因为它可以自动分区和运行具有最小代码的任意模型架构上的管道并行性，并且还为张量并行度提供一般和可扩展的框架，它支持更广泛的用例，并且可以轻松应用于新培训脚本的模块化。该库还将本机Pytorch用户体验保留到更大的程度，支持模块重复使用和动态图形，同时让用户完全控制训练步骤的细节。我们评估GPT-3，Roberta，BERT和神经协作过滤的性能，并表现出对现有解决方案的竞争性能。

我们呈现GSPMD，一种用于公共机器学习计算的自动，基于编译的并行化系统。它允许用户以与单个设备的方式相同的方式编写程序，然后通过关于如何分发Tensors的一些注释来提供提示，基于哪个GSPMD将并行化计算。其分区的表示简单尚不一般，允许它在各种模型上表达并行性的不同或混合范式。GSPMD基于有限的用户注释为每个运算符的分区Inventing，使得缩放现有的单设备程序方便。它解决了生产使用的几种技术挑战，允许GSPMD实现50％至62％的计算利用率，用于高达2048个云TPUv3核心，适用于高达1万亿参数的模型。

训练基金会模型（例如GPT-3和Palm）可能非常昂贵，通常涉及数以万计的GPU连续运行数月。这些模型通常经过专门的群集培训，这些群集具有快速，均匀的互连，并使用精心设计的软件系统来支持数据并行性和模型/管道并行性。这样的专用集群可能是昂贵且难以获得的。我们可以相反，可以利用更大量的分散，异质和较低的互连计算？先前的工作研究了可以纯粹以数据并行方式训练的相对较小模型的异质，分散的设置重点。模型平行基础模型培训（例如威震天）的最先进的方案仅考虑均匀的数据中心设置。在本文中，我们介绍了第一个研究大型基础模型的研究，该模型在异质网络上的去中心化制度中进行了模型并行性。我们的主要技术贡献是一种调度算法，该算法将不同的计算“任务”在培训基础模型中分配给通过缓慢的异质网络连接的一组分散的GPU设备。我们提供了正式的成本模型，并进一步提出了一种有效的进化算法，以找到最佳分配策略。我们进行了广泛的实验，这些实验代表了使用现实世界网络测量模拟的地理分布设备进行学习的不同方案。在最极端的情况下，在跨越3大洲的8个不同的城市中，我们的方法比以前的最新培训系统（Megatron）快4.8倍。

过去的几年见证了基于变压器的模型的成功，其规模和应用方案继续积极发展。变压器模型的当前景观越来越多样化：该模型大小差异很大，最大的参数是最大的。模型特性由于特征的混合物所引入的稀疏性而有所不同。目标应用程序方案可以是关键延迟或面向吞吐量的情况；部署硬件可以是具有不同类型的内存和存储等单身或多GPU系统。随着多样性的增加和变压器模型的快速发展速度，设计高性能和高效的推理系统非常具有挑战性。在本文中，我们提出了DeepSpeed推断，这是用于解决上述挑战的变压器模型推理的全面系统解决方案。深速推理包括（1）一种多GPU推理解决方案，可最大程度地减少潜伏度，同时最大化密集和稀疏变压器模型的吞吐量，当它们适合聚集的GPU内存时，以及（2）一种异质推理解决方案，该解决方案利用CPU和NVME内存中的CPU和NVME内存。除了GPU内存和计算以使高推理吞吐量具有不适合聚集GPU内存的大型推理吞吐量。对于面向延迟的方案，深速推理可将延迟降低到最新的7倍，而对于面向吞吐量的方案，延迟的潜伏期将延迟减少到1.5倍以上。此外，它通过利用数百个GPU来实现实时延迟约束下的参数量表推断，这是一个前所未有的推理。它可以比仅使用GPU的解决方案更大的25倍模型，同时提供84个TFLOPS（超过50美元的A6000峰值）。

Distributed deep learning (DDL) systems strongly depend on network performance. Current electronic packet switched (EPS) network architectures and technologies suffer from variable diameter topologies, low-bisection bandwidth and over-subscription affecting completion time of communication and collective operations. We introduce a near-exascale, full-bisection bandwidth, all-to-all, single-hop, all-optical network architecture with nanosecond reconfiguration called RAMP, which supports large-scale distributed and parallel computing systems (12.8~Tbps per node for up to 65,536 nodes). For the first time, a custom RAMP-x MPI strategy and a network transcoder is proposed to run MPI collective operations across the optical circuit switched (OCS) network in a schedule-less and contention-less manner. RAMP achieves 7.6-171$\times$ speed-up in completion time across all MPI operations compared to realistic EPS and OCS counterparts. It can also deliver a 1.3-16$\times$ and 7.8-58$\times$ reduction in Megatron and DLRM training time respectively} while offering 42-53$\times$ and 3.3-12.4$\times$ improvement in energy consumption and cost respectively.

在过去几年中，培训最先进的神经网络的记忆要求远远超过了现代硬件加速器的DRAM能力。这仍然需要开发有效的算法，并在大规模的基于GPU的集群上并行培训这些神经网络。由于在现代GPU上的计算相对便宜，因此在这些并行训练算法中设计和实现极其有效的通信对于提取最大性能至关重要。本文介绍了Axonn，一个并行深度学习框架，用于利用异步和消息驱动的执行来安排每个GPU上的神经网络操作，从而降低GPU空闲时间并最大限度地提高硬件效率。通过使用CPU存储器作为划痕空间来定期在训练期间定期卸载数据，AXONN能够将GPU存储器消耗降低四次。这使我们可以将每个GPU的参数数量增加四次，从而减少通信量并将性能提高超过13％。在48-384 NVIDIA TESLA V100 GPU的大型变压器模型上进行了12-100亿参数，Axonn实现了理论峰的49.4-54.78％的每GPU吞吐量，并将培训时间减少22-37天（15-25与最先进的加速度）。

大型ML型号和数据集已经需要使用多GPU系统进行分布式模型培训。为了利用多GPU系统提供的权力，消除GPU间通信中的瓶颈至关重要 - 互连异构性质的问题挑战。在这项工作中，我们呈现TACCL，这是用于大规模多GPU系统的集体通信原语的合成器。 TACCL将异形拓扑和输入大小进行编码为合成问题，以生成优化的通信算法。 TACCL建立在标准的NVIDIA集体通信库（NCCL）之上，允许它成为PYTORCH等框架中GPU通信的替代品，具有最小的变化。 TACCL为全球，AllToAll和ALLERDUCE等通信基元生成算法，该算法高达3美元的速度超过NCCL。使用TACCL的算法加快了专家模型内部混合物的端到端培训，以17 \％$。通过将优化问题分解成零件并利用多GPU拓扑中的对称性，TACCL在不到3分钟内合成高达80-GPU的集体，比其他基于综合的状态快至少两个数量级 - 艺术集体通信图书馆。

深度神经网络（DNN）模型和数据集的快速增长大小引起了各种分布策略，如数据，张量模型，管道并行和其混合组合。这些策略中的每一个都提供自己的权衡，并在不同的模型和硬件拓扑上展示最佳性能。选择给定设置的最佳策略集是具有挑战性的，因为搜索空间组合增长，并且在群集上调试和测试昂贵。在这项工作中，我们提出了DISTIR，对于分布式DNN计算，这是针对有效分析而定制的分布式DNN计算的表达中间表示，例如模拟。这使得能够自动识别顶级执行策略，而无需在物理硬件上执行。与事先工作不同，Distir自然可以表达许多分发策略，包括管道并行性，具有任意时间表。我们对MLP培训和GPT-2推理模型的评估演示了DISTIR及其模拟器启用快速网格在跨越1000多种配置的复杂分配空间上搜索，以某些制度的数量级递减优化时间。

分布式培训已成为培训大型神经网络（NN）模型的普遍性和有效的方法，该模型加工大规模数据。然而，满足来自各种NN模型，多样化计算资源的要求以及在培训工作期间的动态变化是非常挑战的。在这项研究中，我们在系统的端到端视图中设计了我们的分布式训练框架，以提供不同场景的内置自适应能力，特别是对于工业应用和生产环境，通过完全考虑资源分配，模型分区，任务放置和分布式执行。基于统一的分布式图和统一群集对象，我们的自适应框架配备了全球成本模型和全局计划者，可以实现任意并行，资源感知的放置，多模式执行，容错和弹性分布式。训练。实验表明，我们的框架可以满足应用程序的多样性和资源的异质性满足各种要求和具有竞争力的性能。具有260亿参数的Ernie语言模型在数千个AI处理器上有效地培训，可扩展性较弱的91.7％。通过采用异质管道异步执行，从推荐系统的模型的吞吐量可以分别增加到2.1倍，仅增加了GPU和CPU培训的3.3倍。此外，容错和弹性分布式培训已成功应用于在线工业应用，这减少了长期培训工作的数量，增加了34.49％，并在全球调度效率增加了33.91％生产环境。

许多微体系式优化为深度神经网络解锁了巨大的处理能力，从而促进了AI革命。随着这种优化的精疲力尽，现代AI的增长现在是通过培训系统的性能，尤其是其数据流动的。我们没有专注于单个加速器，而是研究了全系统规模的大规模培训的数据移动特征。基于我们的工作量分析，我们设计了HammingMesh，这是一种新颖的网络拓扑，以低成本提供高的带宽，并具有很高的工作计划灵活性。具体而言，HammingMesh可以支持具有两个并行性的两个维度的深度学习培训工作的完整带宽和隔离。此外，它还为通用流量的高全球带宽提供支持。因此，HammingMesh将为未来的大规模深度学习系统供电，并具有极端的带宽要求。

基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模，预处理基础模型始终耗时。除了计算密集型外，培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性，该平行性整合数据并行性，管道模型并行性和张量模型并行性，以实现高训练效率。为了实现这一目标，开发了一些自定义软件框架，例如Megatron-LM和DeepSpeed。但是，当前的3D平行框架仍然符合两个问题：i）它们对模型开发人员不透明，这些开发人员需要手动修改模型以并行化培训。 ii）它们对计算，GPU存储器和网络带宽的利用不足。我们提出了Merak，这是一个自动化的3D并行性深度学习培训框架，并具有高度资源利用。 Merak会自动使用自动模型分区仪部署，该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API，用于通过最小的代码修改来扩展基础模型培训。此外，我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源，包括移动的关键路径管道时间表，该计划带来了更高的计算利用率，阶段感知的重新计算，可利用空闲工作者的记忆以及子额定张量的模型并行性，这些模型并联与通信和计算重叠。 64 GPU的实验显示，Merak可以加快在最新的3D平行性框架上，具有1.5、2.5、8.3和20亿的模型框架，最高可达1.42x，1.39x，1.43x和1.61 x分别。

We study the problem of efficient generative inference for Transformer models, in one of its most challenging settings: large deep models, with tight latency targets and long sequence lengths. Better understanding of the engineering tradeoffs for inference for large Transformer-based models is important as use cases of these models are growing rapidly throughout application areas. We develop a simple analytical model for inference efficiency to select the best multi-dimensional partitioning techniques optimized for TPU v4 slices based on the application requirements. We combine these with a suite of low-level optimizations to achieve a new Pareto frontier on the latency and model FLOPS utilization (MFU) tradeoffs on 500B+ parameter models that outperforms the FasterTransformer suite of benchmarks. We further show that with appropriate partitioning, the lower memory requirements of multiquery attention (i.e. multiple query heads share single key/value head) enables scaling up to 32x larger context lengths. Finally, we achieve a low-batch-size latency of 29ms per token during generation (using int8 weight quantization) and a 76% MFU during large-batch-size processing of input tokens, while supporting a long 2048-token context length on the PaLM 540B parameter model.

Large deep learning models offer significant accuracy gains, but training billions to trillions of parameters is challenging. Existing solutions such as data and model parallelisms exhibit fundamental limitations to fit these models into limited device memory, while obtaining computation, communication and development efficiency. We develop a novel solution, Zero Redundancy Optimizer (ZeRO), to optimize memory, vastly improving training speed while increasing the model size that can be efficiently trained. ZeRO eliminates memory redundancies in data-and model-parallel training while retaining low communication volume and high computational granularity, allowing us to scale the model size proportional to the number of devices with sustained high efficiency. Our analysis on memory requirements and communication volume demonstrates: ZeRO has the potential to scale beyond 1 Trillion parameters using today's hardware.We implement and evaluate ZeRO: it trains large models of over 100B parameter with super-linear speedup on 400 GPUs, achieving throughput of 15 Petaflops. This represents an 8x increase in model size and 10x increase in achievable performance over state-of-the-art. In terms of usability, ZeRO can train large models of up to 13B parameters (e.g., larger than Megatron GPT 8.3B and T5 11B) without requiring model parallelism which is harder for scientists to apply. Last but not the least, researchers have used the system breakthroughs of ZeRO to create the world's largest language model (17B parameters) with record breaking accuracy.

分布式数据并行训练已被广泛用于深神经网络（DNN）模型。尽管当前的深度学习（DL）框架对于图像分类模型（例如图像分类模型）的密集模型很好地扩展了，但我们发现这些DL框架对于具有高度稀疏嵌入表的稀疏模型（NLP）模型（NLP）模型（NLP）模型具有相对较低的可扩展性。大多数现有作品忽略了模型参数的稀疏性，因此遭受了重要但不必要的沟通开销。在本文中，我们提出了Ablace，这是一个有效的沟通框架，以加快稀疏模型分布式培训的通信。 Embrace引入了稀疏感知的混合通信，将AlltoAll和模型并行置于数据并行训练中，以减少高度稀疏参数的交流开销。为了有效地重叠稀疏的通信与后向前和前向计算，采用进一步设计的2D通信调度方法，该方法优化了模型计算过程，放松嵌入式的依赖性，并计划以优先级的排队来安排每个嵌入行的稀疏通信。我们已经基于Pytorch和Horovod实施了Embrace的原型，并通过四个代表性的NLP模型进行了全面的评估。实验结果表明，与最先进的分布式训练基线相比，Embrace的速度高达2.41倍。

深度学习领域目睹了对极端计算和内存密集型神经网络的显着转变。这些较新的较大模型使研究人员能够推进各种领域的最先进的工具。这种现象刺激了在更多的硬件加速器上产生了针对神经网络的分布式训练的算法。在本文中，我们讨论并比较了当前的最先进的框架，以实现大规模的分布式深度学习。首先，我们调查分布式学习中的当前实践，并确定所使用的不同类型的并行性。然后，我们提出了对大型图像和语言培训任务的性能进行了经验结果。此外，我们解决了他们的统计效率和内存消耗行为。根据我们的结果，我们讨论了阻碍性能的每个框架的算法和实现部分。

分布式训练是通过将任务分配到多个NPU（例如GPU/TPU）来减少DNN训练时间的解决方案。但是，分布式培训增加了NPU之间的通信开销，以使梯度和/或激活同步，具体取决于并行化策略。在用于大规模培训的下一代平台中，NPU将通过具有多种多样的异质带宽的多维网络连接。这项工作确定了一个迫在眉睫的挑战，即如果我们利用日程安排技术来使整个系统进行集体沟通，使所有网络维度保持繁忙并最大化网络BW。我们提出了Themis，这是一种新颖的集体调度方案，该方案动态调度集体（分为块）以平衡各个维度的通信负载，从而进一步改善了网络BW利用率。我们的结果表明，平均而言，Themis可以将单个全减还器的网络BW利用提高1.72倍（2.70倍），并改善实际工作负载的端到端训练迭代迭代迭代迭代迭代性能，例如RESNET-152，GNMT ，DLRM和Transformer-1T分别为1.49倍（最大2.25倍），1.30倍（1.78倍），1.30x（最大1.77倍）和1.25X（最大1.53倍）。

We introduce Breadth-First Pipeline Parallelism, a novel training schedule which optimizes the combination of pipeline and data parallelism. Breadth-First Pipeline Parallelism lowers training time, cost and memory usage by combining a high GPU utilization with a small batch size per GPU, and by making use of fully sharded data parallelism. Experimentally, we observed increases of up to 53% in training speed.