对深度学习的有效部署的强烈需求（DL）应用促使丰富的DL生态系统的快速发展。为了跟上其快速进步，对于DL框架来说至关重要，以有效地将各种优化的库和运行时作为其后端集成，并通过正确使用它们来生成最快的可执行文件。但是，当前的DL框架需要重大的手动努力来整合多样化的后果，并且通常无法提供高性能。在本文中，我们提出了一个用于集成DL后端的自动框架的拼贴画。拼贴提供后端注册界面，允许用户精确指定各个后端的功能。通过利用可用后端的规范，拼贴搜索给定工作负载和执行环境的优化后端放置。我们的评估表明，拼贴画在没有手动干预的情况下将多个后端集成在一起，并且分别在两个不同的NVIDIA GPU和英特尔CPU上以1.21倍，1.39倍，1.40倍的现有框架。

There is an increasing need to bring machine learning to a wide diversity of hardware devices. Current frameworks rely on vendor-specific operator libraries and optimize for a narrow range of server-class GPUs. Deploying workloads to new platforms -such as mobile phones, embedded devices, and accelerators (e.g., FPGAs, ASICs) -requires significant manual effort. We propose TVM, a compiler that exposes graph-level and operator-level optimizations to provide performance portability to deep learning workloads across diverse hardware back-ends. TVM solves optimization challenges specific to deep learning, such as high-level operator fusion, mapping to arbitrary hardware primitives, and memory latency hiding. It also automates optimization of low-level programs to hardware characteristics by employing a novel, learning-based cost modeling method for rapid exploration of code optimizations. Experimental results show that TVM delivers performance across hardware back-ends that are competitive with state-ofthe-art, hand-tuned libraries for low-power CPU, mobile GPU, and server-class GPUs. We also demonstrate TVM's ability to target new accelerator back-ends, such as the FPGA-based generic deep learning accelerator.The system is open sourced and in production use inside several major companies.

深度神经网络（DNN）已成为移动设备上许多主要应用的核心推动因素。为实现高精度，DNN模型越来越深，数百甚至数千个操作层，导致高记忆和推理的计算要求。操作员融合（或内核/层融合）是许多最先进的DNN执行框架中的关键优化，例如Tensorflow，TVM和MNN。然而，这些框架通常根据某些模式采用融合方法，这些模式过于限制，以涵盖运营商和层连接的多样性。另一方面，基于多面体的循环融合技术，在没有运营商级信息的情况下对计算的低级视图工作，并且也可能错过潜在的融合机会。为了解决这一挑战，本文提出了一种名为DNNFusion的新颖和广泛的环路融合框架。这项工作的基本思想是在DNN的操作员视图下工作，但通过开发个人运营商及其组合的分类来扩展融合机会。此外，DNNFusion包括1）基于新的基于数学 - 性能的图形重写框架，以降低评估成本，并促进后续操作员融合，2）一种集成的融合计划，利用高级分析和精确的轻量级分析，以及3 ）融合代码生成期间的附加优化。在15个DNN模型中广泛评估DNNFusion，具有各种任务，模型尺寸和图层计数。评估结果表明，DNNFusion最高达到8.8倍的融合机会，优于具有9.3倍的最先进的DNN执行框架。记忆要求减少和加速可以在移动设备上执行许多目标模型，甚至可以使它们成为实时应用程序的一部分。

深度学习的快速进步正在导致一系列快速变化的模型，对计算的需求急剧增长。但是，随着框架将性能优化专门针对流行网络的模式，它们隐含地限制了推动研究进展的新颖和多样化的模型。我们通过定义灵活和用户可定制的管道来优化基于数据运动最小化的任意深神经网络的培训来赋予深度学习研究人员的能力。管道始于Pytorch或ONNX中的标准网络，并通过逐步降低转换计算。我们定义了四个级别的通用转换级别，从局部操作员优化到全球数据运动减少。这些在以数据为中心的图形中间表示上运行，该表示在各个级别的抽象级别表达计算和数据移动，包括扩展基本运算符，例如其基础计算的卷积。设计的核心是管道的互动性和内省性质。每个部分都可以通过Python API扩展，并且可以使用GUI进行交互调整。我们在十个不同的网络上展示了竞争性能或加速性，交互式优化发现了高效网络中的新机会。

我们在这项工作中展示了内存密集型计算可能导致由于片上存储器访问和CPU-GPU上下文切换开销导致严重的性能问题，以及各种深度学习模型。对于此问题，当前立即（JIT）内核融合和代码生成技术具有局限性，例如粗融合计划探索策略和有限的代码生成能力。我们提出了FusionStecting，一个能够融合内存密集型运营商的深度学习编译器，具有各种数据依赖性和非同一性并行性，进入大型GPU内核，以减少全局内存访问和上下文切换开销。 FusionStecting通过引入中间值的数据重用来扩大融合可以超越先前JIT工作的操作组合范围。它探讨了大型融合空间，以便通过考虑内存访问成本，内核呼叫和资源使用约束来决定最佳融合计划。 FusionStecting通过有效地调整具有域特定成本模型的最佳拼接方案。实验结果表明，与现有技术相比，FusionStecting可以达到2.21倍的加速，平均为1.45倍。除了这些实验结果之外，我们还将我们的方法集成到编译器产品中，并将其部署到具有数千个GPU的AI工作负载的生产集群。该系统已运行超过4个月，平均节省了7,000 GPU小时，每月约有30,000个任务。

越来越多地用于优化深度神经网络（DNN）模型，以满足性能，资源利用和其他要求，越来越多地使用深入学习（DL）编译器（例如TVM和Tensorrt）。这些编译器中的错误可以产生优化的模型，其语义与原始模型不同，并产生不正确的结果，影响了下流应用程序的正确性。但是，由于其复杂性，在这些编译器中找到错误是具有挑战性的。在这项工作中，我们提出了一种新的模糊测试方法，用于在深入学习编译器中查找错误。我们的核心方法使用（i）轻重量操作员规范来生成多样化但有效的DNN模型，使我们能够行使编译器的大部分转换逻辑； （ii）基于梯度的搜索过程，用于查找模型输入，该过程避免在模型执行过程中避免任何浮点异常值，从而减少了错过错误或错误警报的机会； （iii）差异测试以识别错误。我们在NNSmith中实施了这种方法，该方法在过去的七个月中为TVM，Tensorrt，OnxRuntime和Pytorch发现了65个新错误。在这52个已得到证实，项目维护者已确定了44个。

TensorFlow is a machine learning system that operates at large scale and in heterogeneous environments. Tensor-Flow uses dataflow graphs to represent computation, shared state, and the operations that mutate that state. It maps the nodes of a dataflow graph across many machines in a cluster, and within a machine across multiple computational devices, including multicore CPUs, generalpurpose GPUs, and custom-designed ASICs known as Tensor Processing Units (TPUs). This architecture gives flexibility to the application developer: whereas in previous "parameter server" designs the management of shared state is built into the system, TensorFlow enables developers to experiment with novel optimizations and training algorithms. TensorFlow supports a variety of applications, with a focus on training and inference on deep neural networks. Several Google services use TensorFlow in production, we have released it as an open-source project, and it has become widely used for machine learning research. In this paper, we describe the TensorFlow dataflow model and demonstrate the compelling performance that Tensor-Flow achieves for several real-world applications.

由于它们在现实世界中的广泛采用，提高深神经网络（DNN）的运行时性能至关重要。现有的优化DNN的张量代数表达的方法仅考虑由固定的预定义运算符表示的表达式，在一般表达式之间缺少可能的优化机会。我们提出了Ollie，这是第一个基于衍生的张量程序优化器。 Ollie通过利用一般张量代数表达式之间的转换来优化张量程序，从而实现了一个更大的表达搜索空间，其中包括由先前工作作为特殊情况支持的搜索空间。 Ollie使用基于混合衍生的优化器，该优化器有效地结合了探索性和指导性推导，以快速发现高度优化的表达式。对七个DNN的评估表明，Ollie可以在A100 GPU上胜过2.73 $ \ times $（平均为1.46美元$ \ times $），在V100上最多可超过2.68 $ \ times $（1.51 $ \ times $） GPU分别。

对将AI功能从云上的数据中心转移到边缘或最终设备的需求越来越大，这是由在智能手机，AR/VR设备，自动驾驶汽车和各种汽车上运行的快速实时AI的应用程序举例说明的。物联网设备。然而，由于DNN计算需求与边缘或最终设备上的计算能力之间的较大增长差距，这种转变受到了严重的阻碍。本文介绍了XGEN的设计，这是DNN的优化框架，旨在弥合差距。 XGEN将横切共同设计作为其一阶考虑。它的全栈AI面向AI的优化包括在DNN软件堆栈的各个层的许多创新优化，所有这些优化都以合作的方式设计。独特的技术使XGEN能够优化各种DNN，包括具有极高深度的DNN（例如Bert，GPT，其他变形金刚），并生成代码比现有DNN框架中的代码快几倍，同时提供相同的准确性水平。

在过去十年中，已经开发出新的深度学习（DL）算法，工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步，DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化，特定于平台和不灵活的内核，或者在新颖的操作员的情况下，通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元（TPP），一个编程抽象，用于高效的DL工作负载的高效，便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员（或虚拟张量ISA），随后可以用作构建块，以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的，因此通过TPPS表示的代码是便携式的，而TPP实现是高度优化的，并且特定于平台。我们展示了我们使用独立内核和端到端DL＆HPC工作负载完全通过TPPS表达的方法的效力和生存性，这在多个平台上优于最先进的实现。

部署各种深度学习（DL）型号有效地推动了DL编译器的研究。生成优化的张量码的难度驱动DL编译器以询问自动调整方法，并且越来越多的需求需要增加自动调整效率和质量。目前，DL编译器将输入DL模型分区为几个子图，并利用自动调整以找到这些子图的最佳张量代码。然而，现有的自学方法通常将子图视为个体，并且在其上忽略了它们的相似性，因此在有限的时间预算下未能利用更好的张力代码。我们向DL编译器提出Familyseer，即使有限的时间预算也可以生成更好的张量码。 Familyseer利用子图之间的相似性，并且子图之间的差异可以将它们组织成示例家庭，其中调整一个子图也可以改善同一家庭内的其他子图。每个家庭的成本模型获得了更多由家庭产生的纯化培训样本，并更准确，以便通过成本模型用轻量级估计来替换真正硬件上的昂贵测量。我们的实验表明，FamilySeer可以比最先进的自动调整框架更有效地生成模型代码，比最先进的自动调整框架更有效。

随着机器学习系统的计算要求以及机器学习框架的规模和复杂性的增加，基本框架创新变得具有挑战性。尽管计算需求驱动了最近的编译器，网络和硬件的进步，但通过机器学习工具对这些进步的利用却以较慢的速度发生。这部分是由于与现有框架原型制作新的计算范式有关的困难。大型框架将机器学习研究人员和从业人员作为最终用户的优先级优先，并且很少关注能够向前推动框架的系统研究人员 - 我们认为两者都是同等重要的利益相关者。我们介绍了手电筒，这是一个开源库，旨在通过优先考虑开放式，模块化，可定制的内部设备以及最新的，可用于研究的模型和培训设置，以刺激机器学习工具和系统的创新。手电筒使系统研究人员能够快速原型并尝试机器学习计算中的新思想，并且开销低，与其他流行的机器学习框架竞争并经常超过其他流行的机器学习框架。我们将手电筒视为一种工具，可以使可以使广泛使用的图书馆受益，并使机器学习和系统研究人员更加紧密地结合在一起。手电筒可从https://github.com/flashlight/flashlight获得。

稀疏的张量正在迅速成为现代深度学习工作负载的关键组成部分。但是，开发高性能的稀疏运营商可能很困难和乏味，现有的供应商库无法满足新运营商的不断升级要求。稀疏张量编译器简化了操作员的开发，但是对深度学习的有效稀疏编译仍然具有挑战性，因为单个稀疏格式无法最大程度地提高硬件效率，并且单次弹出编译器无法跟上最新的硬件和系统进步。我们表明，解决这两个挑战的关键是两种合成性。在本文中，我们提出了SparSetir，这是一种稀疏的张张汇编抽象，可为深度学习工作负载提供可合理的格式和可组合的转换。 Sparsetir在这些可组合组件上构建一个搜索空间，以进行性能调整。通过这些改进，SparSetir获得了单个操作员的GPU上的一致性能加速与供应商库：GNN操作员的1.1-3.3倍，稀疏变压器操作员的1.1-4.4x。 Sparsetir还以1.1-2.2倍的速度加速了端到端GNN，用于图形训练，而RGCN推断为0.9-26x。

深度神经网络（DNN）模型和数据集的快速增长大小引起了各种分布策略，如数据，张量模型，管道并行和其混合组合。这些策略中的每一个都提供自己的权衡，并在不同的模型和硬件拓扑上展示最佳性能。选择给定设置的最佳策略集是具有挑战性的，因为搜索空间组合增长，并且在群集上调试和测试昂贵。在这项工作中，我们提出了DISTIR，对于分布式DNN计算，这是针对有效分析而定制的分布式DNN计算的表达中间表示，例如模拟。这使得能够自动识别顶级执行策略，而无需在物理硬件上执行。与事先工作不同，Distir自然可以表达许多分发策略，包括管道并行性，具有任意时间表。我们对MLP培训和GPT-2推理模型的评估演示了DISTIR及其模拟器启用快速网格在跨越1000多种配置的复杂分配空间上搜索，以某些制度的数量级递减优化时间。

ALPA通过生成统一数据，操作员和管道并行性的执行计划来自动对大型深度学习（DL）模型的模型平行训练。现有的模型并行训练系统要求用户手动创建并行化计划，或者自动从有限的模型并行性配置中生成一个计划。它们不足以在分布式计算设备上扩展复杂的DL模型。 ALPA通过将并行性视为两个层次级别来分配大型DL模型的训练：操作员和操作员并行性。基于它，ALPA构建了一个新的分层空间，用于大规模的模型并行执行计划。 ALPA设计了许多汇编，以在每个并行性级别自动得出有效的并行执行计划。 ALPA实现了有效的运行时，以在分布式计算设备上协调两级并行执行。我们的评估表明，ALPA生成的并行化计划，即使在其设计的型号上，也可以匹配或超过手动模型并联训练系统。与专业系统不同，ALPA还推广到具有异质体系结构和模型的模型，而没有手动设计的计划。 ALPA的源代码可在https://github.com/alpa-projects/alpa上公开获得

深度学习框架和硬件平台的蓬勃发展一直在要求一个有效的编译器，该编译器可以掩盖软件和硬件的多样性，以便提供应用程序可移植性。在现有的深度学习编译器中，TVM以其在各种硬件设备之间的代码生成和优化方面的效率而闻名。同时，Sunway多核处理器将其作为竞争性候选人，因为其在科学计算和深度学习工作负载中都有吸引力的计算能力。本文结合了这两个方向的趋势。具体来说，我们提出了SWTVM，该SWTVM扩展了原始TVM，以提前支持架构，以进行跨补偿，例如Sunway。此外，我们利用汇编过程中的体系结构特征，例如用于大规模并行性的核心组，用于高带宽内存传输的DMA和局部设备存储器的数据区域，以生成有效的代码，以在Sunway上进行深度学习工作负载。实验结果表明，与六个代表性基准相比，SWTVM生成的代码平均达到1.79倍。这项工作是从编译器角度进行的首次尝试，以弥合深度学习和Sunway处理器的差距，尤其是在生产力和效率方面。我们认为，这项工作将鼓励更多的人拥抱深度学习和Sunway多核处理器的力量。

变形金刚是今天最重要的机器学习工作负载之一。培训是一个非常计算密集的任务，通常需要几天或几周，并且对优化变压器进行了重大关注。尽管如此，现有的实现不会有效地利用GPU。我们发现数据移动是培训时的关键瓶颈。由于Amdahl的法律和大规模改进的计算性能，培训现已成为记忆束缚。此外，现有框架使用次优数据布局。使用这些洞察力，我们提供了一个用于全局优化变压器数据移动的配方。我们将数据移动降低到22.91％，总体上实现了在训练伯特编码器层和1.19x的整个伯特的最先进框架上的1.30倍的性能改进。我们的方法更广泛地适用于优化深神经网络，并深入了解如何解决新兴的性能瓶颈。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

分布式培训已成为培训大型神经网络（NN）模型的普遍性和有效的方法，该模型加工大规模数据。然而，满足来自各种NN模型，多样化计算资源的要求以及在培训工作期间的动态变化是非常挑战的。在这项研究中，我们在系统的端到端视图中设计了我们的分布式训练框架，以提供不同场景的内置自适应能力，特别是对于工业应用和生产环境，通过完全考虑资源分配，模型分区，任务放置和分布式执行。基于统一的分布式图和统一群集对象，我们的自适应框架配备了全球成本模型和全局计划者，可以实现任意并行，资源感知的放置，多模式执行，容错和弹性分布式。训练。实验表明，我们的框架可以满足应用程序的多样性和资源的异质性满足各种要求和具有竞争力的性能。具有260亿参数的Ernie语言模型在数千个AI处理器上有效地培训，可扩展性较弱的91.7％。通过采用异质管道异步执行，从推荐系统的模型的吞吐量可以分别增加到2.1倍，仅增加了GPU和CPU培训的3.3倍。此外，容错和弹性分布式培训已成功应用于在线工业应用，这减少了长期培训工作的数量，增加了34.49％，并在全球调度效率增加了33.91％生产环境。

近来增加大型机器学习模型的趋势需要分发培训和推理任务。考虑到培训这些模型的巨大成本，必须在计算和沟通中解锁优化以获得最佳性能。然而，深入学习框架中的计算和通信内核之间的当前逻辑分离遍及此类障碍的优化机会。通过整体考虑破坏此抽象可以提供许多优化，以提供分布式工作负载中的性能改进。手动应用这些优化需要在每个场景中的底层计算和通信库中的修改，这是耗时和容易出错的。因此，我们呈现Coconet，用DSL表达具有计算和通信的程序。 Coconet包含几种机器学习感知转换，以优化程序和编译器以生成高性能内核。作为第一类构造的计算和通信允许用户在高级抽象上工作，并应用强大的优化，例如融合或传播和计算重叠。 Coconet使我们能够以几行代码在大型语言模型中优化数据，模型和管道平行工作负载。实验显示椰子显着优于最先进的分布式机器学习实现。