部署各种深度学习（DL）型号有效地推动了DL编译器的研究。生成优化的张量码的难度驱动DL编译器以询问自动调整方法，并且越来越多的需求需要增加自动调整效率和质量。目前，DL编译器将输入DL模型分区为几个子图，并利用自动调整以找到这些子图的最佳张量代码。然而，现有的自学方法通常将子图视为个体，并且在其上忽略了它们的相似性，因此在有限的时间预算下未能利用更好的张力代码。我们向DL编译器提出Familyseer，即使有限的时间预算也可以生成更好的张量码。 Familyseer利用子图之间的相似性，并且子图之间的差异可以将它们组织成示例家庭，其中调整一个子图也可以改善同一家庭内的其他子图。每个家庭的成本模型获得了更多由家庭产生的纯化培训样本，并更准确，以便通过成本模型用轻量级估计来替换真正硬件上的昂贵测量。我们的实验表明，FamilySeer可以比最先进的自动调整框架更有效地生成模型代码，比最先进的自动调整框架更有效。

There is an increasing need to bring machine learning to a wide diversity of hardware devices. Current frameworks rely on vendor-specific operator libraries and optimize for a narrow range of server-class GPUs. Deploying workloads to new platforms -such as mobile phones, embedded devices, and accelerators (e.g., FPGAs, ASICs) -requires significant manual effort. We propose TVM, a compiler that exposes graph-level and operator-level optimizations to provide performance portability to deep learning workloads across diverse hardware back-ends. TVM solves optimization challenges specific to deep learning, such as high-level operator fusion, mapping to arbitrary hardware primitives, and memory latency hiding. It also automates optimization of low-level programs to hardware characteristics by employing a novel, learning-based cost modeling method for rapid exploration of code optimizations. Experimental results show that TVM delivers performance across hardware back-ends that are competitive with state-ofthe-art, hand-tuned libraries for low-power CPU, mobile GPU, and server-class GPUs. We also demonstrate TVM's ability to target new accelerator back-ends, such as the FPGA-based generic deep learning accelerator.The system is open sourced and in production use inside several major companies.

Tensor program tuning is a non-convex objective optimization problem, to which search-based approaches have proven to be effective. At the core of the search-based approaches lies the design of the cost model. Though deep learning-based cost models perform significantly better than other methods, they still fall short and suffer from the following problems. First, their feature extraction heavily relies on expert-level domain knowledge in hardware architectures. Even so, the extracted features are often unsatisfactory and require separate considerations for CPUs and GPUs. Second, a cost model trained on one hardware platform usually performs poorly on another, a problem we call cross-hardware unavailability. In order to address these problems, we propose TLP and MTLTLP. TLP is a deep learning-based cost model that facilitates tensor program tuning. Instead of extracting features from the tensor program itself, TLP extracts features from the schedule primitives. We treat schedule primitives as tensor languages. TLP is thus a Tensor Language Processing task. In this way, the task of predicting the tensor program latency through the cost model is transformed into a natural language processing (NLP) regression task. MTL-TLP combines Multi-Task Learning and TLP to cope with the cross-hardware unavailability problem. We incorporate these techniques into the Ansor framework and conduct detailed experiments. Results show that TLP can speed up the average search time by 9.1X and 3.0X on CPU and GPU workloads, respectively, compared to the state-of-the-art implementation. MTL-TLP can achieve a speed-up of 4.7X and 2.9X on CPU and GPU workloads, respectively, using only 7% of the target hardware data.

越来越需要在各种新的硬件平台上为不同任务部署机器学习。这样的部署场景需要应对多个挑战，包括确定可以实现合适的预测准确性（体系结构搜索）的模型体系结构，并找到有效的模型实施，以满足基础硬件特定的系统约束，例如延迟（系统优化搜索）。现有作品将架构搜索和系统优化搜索视为单独的问题，并将其顺序解决。在本文中，我们建议共同解决这些问题，并引入一种简单但有效的基线方法，称为Sonar，该方法交织了这两个搜索问题。 Sonar的目标是通过将早期停止应用于两个搜索过程来有效地优化预测准确性和推理潜伏期。我们对多个不同硬件后端的实验表明，Sonar识别出几乎最佳体系结构的速度比蛮力方法快30倍。

深度学习框架和硬件平台的蓬勃发展一直在要求一个有效的编译器，该编译器可以掩盖软件和硬件的多样性，以便提供应用程序可移植性。在现有的深度学习编译器中，TVM以其在各种硬件设备之间的代码生成和优化方面的效率而闻名。同时，Sunway多核处理器将其作为竞争性候选人，因为其在科学计算和深度学习工作负载中都有吸引力的计算能力。本文结合了这两个方向的趋势。具体来说，我们提出了SWTVM，该SWTVM扩展了原始TVM，以提前支持架构，以进行跨补偿，例如Sunway。此外，我们利用汇编过程中的体系结构特征，例如用于大规模并行性的核心组，用于高带宽内存传输的DMA和局部设备存储器的数据区域，以生成有效的代码，以在Sunway上进行深度学习工作负载。实验结果表明，与六个代表性基准相比，SWTVM生成的代码平均达到1.79倍。这项工作是从编译器角度进行的首次尝试，以弥合深度学习和Sunway处理器的差距，尤其是在生产力和效率方面。我们认为，这项工作将鼓励更多的人拥抱深度学习和Sunway多核处理器的力量。

对深度学习的有效部署的强烈需求（DL）应用促使丰富的DL生态系统的快速发展。为了跟上其快速进步，对于DL框架来说至关重要，以有效地将各种优化的库和运行时作为其后端集成，并通过正确使用它们来生成最快的可执行文件。但是，当前的DL框架需要重大的手动努力来整合多样化的后果，并且通常无法提供高性能。在本文中，我们提出了一个用于集成DL后端的自动框架的拼贴画。拼贴提供后端注册界面，允许用户精确指定各个后端的功能。通过利用可用后端的规范，拼贴搜索给定工作负载和执行环境的优化后端放置。我们的评估表明，拼贴画在没有手动干预的情况下将多个后端集成在一起，并且分别在两个不同的NVIDIA GPU和英特尔CPU上以1.21倍，1.39倍，1.40倍的现有框架。

我们在这项工作中展示了内存密集型计算可能导致由于片上存储器访问和CPU-GPU上下文切换开销导致严重的性能问题，以及各种深度学习模型。对于此问题，当前立即（JIT）内核融合和代码生成技术具有局限性，例如粗融合计划探索策略和有限的代码生成能力。我们提出了FusionStecting，一个能够融合内存密集型运营商的深度学习编译器，具有各种数据依赖性和非同一性并行性，进入大型GPU内核，以减少全局内存访问和上下文切换开销。 FusionStecting通过引入中间值的数据重用来扩大融合可以超越先前JIT工作的操作组合范围。它探讨了大型融合空间，以便通过考虑内存访问成本，内核呼叫和资源使用约束来决定最佳融合计划。 FusionStecting通过有效地调整具有域特定成本模型的最佳拼接方案。实验结果表明，与现有技术相比，FusionStecting可以达到2.21倍的加速，平均为1.45倍。除了这些实验结果之外，我们还将我们的方法集成到编译器产品中，并将其部署到具有数千个GPU的AI工作负载的生产集群。该系统已运行超过4个月，平均节省了7,000 GPU小时，每月约有30,000个任务。

Traditional deep learning compilers rely on heuristics for subgraph generation, which impose extra constraints on graph optimization, e.g., each subgraph can only contain at most one complex operator. In this paper, we propose AGO, a framework for graph optimization with arbitrary structures to boost the inference performance of deep models by removing such constraints. To create new optimization opportunities for complicated subgraphs, we propose intensive operator fusion, which can effectively stitch multiple complex operators together for better performance. Further, we design a graph partitioning scheme that allows an arbitrary structure for each subgraph while guaranteeing the acyclic property among all generated subgraphs. Additionally, to enable efficient performance tuning on complicated subgraphs, we devise a novel divide-and-conquer tuning mechanism to orchestrate different system components. Through extensive experiments on various neural networks and mobile devices, we show that our system can improve the inference performance by up to 3.3x when compared with state-of-the-art deep compilers.

张量程序的自动安排是一个过程，搜索算法自动探索了目标硬件平台上给定程序的候选时间表（程序转换）以提高其性能。但是，这可能是一个非常耗时的过程，具体取决于张量程序的复杂性和目标设备的容量，通常会探索成千上万的程序变体。为了解决这个问题，在本文中，我们介绍了转移调整的想法，一种新颖的方法来识别和重用张量程序之间的自动安排。我们使用深度神经网络（DNN）演示了这一概念，从预先调整的DNN中采取了一组自动安排，并使用它们来减少新DNN的推理时间。我们将转移调整与最先进的ANSOR自动安装程序进行了比较，将给定DNN模型的最大速度定义为Ansor使用其建议的完整调整时间来实现的目标。在服务器级CPU上以及在11种广泛使用的DNN型号上，我们观察到，转移调整可达到$ 88.41 \％$（$ 49.13 \％\％\％$）的最大速度，而ANSOR则需要$ 6.5 \ tims $ $ $ $ $ $平均与之匹配。我们还评估了在受约束的边缘CPU上进行转移调节，并观察到搜索时间的差异会加剧，Ansor需要$ 10.8 \ times $ $ $ $ $ $，以匹配转移调整的速度，这进一步证明了其价值。我们的代码可从https://www.github.com/giclab/transfer-tuning获得

基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模，预处理基础模型始终耗时。除了计算密集型外，培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性，该平行性整合数据并行性，管道模型并行性和张量模型并行性，以实现高训练效率。为了实现这一目标，开发了一些自定义软件框架，例如Megatron-LM和DeepSpeed。但是，当前的3D平行框架仍然符合两个问题：i）它们对模型开发人员不透明，这些开发人员需要手动修改模型以并行化培训。 ii）它们对计算，GPU存储器和网络带宽的利用不足。我们提出了Merak，这是一个自动化的3D并行性深度学习培训框架，并具有高度资源利用。 Merak会自动使用自动模型分区仪部署，该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API，用于通过最小的代码修改来扩展基础模型培训。此外，我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源，包括移动的关键路径管道时间表，该计划带来了更高的计算利用率，阶段感知的重新计算，可利用空闲工作者的记忆以及子额定张量的模型并行性，这些模型并联与通信和计算重叠。 64 GPU的实验显示，Merak可以加快在最新的3D平行性框架上，具有1.5、2.5、8.3和20亿的模型框架，最高可达1.42x，1.39x，1.43x和1.61 x分别。

深度神经网络（DNN）已成为移动设备上许多主要应用的核心推动因素。为实现高精度，DNN模型越来越深，数百甚至数千个操作层，导致高记忆和推理的计算要求。操作员融合（或内核/层融合）是许多最先进的DNN执行框架中的关键优化，例如Tensorflow，TVM和MNN。然而，这些框架通常根据某些模式采用融合方法，这些模式过于限制，以涵盖运营商和层连接的多样性。另一方面，基于多面体的循环融合技术，在没有运营商级信息的情况下对计算的低级视图工作，并且也可能错过潜在的融合机会。为了解决这一挑战，本文提出了一种名为DNNFusion的新颖和广泛的环路融合框架。这项工作的基本思想是在DNN的操作员视图下工作，但通过开发个人运营商及其组合的分类来扩展融合机会。此外，DNNFusion包括1）基于新的基于数学 - 性能的图形重写框架，以降低评估成本，并促进后续操作员融合，2）一种集成的融合计划，利用高级分析和精确的轻量级分析，以及3 ）融合代码生成期间的附加优化。在15个DNN模型中广泛评估DNNFusion，具有各种任务，模型尺寸和图层计数。评估结果表明，DNNFusion最高达到8.8倍的融合机会，优于具有9.3倍的最先进的DNN执行框架。记忆要求减少和加速可以在移动设备上执行许多目标模型，甚至可以使它们成为实时应用程序的一部分。

由于它们在现实世界中的广泛采用，提高深神经网络（DNN）的运行时性能至关重要。现有的优化DNN的张量代数表达的方法仅考虑由固定的预定义运算符表示的表达式，在一般表达式之间缺少可能的优化机会。我们提出了Ollie，这是第一个基于衍生的张量程序优化器。 Ollie通过利用一般张量代数表达式之间的转换来优化张量程序，从而实现了一个更大的表达搜索空间，其中包括由先前工作作为特殊情况支持的搜索空间。 Ollie使用基于混合衍生的优化器，该优化器有效地结合了探索性和指导性推导，以快速发现高度优化的表达式。对七个DNN的评估表明，Ollie可以在A100 GPU上胜过2.73 $ \ times $（平均为1.46美元$ \ times $），在V100上最多可超过2.68 $ \ times $（1.51 $ \ times $） GPU分别。

In the past few years, neural architecture search (NAS) has become an increasingly important tool within the deep learning community. Despite the many recent successes of NAS, however, most existing approaches operate within highly structured design spaces, and hence explore only a small fraction of the full search space of neural architectures while also requiring significant manual effort from domain experts. In this work, we develop techniques that enable efficient NAS in a significantly larger design space. To accomplish this, we propose to perform NAS in an abstract search space of program properties. Our key insights are as follows: (1) the abstract search space is significantly smaller than the original search space, and (2) architectures with similar program properties also have similar performance; thus, we can search more efficiently in the abstract search space. To enable this approach, we also propose a novel efficient synthesis procedure, which accepts a set of promising program properties, and returns a satisfying neural architecture. We implement our approach, $\alpha$NAS, within an evolutionary framework, where the mutations are guided by the program properties. Starting with a ResNet-34 model, $\alpha$NAS produces a model with slightly improved accuracy on CIFAR-10 but 96% fewer parameters. On ImageNet, $\alpha$NAS is able to improve over Vision Transformer (30% fewer FLOPS and parameters), ResNet-50 (23% fewer FLOPS, 14% fewer parameters), and EfficientNet (7% fewer FLOPS and parameters) without any degradation in accuracy.

如今，DNN在边缘设备上无处不在。随着其重要性和用例的越来越重要，它不太可能将所有DNN包装到设备内存中，并期望每个推断都被加热。因此，寒冷的推断，读取，初始化和执行DNN模型的过程变得司空见惯，并且迫切要求优化其性能。为此，我们提出了NNV12，这是第一个为冷推理NNV12优化的设备推理引擎是在3个新颖的优化旋钮上构建的：为每个DNN操作员选择适当的内核（实现），绕过权重转换过程，以缓存该帖子。 - 在磁盘上转移权重，并在不对称处理器上进行了许多核的管道执行。为了解决巨大的搜索空间，NNV12采用了基于启发式的计划来获得近乎最佳的内核计划计划。我们完全实施了NNV12的原型，并在广泛的实验中评估了其性能。它表明，与Edge CPU和GPU上的最先进的DNN发动机相比，NNV12的达到15.2倍和401.5倍。

TensorFlow is a machine learning system that operates at large scale and in heterogeneous environments. Tensor-Flow uses dataflow graphs to represent computation, shared state, and the operations that mutate that state. It maps the nodes of a dataflow graph across many machines in a cluster, and within a machine across multiple computational devices, including multicore CPUs, generalpurpose GPUs, and custom-designed ASICs known as Tensor Processing Units (TPUs). This architecture gives flexibility to the application developer: whereas in previous "parameter server" designs the management of shared state is built into the system, TensorFlow enables developers to experiment with novel optimizations and training algorithms. TensorFlow supports a variety of applications, with a focus on training and inference on deep neural networks. Several Google services use TensorFlow in production, we have released it as an open-source project, and it has become widely used for machine learning research. In this paper, we describe the TensorFlow dataflow model and demonstrate the compelling performance that Tensor-Flow achieves for several real-world applications.

移动设备用于各种目的，例如图像分类和语音识别。由于移动设备的资源限制，研究人员专注于使用模型修剪或使用编译器优化生成有效代码的轻质深神经网络（DNN）模型。令人惊讶的是，我们发现模型压缩和编译器自动调整之间的直接集成通常不会为目标设备产生最有效的模型。我们提出了Cprune，这是一种编译器信息修剪，以进行有效的目标感知DNN执行，以支持具有所需目标准确性的应用程序。Cprune通过在编译器调整过程中构建的子图的结构信息来制作轻巧的DNN模型。我们的实验结果表明，与最先进的TVM自动调节相比，CPRUNE将DNN的执行速度提高到2.73倍，同时满足准确性要求。

图形神经网络（GNNS）将深度神经网络（DNN）的成功扩展到非欧几里德图数据，实现了各种任务的接地性能，例如节点分类和图形属性预测。尽管如此，现有系统效率低，培训数十亿节点和GPU的节点和边缘训练大图。主要瓶颈是准备GPU数据的过程 - 子图采样和特征检索。本文提出了一个分布式GNN培训系统的BGL，旨在解决一些关键思想的瓶颈。首先，我们提出了一种动态缓存引擎，以最小化特征检索流量。通过协同设计缓存政策和抽样顺序，我们发现低开销和高缓存命中率的精美斑点。其次，我们改善了曲线图分区算法，以减少子图采样期间的交叉分区通信。最后，仔细资源隔离减少了不同数据预处理阶段之间的争用。关于各种GNN模型和大图数据集的广泛实验表明，BGL平均明显优于现有的GNN训练系统20.68倍。

深度学习的快速进步正在导致一系列快速变化的模型，对计算的需求急剧增长。但是，随着框架将性能优化专门针对流行网络的模式，它们隐含地限制了推动研究进展的新颖和多样化的模型。我们通过定义灵活和用户可定制的管道来优化基于数据运动最小化的任意深神经网络的培训来赋予深度学习研究人员的能力。管道始于Pytorch或ONNX中的标准网络，并通过逐步降低转换计算。我们定义了四个级别的通用转换级别，从局部操作员优化到全球数据运动减少。这些在以数据为中心的图形中间表示上运行，该表示在各个级别的抽象级别表达计算和数据移动，包括扩展基本运算符，例如其基础计算的卷积。设计的核心是管道的互动性和内省性质。每个部分都可以通过Python API扩展，并且可以使用GUI进行交互调整。我们在十个不同的网络上展示了竞争性能或加速性，交互式优化发现了高效网络中的新机会。

基于变压器的神经模型在许多AI应用中使用。培训这些模型很昂贵，因为它需要大量的GPU资源和较长的持续时间。这是具有挑战性的，因为诸如句子之类的典型数据具有可变的长度，而变压器的计算模式比卷积神经网络更为复杂。现有系统要么仅专注于模型推理，要么仅针对BERT样编码器模型进行优化。在本文中，我们提出了LightSeq2，该系统是为GPU上的一般变压器模型加速培训的系统。我们提出了一系列针对变压器模型的特定计算流量和内存访问模式量身定制的GPU优化技术。 LightSeq2支持许多模型体系结构，包括BERT（仅编码），GPT（仅解码器），变压器（编码器编码器）和视觉变压器。我们对各种模型和基准测试的实验表明，LightSeq2始终比不同GPU上的先前系统更快（1.4-3.5倍）。特别是，与大型公共机器翻译基准（WMT14英语 - 德国人）上的现有系统相比，它获得了308％的培训速度。

图形神经网络（GNN）已被证明是分析非欧国人图数据的强大工具。但是，缺乏有效的分布图学习（GL）系统极大地阻碍了GNN的应用，尤其是当图形大且GNN相对深时。本文中，我们提出了GraphTheta，这是一种以顶点为中心的图形编程模型实现的新颖分布式和可扩展的GL系统。 GraphTheta是第一个基于分布式图处理的GL系统，其神经网络运算符以用户定义的功能实现。该系统支持多种培训策略，并在分布式（虚拟）机器上启用高度可扩展的大图学习。为了促进图形卷积实现，GraphTheta提出了一个名为NN-Tgar的新的GL抽象，以弥合图形处理和图形深度学习之间的差距。提出了分布式图引擎，以通过混合平行执行进行随机梯度下降优化。此外，除了全球批次和迷你批次外，我们还为新的集群批次培训策略提供了支持。我们使用许多网络大小的数据集评估GraphTheta，范围从小，适度到大规模。实验结果表明，GraphTheta可以很好地扩展到1,024名工人，用于培训内部开发的GNN，该工业尺度的Aripay数据集为14亿个节点和41亿个属性边缘，并带有CPU虚拟机（Dockers）群的小群。 （5 $ \ sim $ 12GB）。此外，GraphTheta比最先进的GNN实现获得了可比或更好的预测结果，证明其学习GNN和现有框架的能力，并且可以超过多达$ 2.02 \ tims $ $ 2.02 \ times $，具有更好的可扩展性。据我们所知，这项工作介绍了文献中最大的边缘属性GNN学习任务。