受益于扩大云基础设施，今天深度神经网络（DNN）在云中培训时具有越来越高的性能。研究人员花了几个月的努力，竞争额外的模型精度百分比。但是，当这些模型实际上在实践中部署在边缘设备上时，通常情况可能会突然下降超过10％而无明显原因。关键挑战是，在边缘设备上对ML推理执行并不多的可见性，并且在边缘部署过程中对潜在问题的认识很少。我们呈现ml-exray，一个端到端的框架，它提供了ML执行的层级细节的可见性，并帮助开发人员分析和调试云到边缘部署问题。更常见的是，子最佳边缘性能的原因不仅可以在模型本身中介绍，而是在整个数据流和部署过程中的每一个操作。评估显示ML-EXRARE可以有效地捕获部署问题，例如使用ML-EXRARE的预处理错误，量化问题，次优内核等，用户需要写入不到15行代码以完全检查边缘部署管道。消除这些问题，ML-EXRARE可以通过最多30％的模型性能，Pinpoint忽略层，指导用户通过两个数量级来优化内核执行延迟。代码和API将被释放为开源多语言仪表库和Python部署验证库。

机器学习传感器代表了嵌入式机器学习应用程序未来的范式转移。当前的嵌入式机器学习（ML）实例化遭受了复杂的整合，缺乏模块化以及数据流动的隐私和安全问题。本文提出了一个以数据为中心的范式，用于将传感器智能嵌入边缘设备上，以应对这些挑战。我们对“传感器2.0”的愿景需要将传感器输入数据和ML处理从硬件级别隔离到更广泛的系统，并提供一个薄的界面，以模拟传统传感器的功能。这种分离导致模块化且易于使用的ML传感器设备。我们讨论了将ML处理构建到嵌入式系统上控制微处理器的软件堆栈中的标准方法所带来的挑战，以及ML传感器的模块化如何减轻这些问题。 ML传感器提高了隐私和准确性，同时使系统构建者更容易将ML集成到其产品中，以简单的组件。我们提供了预期的ML传感器和说明性数据表的例子，以表现出来，并希望这将建立对话使我们朝着传感器2.0迈进。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

本文介绍了有关如何架构，设计和优化深神经网络（DNN）的最新概述，以提高性能并保留准确性。该论文涵盖了一组跨越整个机器学习处理管道的优化。我们介绍两种类型的优化。第一个改变了DNN模型，需要重新训练，而第二个则不训练。我们专注于GPU优化，但我们认为提供的技术可以与其他AI推理平台一起使用。为了展示DNN模型优化，我们在流行的Edge AI推理平台（Nvidia Jetson Agx Xavier）上改善了光流的最先进的深层网络体系结构之一，RAFT ARXIV：2003.12039。

The rising popularity of intelligent mobile devices and the daunting computational cost of deep learning-based models call for efficient and accurate on-device inference schemes. We propose a quantization scheme that allows inference to be carried out using integer-only arithmetic, which can be implemented more efficiently than floating point inference on commonly available integer-only hardware. We also co-design a training procedure to preserve end-to-end model accuracy post quantization. As a result, the proposed quantization scheme improves the tradeoff between accuracy and on-device latency. The improvements are significant even on MobileNets, a model family known for run-time efficiency, and are demonstrated in ImageNet classification and COCO detection on popular CPUs.

With the increased usage of AI accelerators on mobile and edge devices, on-device machine learning (ML) is gaining popularity. Thousands of proprietary ML models are being deployed today on billions of untrusted devices. This raises serious security concerns about model privacy. However, protecting model privacy without losing access to the untrusted AI accelerators is a challenging problem. In this paper, we present a novel on-device model inference system, ShadowNet. ShadowNet protects the model privacy with Trusted Execution Environment (TEE) while securely outsourcing the heavy linear layers of the model to the untrusted hardware accelerators. ShadowNet achieves this by transforming the weights of the linear layers before outsourcing them and restoring the results inside the TEE. The non-linear layers are also kept secure inside the TEE. ShadowNet's design ensures efficient transformation of the weights and the subsequent restoration of the results. We build a ShadowNet prototype based on TensorFlow Lite and evaluate it on five popular CNNs, namely, MobileNet, ResNet-44, MiniVGG, ResNet-404, and YOLOv4-tiny. Our evaluation shows that ShadowNet achieves strong security guarantees with reasonable performance, offering a practical solution for secure on-device model inference.

近年来，在移动设备上部署深度学习（DL）一直是一个显着的趋势。为了支持对开发DL的快速推断，DL库作为算法和硬件扮演着至关重要的角色。不幸的是，先前的工作从未深入现代DL Libs的生态系统，并为其性能提供定量结果。在本文中，我们首先建立了一个全面的基准，其中包括6个代表性DL LIB和15种多元化的DL模型。然后，我们在10个移动设备上进行了广泛的实验，这有助于揭示当前移动DL LIBS生态系统的完整景观。例如，我们发现表现最佳的DL LIB在不同的模型和硬件中严重碎片，这些DL Libs之间的差距可能相当巨大。实际上，DL LIB的影响会淹没算法或硬件的优化，例如模型量化和基于GPU/DSP的异质计算。最后，在观察结果上，我们总结了对DL Lib生态系统中不同角色的实际意义。

机器学习的进步为低端互联网节点（例如微控制器）带来了新的机会，将情报带入了情报。传统的机器学习部署具有较高的记忆力，并计算足迹阻碍了其在超资源约束的微控制器上的直接部署。本文强调了为MicroController类设备启用机载机器学习的独特要求。研究人员为资源有限的应用程序使用专门的模型开发工作流程，以确保计算和延迟预算在设备限制之内，同时仍保持所需的性能。我们表征了微控制器类设备的机器学习模型开发的广泛适用的闭环工作流程，并表明几类应用程序采用了它的特定实例。我们通过展示多种用例，将定性和数值见解介绍到模型开发的不同阶段。最后，我们确定了开放的研究挑战和未解决的问题，要求仔细考虑前进。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

如今，DNN在边缘设备上无处不在。随着其重要性和用例的越来越重要，它不太可能将所有DNN包装到设备内存中，并期望每个推断都被加热。因此，寒冷的推断，读取，初始化和执行DNN模型的过程变得司空见惯，并且迫切要求优化其性能。为此，我们提出了NNV12，这是第一个为冷推理NNV12优化的设备推理引擎是在3个新颖的优化旋钮上构建的：为每个DNN操作员选择适当的内核（实现），绕过权重转换过程，以缓存该帖子。 - 在磁盘上转移权重，并在不对称处理器上进行了许多核的管道执行。为了解决巨大的搜索空间，NNV12采用了基于启发式的计划来获得近乎最佳的内核计划计划。我们完全实施了NNV12的原型，并在广泛的实验中评估了其性能。它表明，与Edge CPU和GPU上的最先进的DNN发动机相比，NNV12的达到15.2倍和401.5倍。

随着社会越来越多的机器学习（ML）和深度学习（DL）进行各种智能解决方案，它将在普通开发实践和资源下规范ML / DL型号的ML / DL型号的常见措施变得越来越迫切。人们可以在共同的地面上基准和比较模型质量和性能。 MLCommons最近出现了来自工业和学术界的推动力，以协调这种努力。尽管其广泛采用作为标准化基准，但MLCommons推断只包括有限数量的ML / DL模型（实际上总共七种型号）。这显着限制了MLCommons推论的基准测试结果的一般性，因为研究界有更多的新颖ML / DL模型，解决了不同输入和输出方式的广泛问题。为了解决这种限制，我们提出了MLHARNESS，用于MLCommons推断的可扩展基准线束系统，具有三种独特的特点：（1）它根据MLCommons推理定义的标准基准过程，包括模型，数据集，DL框架和软件和硬件系统; （2）它为模型开发人员提供了一种简单且声明的方法，使其模型和数据集贡献到MLCommons推断; （3）它包括具有不同输入/输出模态的各种模型的支持，以便我们可以在不同的数据集，框架和硬件系统上缩放这些模型。该线束系统是在MLModelscope系统的顶部开发的，并将开放到社区。我们的实验结果表明，对于MLCommons推理基准测试，这种线束系统的卓越灵活性和可扩展性。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

最近，使用卷积神经网络（CNNS）存在移动和嵌入式应用的爆炸性增长。为了减轻其过度的计算需求，开发人员传统上揭示了云卸载，突出了高基础设施成本以及对网络条件的强烈依赖。另一方面，强大的SOC的出现逐渐启用设备执行。尽管如此，低端和中层平台仍然努力充分运行最先进的CNN。在本文中，我们展示了Dyno，一种分布式推断框架，将两全其人的最佳框架结合起来解决了几个挑战，例如设备异质性，不同的带宽和多目标要求。启用这是其新的CNN特定数据包装方法，其在onloading计算时利用CNN的不同部分的精度需求的可变性以及其新颖的调度器，该调度器共同调谐分区点并在运行时传输数据精度适应其执行环境的推理。定量评估表明，Dyno优于当前最先进的，通过竞争对手的CNN卸载系统，在竞争对手的CNN卸载系统上提高吞吐量超过一个数量级，最高可达60倍的数据。

深度学习一直是近来最具破坏性的技术进步之一。深度学习模型的高性能以高度计算，存储和功率要求为代价。感知到加速和压缩这些模型以提高设备性能的直接需求，我们引入了Deeplite Neutrino，以便对模型的生产优化和Deeplite运行时进行介绍，以在基于ARM的平台上部署超低位量化模型。我们为ARMV7和ARMV8架构实施低级量化内核，可在32位和64位基于ARM的设备上进行部署。通过使用矢量化，并行化和平铺的有效实现，与具有XNNPACK后端的TensorFlow Lite相比，我们在分类和检测模型上分别实现了高达2倍和2.2倍的速度。与ONNX运行时相比，我们还获得了高达5倍和3.2倍的显着加速，分别用于分类和检测模型。

自然语言处理（NLP）推论正在看到移动应用程序的采用量增加，在此，对于至关重要的保留用户数据隐私和避免网络往返的推论是必需的。然而，NLP模型的前所未有的大小强调了延迟和内存，这是移动设备的两个关键资源。为了满足目标延迟，将整个模型保存在内存中会尽快启动执行，但将一个应用程序的内存足迹增加了几次，将其收益限制为仅在被移动内存管理回收之前的一些推论。另一方面，从存储按需加载模型会导致几秒钟的io长，远远超过了用户满足的延迟范围；由于IO和计算延迟之间的偏斜度很大，因此管道层的模型加载和执行也不会隐藏IO。为此，我们提出了Speedy Transformer推断（STI）。 STI建立在模型最重要的部分上最大化IO/计算资源利用率的关键思想，通过两种新颖的技术来调和延迟/记忆张力。首先，模型碎片。 STI将模型参数视为独立可调的碎片，并介绍了其对准确性的重要性。其次，带有预紧缓冲液的弹性管道计划。 STI实例化IO/计算管道，并使用一个小的缓冲区进行预加载碎片来进行引导执行，而不会在早期阶段停滞不前；它根据资源弹性执行的重要性明智地选择，调音和汇编碎片，从而最大程度地提高推理精度。在两个商品SoC上，我们在实用的目标潜伏期以及CPU和GPU上建立了STI并根据广泛的NLP任务进行评估。我们证明，STI提供高精度的高度较低的记忆级，表现优于竞争基准。

随着机器学习系统的计算要求以及机器学习框架的规模和复杂性的增加，基本框架创新变得具有挑战性。尽管计算需求驱动了最近的编译器，网络和硬件的进步，但通过机器学习工具对这些进步的利用却以较慢的速度发生。这部分是由于与现有框架原型制作新的计算范式有关的困难。大型框架将机器学习研究人员和从业人员作为最终用户的优先级优先，并且很少关注能够向前推动框架的系统研究人员 - 我们认为两者都是同等重要的利益相关者。我们介绍了手电筒，这是一个开源库，旨在通过优先考虑开放式，模块化，可定制的内部设备以及最新的，可用于研究的模型和培训设置，以刺激机器学习工具和系统的创新。手电筒使系统研究人员能够快速原型并尝试机器学习计算中的新思想，并且开销低，与其他流行的机器学习框架竞争并经常超过其他流行的机器学习框架。我们将手电筒视为一种工具，可以使可以使广泛使用的图书馆受益，并使机器学习和系统研究人员更加紧密地结合在一起。手电筒可从https://github.com/flashlight/flashlight获得。

我们展示了CFU Playground，这是一个全堆栈的开源框架，可实现用于嵌入式ML系统的机器学习（ML）加速器的快速和迭代设计。我们的工具链紧紧集成开源软件，RTL发电机和FPGA工具，用于综合，地点和路线。此全堆栈开发框架为工程师提供了访问探索定制架构，这些架构是为嵌入式ML定制和共同优化的。快速，部署型材优化反馈循环让ML硬件和软件开发人员在对定制方面相对较小的投资中取得重大回报。使用CFU Playground的设计循环，我们在CPU和加速器之间显示了大量的Speedups（55x-75x）和设计空间探索。

In recent years, image and video delivery systems have begun integrating deep learning super-resolution (SR) approaches, leveraging their unprecedented visual enhancement capabilities while reducing reliance on networking conditions. Nevertheless, deploying these solutions on mobile devices still remains an active challenge as SR models are excessively demanding with respect to workload and memory footprint. Despite recent progress on on-device SR frameworks, existing systems either penalize visual quality, lead to excessive energy consumption or make inefficient use of the available resources. This work presents NAWQ-SR, a novel framework for the efficient on-device execution of SR models. Through a novel hybrid-precision quantization technique and a runtime neural image codec, NAWQ-SR exploits the multi-precision capabilities of modern mobile NPUs in order to minimize latency, while meeting user-specified quality constraints. Moreover, NAWQ-SR selectively adapts the arithmetic precision at run time to equip the SR DNN's layers with wider representational power, improving visual quality beyond what was previously possible on NPUs. Altogether, NAWQ-SR achieves an average speedup of 7.9x, 3x and 1.91x over the state-of-the-art on-device SR systems that use heterogeneous processors (MobiSR), CPU (SplitSR) and NPU (XLSR), respectively. Furthermore, NAWQ-SR delivers an average of 3.2x speedup and 0.39 dB higher PSNR over status-quo INT8 NPU designs, but most importantly mitigates the negative effects of quantization on visual quality, setting a new state-of-the-art in the attainable quality of NPU-based SR.

如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。

机器学习中的隐私和安全挑战（ML）已成为ML普遍的开发以及最近对大型攻击表面的展示，已成为一个关键的话题。作为一种成熟的以系统为导向的方法，在学术界和行业中越来越多地使用机密计算来改善各种ML场景的隐私和安全性。在本文中，我们将基于机密计算辅助的ML安全性和隐私技术的发现系统化，以提供i）保密保证和ii）完整性保证。我们进一步确定了关键挑战，并提供有关ML用例现有可信赖的执行环境（TEE）系统中限制的专门分析。我们讨论了潜在的工作，包括基础隐私定义，分区的ML执行，针对ML的专用发球台设计，TEE Awawe Aware ML和ML Full Pipeline保证。这些潜在的解决方案可以帮助实现强大的TEE ML，以保证无需引入计算和系统成本。