通过将退出层添加到深度学习网络中，早期出口可以通过准确的结果终止推理。是退出还是继续下一层的被动决策必须经过每个预位的退出层，直到其退出为止。此外，还很难在推理收益旁调整计算平台的配置。通过合并低成本预测引擎，我们为计算和节能深度学习应用提供了预测出口框架。预测出口可以预测网络将退出的位置（即，建立剩余层的数量以完成推理），这可以通过按时何时退出而无需运行每个预定位置的退出层来有效地降低网络计算成本。此外，根据剩余层的数量，选择了正确的计算配置（即频率和电压）以执行网络以进一步节省能源。广泛的实验结果表明，与经典的深度学习网络相比，预测性退出可实现多达96.2％的计算减少和72.9％的能量。与最先进的退出策略相比，与早期退出相比，降低了12.8％的计算和37.6％的能量，鉴于相同的推理准确性和潜伏期。

最近，使用卷积神经网络（CNNS）存在移动和嵌入式应用的爆炸性增长。为了减轻其过度的计算需求，开发人员传统上揭示了云卸载，突出了高基础设施成本以及对网络条件的强烈依赖。另一方面，强大的SOC的出现逐渐启用设备执行。尽管如此，低端和中层平台仍然努力充分运行最先进的CNN。在本文中，我们展示了Dyno，一种分布式推断框架，将两全其人的最佳框架结合起来解决了几个挑战，例如设备异质性，不同的带宽和多目标要求。启用这是其新的CNN特定数据包装方法，其在onloading计算时利用CNN的不同部分的精度需求的可变性以及其新颖的调度器，该调度器共同调谐分区点并在运行时传输数据精度适应其执行环境的推理。定量评估表明，Dyno优于当前最先进的，通过竞争对手的CNN卸载系统，在竞争对手的CNN卸载系统上提高吞吐量超过一个数量级，最高可达60倍的数据。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

随着人工智能（AI）的积极发展，基于深神经网络（DNN）的智能应用会改变人们的生活方式和生产效率。但是，从网络边缘生成的大量计算和数据成为主要的瓶颈，传统的基于云的计算模式无法满足实时处理任务的要求。为了解决上述问题，通过将AI模型训练和推理功能嵌入网络边缘，Edge Intelligence（EI）成为AI领域的尖端方向。此外，云，边缘和终端设备之间的协作DNN推断提供了一种有希望的方法来增强EI。然而，目前，以EI为导向的协作DNN推断仍处于早期阶段，缺乏对现有研究工作的系统分类和讨论。因此，我们已经对有关以EI为导向的协作DNN推断的最新研究进行了全面调查。在本文中，我们首先回顾了EI的背景和动机。然后，我们为EI分类了四个典型的DNN推理范例，并分析其特征和关键技术。最后，我们总结了协作DNN推断的当前挑战，讨论未来的发展趋势并提供未来的研究方向。

诸如智能手机和自治车辆的移动设备越来越依赖深神经网络（DNN）来执行复杂的推理任务，例如图像分类和语音识别等。但是，在移动设备上连续执行整个DNN可以快速消耗其电池。虽然任务卸载到云/边缘服务器可能会降低移动设备的计算负担，但信道质量，网络和边缘服务器负载中的不稳定模式可能导致任务执行的显着延迟。最近，已经提出了基于分割计算（SC）的方法，其中DNN被分成在移动设备上和边缘服务器上执行的头部和尾模型。最终，这可能会降低带宽使用以及能量消耗。另一种叫做早期退出（EE）的方法，列车模型在架构中呈现多个“退出”，每个都提供越来越高的目标准确性。因此，可以根据当前条件或应用需求进行准确性和延迟之间的权衡。在本文中，我们通过呈现最相关方法的比较，对SC和EE策略进行全面的综合调查。我们通过提供一系列引人注目的研究挑战来结束论文。

能量收集（EH）间歇性地运行的IOT设备，与深神经网络（DNN）的进步相结合，为实现可持续智能应用开辟了新的机会。然而，由于有限的资源和间歇电源导致频繁故障的挑战，实现了EH设备上的那些计算和内存密集型智能算法非常困难。为了解决这些挑战，本文提出了一种方法，使得具有用于微小能量收集装置的低能量加速器的超快速深度学习。我们首先提出了一种资源感知结构化DNN训练框架，它采用块循环矩阵与ADMM实现高压缩和模型量化，以利用各种矢量操作加速器的优点。然后提出了一种DNN实现方法，即采用低能量加速器来利用具有较小能耗的最大性能的低能量加速器。最后，我们进一步设计Flex，系统支持在能量收集情况下间歇性计算。来自三种不同DNN模型的实验结果表明RAD，ACE和FLEX可以对能源收集设备进行超快速和正确的推断，该设备可降低高达4.26倍的运行时间，高达7.7倍的能量降低，高精度在最高的状态下艺术。

已经提出了高效和自适应计算机视觉系统以使计算机视觉任务，例如图像分类和对象检测，针对嵌入或移动设备进行了优化。这些解决方案最近的起源，专注于通过设计具有近似旋钮的自适应系统来优化模型（深神经网络，DNN）或系统。尽管最近的几项努力，但我们表明现有解决方案遭受了两个主要缺点。首先，系统不考虑模型的能量消耗，同时在制定要运行的模型的决定时。其次，由于其他共同居民工作负载，评估不考虑设备上的争用的实际情况。在这项工作中，我们提出了一种高效和自适应的视频对象检测系统，这是联合优化的精度，能量效率和延迟。底层Virtuoso是一个多分支执行内核，它能够在精度 - 能量 - 延迟轴上的不同运行点处运行，以及轻量级运行时调度程序，以选择最佳的执行分支以满足用户要求。要与Virtuoso相当比较，我们基准于15件最先进的或广泛使用的协议，包括更快的R-CNN（FRCNN），YOLO V3，SSD，培训台，SELSA，MEGA，REPP，FastAdapt和我们的内部FRCNN +，YOLO +，SSD +和高效+（我们的变体具有增强的手机效率）的自适应变体。通过这种全面的基准，Virtuoso对所有上述协议显示出优势，在NVIDIA Jetson Mobile GPU上的每一项效率水平上引领精度边界。具体而言，Virtuoso的准确性为63.9％，比一些流行的物体检测模型高于10％，51.1％，yolo为49.5％。

通过利用数据示例多样性，早期的exit网络最近成为一种突出的神经网络体系结构，以加速深度学习推断过程。但是，早期出口的中间分类器会引入其他计算开销，这对于资源约束的边缘人工智能（AI）不利。在本文中，我们提出了一种早期退出预测机制，以减少由早期EXIT网络支持的设备边缘共同指导系统中的设备计算开销。具体而言，我们设计了一个低复杂性模块，即出口预测指标，以指导一些明显的“硬”样品以绕过早期出口的计算。此外，考虑到不同的通信带宽，我们扩展了潜伏期感知的边缘推理的提前退出预测机制，该机制通过一些简单的回归模型适应了出口预测变量的预测阈值和早期EXEST网络的置信阈值。广泛的实验结果证明了退出预测因子在早期EXIT网络的准确性和设备计算开销之间取得更好的权衡。此外，与基线方法相比，在不同的带宽条件下，提出的延迟感知边缘推理的方法可以达到更高的推理精度。

已知人体大脑能够通过更快的内存编码和在激活的神经元上访问程序来加速反复呈现对象的视觉识别。我们首次借用并将这种能力归入语义记忆设计，即SMTM，以改善设备上的CNN推断。 SMTM采用分层内存架构来利用感兴趣对象的长尾分布，并进一步融合了几种新颖的技术来将其放入效果：（1）它将高维特征映射到低维，语义向量中，用于低 - 成本准确的缓存和查找; （2）它使用一种小型度量来确定考虑不同层的固有特征的退出时间; （3）它自适应地调整缓存大小和语义向量以适应场景动态。 SMTM在商品CNN发动机上原型设计，并在移动CPU和GPU上运行。大规模数据集和模型的广泛实验表明，SMTM可以显着加快标准方法（最多2x）和先前缓存设计（高达1.5倍）的模型推断，可接受的精度损耗。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

本文介绍了AppeAlnet，一种新颖的边缘/云协同架构，其比最先进的解决方案更有效地运行深度学习（DL）任务。对于给定的输入，AppeAlnet无论是否可以通过部署在资源受限的边缘设备上的DL模型都可以成功地预测，如果没有，则吸引到云处部署的更强大的DL模型。这是通过采用双头神经网络架构来实现的，该架构明确地考虑了推论难度，并优化了边缘/云协同架构的准确性和计算/通信成本之间的权衡。与现有技术相比，若干图像分类数据集的实验结果显示出高达40％的能量节省，而不会牺牲精度。

最近，通过协作推断部署深神经网络（DNN）模型，该推断将预训练的模型分为两个部分，并分别在用户设备（UE）和Edge Server上执行它们，从而变得有吸引力。但是，DNN的大型中间特征会阻碍灵活的脱钩，现有方法要么集中在单个UE方案上，要么只是在考虑所需的CPU周期的情况下定义任务，但忽略了单个DNN层的不可分割性。在本文中，我们研究了多代理协作推理方案，其中单个边缘服务器协调了多个UES的推理。我们的目标是为所有UES实现快速和节能的推断。为了实现这一目标，我们首先设计了一种基于自动编码器的轻型方法，以压缩大型中间功能。然后，我们根据DNN的推理开销定义任务，并将问题作为马尔可夫决策过程（MDP）。最后，我们提出了一种多代理混合近端策略优化（MAHPPO）算法，以解决混合动作空间的优化问题。我们对不同类型的网络进行了广泛的实验，结果表明，我们的方法可以降低56％的推理潜伏期，并节省多达72 \％的能源消耗。

The recent breakthroughs in machine learning (ML) and deep learning (DL) have enabled many new capabilities across plenty of application domains. While most existing machine learning models require large memory and computing power, efforts have been made to deploy some models on resource-constrained devices as well. There are several systems that perform inference on the device, while direct training on the device still remains a challenge. On-device training, however, is attracting more and more interest because: (1) it enables training models on local data without needing to share data over the cloud, thus enabling privacy preserving computation by design; (2) models can be refined on devices to provide personalized services and cope with model drift in order to adapt to the changes of the real-world environment; and (3) it enables the deployment of models in remote, hardly accessible locations or places without stable internet connectivity. We summarize and analyze the-state-of-art systems research to provide the first survey of on-device training from a systems perspective.

最近，由于其优越的特征提取性能，深度神经网络（DNN）的应用在诸如计算机视觉（CV）和自然语言处理（NLP）之类的许多领域非常突出。但是，高维参数模型和大规模数学计算限制了执行效率，尤其是用于物联网（IoT）设备。与以前的云/边缘模式不同，为上行链路通信和仅用于设备的设备的巨大压力承担了无法实现的计算强度，我们突出了DNN模型的设备和边缘之间的协作计算，这可以实现良好的平衡通信负载和执行准确性。具体地，提出了一种系统的按需共引起框架来利用多分支结构，其中预先接受的alexNet通过\ emph {早期出口}右尺寸，并在中间DNN层划分。实施整数量化以进一步压缩传输位。结果，我们建立了一个新的深度加强学习（DRL）优化器 - 软演员 - 软件 - 软演员批评者，用于离散（SAC-D），它生成\ emph {退出点}，\ emph {partition point}，\ emph {压缩位通过软策略迭代。基于延迟和准确性意识奖励设计，这种优化器可以很好地适应动态无线信道等复杂环境和任意CPU处理，并且能够支持5G URLLC。 Raspberry PI 4和PC上的真实世界实验显示了所提出的解决方案的表现。

在物联网（IoT）支持的网络边缘（IOT）上的人工智能（AI）的最新进展已通过启用低延期性和计算效率来实现多种应用程序（例如智能农业，智能医院和智能工厂）的优势情报。但是，部署最先进的卷积神经网络（CNN），例如VGG-16和在资源约束的边缘设备上的重新连接，由于其大量参数和浮点操作（Flops），因此实际上是不可行的。因此，将网络修剪作为一种模型压缩的概念正在引起注意在低功率设备上加速CNN。结构化或非结构化的最先进的修剪方法都不认为卷积层表现出的复杂性的不同基本性质，并遵循训练放回训练的管道，从而导致其他计算开销。在这项工作中，我们通过利用CNN的固有层层级复杂性来提出一种新颖和计算高效的修剪管道。与典型的方法不同，我们提出的复杂性驱动算法根据其对整体网络复杂性的贡献选择了特定层用于滤波器。我们遵循一个直接训练修剪模型并避免计算复杂排名和微调步骤的过程。此外，我们定义了修剪的三种模式，即参数感知（PA），拖网（FA）和内存感知（MA），以引入CNN的多功能压缩。我们的结果表明，我们的方法在准确性和加速方面的竞争性能。最后，我们提出了不同资源和准确性之间的权衡取舍，这对于开发人员在资源受限的物联网环境中做出正确的决策可能会有所帮助。

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

基于惯性数据的人类活动识别（HAR）是从智能手机到超低功率传感器的嵌入式设备上越来越扩散的任务。由于深度学习模型的计算复杂性很高，因此大多数嵌入式HAR系统基于简单且不那么精确的经典机器学习算法。这项工作弥合了在设备上的HAR和深度学习之间的差距，提出了一组有效的一维卷积神经网络（CNN），可在通用微控制器（MCUS）上部署。我们的CNN获得了将超参数优化与子字节和混合精确量化的结合，以在分类结果和记忆职业之间找到良好的权衡。此外，我们还利用自适应推断作为正交优化，以根据处理后的输入来调整运行时的推理复杂性，从而产生更灵活的HAR系统。通过在四个数据集上进行实验，并针对超低功率RISC-V MCU，我们表明（i）我们能够为HAR获得一组丰富的帕累托（Pareto）最佳CNN，以范围超过1个数量级记忆，潜伏期和能耗； （ii）由于自适应推断，我们可以从单个CNN开始得出> 20个运行时操作模式，分类分数的不同程度高达10％，并且推理复杂性超过3倍，并且内存开销有限； （iii）在四个基准中的三个基准中，我们的表现都超过了所有以前的深度学习方法，将记忆占用率降低了100倍以上。获得更好性能（浅层和深度）的少数方法与MCU部署不兼容。 （iv）我们所有的CNN都与推理延迟<16ms的实时式evice Har兼容。他们的记忆职业在0.05-23.17 kb中有所不同，其能源消耗为0.005和61.59 UJ，可在较小的电池供应中进行多年的连续操作。

Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.

物联网设备越来越多地通过神经网络模型实施，以启用智能应用程序。从环境环境中收集能源的能源收集（EH）技术是电池可为这些设备供电的有前途的替代方法，因为维护成本较低和能源的广泛可用性。但是，能量收割机提供的功率很低，并且具有不稳定性的固有缺点，因为它随环境环境而变化。本文提出了EVE，EVE是一种自动化机器学习（AUTOML）共同探索框架，以搜索具有共享权重的所需的多模型，以进行能源收集的物联网设备。这些共享模型显着降低了记忆足迹，具有不同级别的模型稀疏性，延迟和准确性，以适应环境变化。进一步开发了有效的实施实施体系结构，以有效地执行设备上的每个模型。提出了一种运行时模型提取算法，该算法在触发特定模型模式时以可忽略的开销检索单个模型。实验结果表明，EVE生成的神经网络模型平均比没有修剪和共享的基线模型快2.5倍倍权重。