由于现代嵌入式系统和具有受约束资源的移动设备的出现，对机器学习目的的令人难以置信的深度神经网络有很大的需求。当他们的数据处理并存储在外部服务器中，在进一步推动了对本地嵌入式系统的实时推断的需要开发这种有效的神经网络的需要时，对一般公众的隐私和保密性越来越关注。本文呈现的工作范围仅限于使用卷积神经网络的图像分类。卷积神经网络（CNN）是一类深神经网络（DNN）广泛用于通过图像传感器捕获的视觉图像的分析，旨在提取信息并将其转换为有意义的表示，以便输入数据的实时推断。在本文中，我们提出了一种深度卷积神经网络架构的近期变体来改善现有CNN架构对嵌入式系统的实时推断的性能。我们表明，与基线神经网络架构，CondenSenet，通过减少培训网络所需的培训参数和拖鞋，在维护培训的模型尺寸低于3.0 MB之间的平衡和准确性之间的平衡折衷导致前所未有的计算效率。

例如，具有内置处理器的智能边缘设备在功能和物理形式方面，以执行高级计算机视觉（CV）任务，例如图像分类和对象检测。随着自主汽车和无人机，嵌入式系统和移动设备领域的不断进展，对具有受约束计算资源的这些智能边缘设备的实时推断，对极其有效的人工神经网络（ANN）进行了不断增长的需求。在远程区域中具有不可靠的网络连接和数据传输的添加复杂性，最重要的是在本地捕获和处理数据，而不是将数据发送到云服务器以进行远程处理。另一方面，边缘设备由于其廉价的硬件而提供有限的处理能力，以及有限的冷却和计算资源。在本文中，我们提出了一种名为Effcnet的新型深度卷积神经网络架构，其是利用自查询数据增强和深度可分离的卷积策略来改善实时的边缘设备的改进和高效版本的CondenSenet卷积神经网络（CNN），以改善实时推理性能以及减少EffcNet CNN的最终培训的模型大小，可培训参数和浮点操作（拖翼）。此外，广泛的监督图像分类分析在两个基准数据集中进行：CIFAR-10和CIFAR-100，以验证我们提出的CNN的实时推理性能。最后，我们将这些训练有素的重量部署在NXP BlueBox上，这是一个专为自驾驶车辆和无人机设计的智能边缘开发平台，并且结论将是相应的推断。

Deploying convolutional neural networks (CNNs) on embedded devices is difficult due to the limited memory and computation resources. The redundancy in feature maps is an important characteristic of those successful CNNs, but has rarely been investigated in neural architecture design. This paper proposes a novel Ghost module to generate more feature maps from cheap operations. Based on a set of intrinsic feature maps, we apply a series of linear transformations with cheap cost to generate many ghost feature maps that could fully reveal information underlying intrinsic features. The proposed Ghost module can be taken as a plug-and-play component to upgrade existing convolutional neural networks. Ghost bottlenecks are designed to stack Ghost modules, and then the lightweight Ghost-Net can be easily established. Experiments conducted on benchmarks demonstrate that the proposed Ghost module is an impressive alternative of convolution layers in baseline models, and our GhostNet can achieve higher recognition performance (e.g. 75.7% top-1 accuracy) than MobileNetV3 with similar computational cost on the ImageNet ILSVRC-2012 classification dataset. Code is available at https: //github.com/huawei-noah/ghostnet.

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

我们日常生活中的深度学习是普遍存在的，包括自驾车，虚拟助理，社交网络服务，医疗服务，面部识别等，但是深度神经网络在训练和推理期间需要大量计算资源。该机器学习界主要集中在模型级优化（如深度学习模型的架构压缩），而系统社区则专注于实施级别优化。在其间，在算术界中提出了各种算术级优化技术。本文在模型，算术和实施级技术方面提供了关于资源有效的深度学习技术的调查，并确定了三种不同级别技术的资源有效的深度学习技术的研究差距。我们的调查基于我们的资源效率度量定义，阐明了较低级别技术的影响，并探讨了资源有效的深度学习研究的未来趋势。

我们提出了一种多移民通道（MGIC）方法，该方法可以解决参数数量相对于标准卷积神经网络（CNN）中的通道数的二次增长。因此，我们的方法解决了CNN中的冗余，这也被轻量级CNN的成功所揭示。轻巧的CNN可以达到与参数较少的标准CNN的可比精度。但是，权重的数量仍然随CNN的宽度四倍地缩放。我们的MGIC体系结构用MGIC对应物代替了每个CNN块，该块利用了小组大小的嵌套分组卷积的层次结构来解决此问题。因此，我们提出的架构相对于网络的宽度线性扩展，同时保留了通道的完整耦合，如标准CNN中。我们对图像分类，分割和点云分类进行的广泛实验表明，将此策略应用于Resnet和MobilenetV3等不同体系结构，可以减少参数的数量，同时获得相似或更好的准确性。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

近年来，深度神经网络在各种应用领域中都有广泛的成功。但是，它们需要重要的计算和内存资源，严重阻碍其部署，特别是在移动设备上或实时应用程序。神经网络通常涉及大量参数，该参数对应于网络的权重。在培训过程中获得的这种参数是用于网络性能的决定因素。但是，它们也非常冗余。修剪方法尤其试图通过识别和移除不相关的重量来减小参数集的大小。在本文中，我们研究了培训策略对修剪效率的影响。考虑和比较了两种培训方式：（1）微调和（2）从头开始。在四个数据集（CIFAR10，CiFAR100，SVHN和CALTECH101）上获得的实验结果和两个不同的CNNS（VGG16和MOBILENET）证明已经在大语料库（例如想象成）上预先培训的网络，然后进行微调特定数据集可以更有效地修剪（高达80％的参数减少），而不是从头开始培训的相同网络。

We introduce an extremely computation-efficient CNN architecture named ShuffleNet, which is designed specially for mobile devices with very limited computing power (e.g., 10-150 MFLOPs). The new architecture utilizes two new operations, pointwise group convolution and channel shuffle, to greatly reduce computation cost while maintaining accuracy. Experiments on ImageNet classification and MS COCO object detection demonstrate the superior performance of ShuffleNet over other structures, e.g. lower top-1 error (absolute 7.8%) than recent MobileNet [12] on Ima-geNet classification task, under the computation budget of 40 MFLOPs. On an ARM-based mobile device, ShuffleNet achieves ∼13× actual speedup over AlexNet while maintaining comparable accuracy.

由于稀疏神经网络通常包含许多零权重，因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此，设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中，我们提出了一种新的自动修剪方法 - 稀疏连接学习（SCL）。具体地，重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此，由二进制掩模完全描述网络连接，其由单位步进函数调制。理论上，从理论上证明了使用直通估计器（STE）进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的，确保掩模变量在其最小值处收敛。在找到泄漏的Relu后，SoftPlus和Identity Stes可以满足这个原理，我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡，因此，我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码，我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数，因此在更大的假设空间中探讨了网络，以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明，SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性，精度和减少脚波特的SOTA人类设计和自动修剪方法训练。

随着计算机愿景任务中的神经网络的不断发展，越来越多的网络架构取得了突出的成功。作为最先进的神经网络架构之一，DenSenet捷径所有特征映射都可以解决模型深度的问题。虽然这种网络架构在低MAC（乘法和累积）上具有优异的准确性，但它需要过度推理时间。为了解决这个问题，HardNet减少了特征映射之间的连接，使得其余连接类似于谐波。然而，这种压缩方法可能导致模型精度和增加的MAC和模型大小降低。该网络架构仅减少了内存访问时间，需要改进其整体性能。因此，我们提出了一种新的网络架构，使用阈值机制来进一步优化连接方法。丢弃不同卷积层的不同数量的连接以压缩阈值中的特征映射。所提出的网络架构使用了三个数据集，CiFar-10，CiFar-100和SVHN，以评估图像分类的性能。实验结果表明，与DENSENET相比，阈值可降低推理时间高达60％，并且在这些数据集上的硬盘相比，训练速度快高达35％的训练速度和20％的误差率降低。

Current state-of-the-art deep neural networks for image classification are made up of 10 - 100 million learnable weights and are therefore inherently prone to overfitting. The complexity of the weight count can be seen as a function of the number of channels, the spatial extent of the input and the number of layers of the network. Due to the use of convolutional layers the scaling of weight complexity is usually linear with regards to the resolution dimensions, but remains quadratic with respect to the number of channels. Active research in recent years in terms of using multigrid inspired ideas in deep neural networks have shown that on one hand a significant number of weights can be saved by appropriate weight sharing and on the other that a hierarchical structure in the channel dimension can improve the weight complexity to linear. In this work, we combine these multigrid ideas to introduce a joint framework of multigrid inspired architectures, that exploit multigrid structures in all relevant dimensions to achieve linear weight complexity scaling and drastically reduced weight counts. Our experiments show that this structured reduction in weight count is able to reduce overfitting and thus shows improved performance over state-of-the-art ResNet architectures on typical image classification benchmarks at lower network complexity.

Recent work has shown that convolutional networks can be substantially deeper, more accurate, and efficient to train if they contain shorter connections between layers close to the input and those close to the output. In this paper, we embrace this observation and introduce the Dense Convolutional Network (DenseNet), which connects each layer to every other layer in a feed-forward fashion. Whereas traditional convolutional networks with L layers have L connections-one between each layer and its subsequent layer-our network has L(L+1) 2 direct connections. For each layer, the feature-maps of all preceding layers are used as inputs, and its own feature-maps are used as inputs into all subsequent layers. DenseNets have several compelling advantages: they alleviate the vanishing-gradient problem, strengthen feature propagation, encourage feature reuse, and substantially reduce the number of parameters. We evaluate our proposed architecture on four highly competitive object recognition benchmark tasks SVHN, and ImageNet). DenseNets obtain significant improvements over the state-of-the-art on most of them, whilst requiring less computation to achieve high performance. Code and pre-trained models are available at https://github.com/liuzhuang13/DenseNet.

在物联网（IoT）支持的网络边缘（IOT）上的人工智能（AI）的最新进展已通过启用低延期性和计算效率来实现多种应用程序（例如智能农业，智能医院和智能工厂）的优势情报。但是，部署最先进的卷积神经网络（CNN），例如VGG-16和在资源约束的边缘设备上的重新连接，由于其大量参数和浮点操作（Flops），因此实际上是不可行的。因此，将网络修剪作为一种模型压缩的概念正在引起注意在低功率设备上加速CNN。结构化或非结构化的最先进的修剪方法都不认为卷积层表现出的复杂性的不同基本性质，并遵循训练放回训练的管道，从而导致其他计算开销。在这项工作中，我们通过利用CNN的固有层层级复杂性来提出一种新颖和计算高效的修剪管道。与典型的方法不同，我们提出的复杂性驱动算法根据其对整体网络复杂性的贡献选择了特定层用于滤波器。我们遵循一个直接训练修剪模型并避免计算复杂排名和微调步骤的过程。此外，我们定义了修剪的三种模式，即参数感知（PA），拖网（FA）和内存感知（MA），以引入CNN的多功能压缩。我们的结果表明，我们的方法在准确性和加速方面的竞争性能。最后，我们提出了不同资源和准确性之间的权衡取舍，这对于开发人员在资源受限的物联网环境中做出正确的决策可能会有所帮助。

作为一个非凡的紧凑型型号，ShuffleNetV2提供了一个很好的示例来设计有效的弯头，但很少注意到其极限。在本文中，我们重新考虑了ShufflenetV2的设计模式，并发现频道冗余问题仍然限制了更宽的ShufflenetV2中的散装块的效率提高。为了解决这个问题，我们提出了另一个增强的变种块变体，以类似瓶颈的结构和更隐含的短连接形式。为了验证该构件的有效性，我们进一步建立了一个更强大，更有效的模型家族，称为AugshuffLenets。在CIFAR-10和CIFAR-100数据集上进行了评估，AugshuffLenet始终以较少的计算成本和更少的参数计数来超过ShuffleNetv2的表现。

通过在计算机视觉（CV）领域深度学习算法的良好性能，卷积神经网络（CNN）体系结构已成为计算机视觉任务的主要骨干。随着移动设备的广泛使用，基于计算能力低的平台的神经网络模型逐渐引起人们的注意。但是，由于计算能力的限制，移动设备上通常无法使用深度学习算法。本文提出了一个轻巧的卷积神经网络TripLenet，可以在Raspberry Pi上轻松运行。从阈值中的块连接概念中采用，新提出的网络模型会压缩并加速网络模型，减少网络的参数量，并在确保准确性的同时缩短每个图像的推理时间。我们提出的TripLenet和其他最先进的（SOTA）神经网络在Raspberry Pi上使用CIFAR-10和SVHN数据集进行了图像分类实验。实验结果表明，与GhostNet，Mobilenet，Theashnet，EdefityNet和HardNet相比，每图像的推理时间分别缩短了15％，16％，17％，24％和30％。

卷积神经网络（CNN）已在许多物联网（IoT）设备中应用于多种下游任务。但是，随着边缘设备上的数据量的增加，CNN几乎无法及时完成某些任务，而计算和存储资源有限。最近，过滤器修剪被认为是压缩和加速CNN的有效技术，但是从压缩高维张量的角度来看，现有的方法很少是修剪CNN。在本文中，我们提出了一种新颖的理论，可以在三维张量中找到冗余信息，即量化特征图（QSFM）之间的相似性，并利用该理论来指导滤波器修剪过程。我们在数据集（CIFAR-10，CIFAR-100和ILSVRC-12）上执行QSFM和Edge设备，证明所提出的方法可以在神经网络中找到冗余信息，具有可比的压缩和可耐受的准确性下降。没有任何微调操作，QSFM可以显着压缩CIFAR-56（48.7％的Flops和57.9％的参数），而TOP-1的准确性仅损失0.54％。对于边缘设备的实际应用，QSFM可以将Mobilenet-V2推理速度加速1.53倍，而ILSVRC-12 TOP-1的精度仅损失1.23％。

The deployment of deep convolutional neural networks (CNNs) in many real world applications is largely hindered by their high computational cost. In this paper, we propose a novel learning scheme for CNNs to simultaneously 1) reduce the model size; 2) decrease the run-time memory footprint; and 3) lower the number of computing operations, without compromising accuracy. This is achieved by enforcing channel-level sparsity in the network in a simple but effective way. Different from many existing approaches, the proposed method directly applies to modern CNN architectures, introduces minimum overhead to the training process, and requires no special software/hardware accelerators for the resulting models. We call our approach network slimming, which takes wide and large networks as input models, but during training insignificant channels are automatically identified and pruned afterwards, yielding thin and compact models with comparable accuracy. We empirically demonstrate the effectiveness of our approach with several state-of-the-art CNN models, including VGGNet, ResNet and DenseNet, on various image classification datasets. For VGGNet, a multi-pass version of network slimming gives a 20× reduction in model size and a 5× reduction in computing operations.

过滤器修剪的目标是搜索不重要的过滤器以删除以便使卷积神经网络（CNNS）有效而不牺牲过程中的性能。挑战在于找到可以帮助确定每个过滤器关于神经网络的最终输出的重要或相关的信息的信息。在这项工作中，我们分享了我们的观察说，预先训练的CNN的批量标准化（BN）参数可用于估计激活输出的特征分布，而无需处理训练数据。在观察时，我们通过基于预先训练的CNN的BN参数评估每个滤波器的重要性来提出简单而有效的滤波修剪方法。 CiFar-10和Imagenet的实验结果表明，该方法可以在准确性下降和计算复杂性的计算复杂性和降低的折衷方面具有和不进行微调的卓越性能。