从神经网络统治了图像处理的那一刻，解决目标任务所需的计算复杂性飙升：根据这种不可持续的趋势，已经制定了许多策略，雄心勃勃地针对绩效的保存。例如，促进稀疏拓扑允许在嵌入式，资源约束的设备上部署深神网络模型。最近，引入了胶囊网络以增强模型的解释性，其中每个胶囊都是对象或其零件的明确表示。这些模型在玩具数据集上显示出令人鼓舞的结果，但是它们的低可伸缩性可阻止在更复杂的任务上部署。在这项工作中，我们通过减少胶囊数量来探索稀疏性以提高其计算效率。我们展示了胶囊网络的修剪如何通过更少的内存需求，计算工作以及推理和训练时间来实现高概括。

在物联网（IoT）支持的网络边缘（IOT）上的人工智能（AI）的最新进展已通过启用低延期性和计算效率来实现多种应用程序（例如智能农业，智能医院和智能工厂）的优势情报。但是，部署最先进的卷积神经网络（CNN），例如VGG-16和在资源约束的边缘设备上的重新连接，由于其大量参数和浮点操作（Flops），因此实际上是不可行的。因此，将网络修剪作为一种模型压缩的概念正在引起注意在低功率设备上加速CNN。结构化或非结构化的最先进的修剪方法都不认为卷积层表现出的复杂性的不同基本性质，并遵循训练放回训练的管道，从而导致其他计算开销。在这项工作中，我们通过利用CNN的固有层层级复杂性来提出一种新颖和计算高效的修剪管道。与典型的方法不同，我们提出的复杂性驱动算法根据其对整体网络复杂性的贡献选择了特定层用于滤波器。我们遵循一个直接训练修剪模型并避免计算复杂排名和微调步骤的过程。此外，我们定义了修剪的三种模式，即参数感知（PA），拖网（FA）和内存感知（MA），以引入CNN的多功能压缩。我们的结果表明，我们的方法在准确性和加速方面的竞争性能。最后，我们提出了不同资源和准确性之间的权衡取舍，这对于开发人员在资源受限的物联网环境中做出正确的决策可能会有所帮助。

A capsule is a group of neurons whose activity vector represents the instantiation parameters of a specific type of entity such as an object or an object part. We use the length of the activity vector to represent the probability that the entity exists and its orientation to represent the instantiation parameters. Active capsules at one level make predictions, via transformation matrices, for the instantiation parameters of higher-level capsules. When multiple predictions agree, a higher level capsule becomes active. We show that a discrimininatively trained, multi-layer capsule system achieves state-of-the-art performance on MNIST and is considerably better than a convolutional net at recognizing highly overlapping digits. To achieve these results we use an iterative routing-by-agreement mechanism: A lower-level capsule prefers to send its output to higher level capsules whose activity vectors have a big scalar product with the prediction coming from the lower-level capsule.

胶囊网络是一类神经网络，可在许多计算机视觉任务上取得有希望的结果。但是，由于高计算和内存要求，基线胶囊网络未能在更复杂的数据集上达到最新结果。我们通过提出一种称为动量胶囊网络（Mocapsnet）的新网络体系结构来解决这个问题。Mocapsnets的灵感来自动量Resnets，这是一种应用可逆残留构建块的网络。可逆的网络允许重新计算后反向传播算法中正向通行的激活，因此可以大大减少这些内存要求。在本文中，我们提供了一个框架，介绍如何将可逆的残留构建块应用于胶囊网络。我们将证明Mocapsnet在MNIST，SVHN，CIFAR-10和CIFAR-100上击败基线胶囊网络的准确性，同时使用的内存较少。源代码可在https://github.com/moejoe95/mocapsnet上找到。

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

胶囊网络（CAPSNET）是图像处理的新兴趋势。与卷积神经网络相反，CAPSNET不容易受到对象变形的影响，因为对象的相对空间信息在整个网络中保存。但是，它们的复杂性主要与胶囊结构和动态路由机制有关，这使得以其原始形式部署封闭式以由小型微控制器（MCU）供电的设备几乎是不合理的。在一个智力从云到边缘迅速转移的时代，这种高复杂性对在边缘的采用capsnets的采用构成了严重的挑战。为了解决此问题，我们提出了一个API，用于执行ARM Cortex-M和RISC-V MCUS中的量化capsnet。我们的软件内核扩展了ARM CMSIS-NN和RISC-V PULP-NN，以用8位整数作为操作数支持胶囊操作。随之而来的是，我们提出了一个框架，以执行CAPSNET的训练后量化。结果显示，记忆足迹的减少近75％，准确性损失范围从0.07％到0.18％。在吞吐量方面，我们的ARM Cortex-M API可以分别在仅119.94和90.60毫秒（MS）的中型胶囊和胶囊层执行（STM32H7555ZIT6U，Cortex-M7 @ 480 MHz）。对于GAP-8 SOC（RISC-V RV32IMCXPULP @ 170 MHz），延迟分别降至7.02和38.03 ms。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

由于深度学习模型通常包含数百万可培训的权重，因此对更有效的网络结构具有越来越高的存储空间和提高的运行时效率。修剪是最受欢迎的网络压缩技术之一。在本文中，我们提出了一种新颖的非结构化修剪管线，基于关注的同时稀疏结构和体重学习（ASWL）。与传统的频道和体重注意机制不同，ASWL提出了一种有效的算法来计算每层的层次引起的修剪比率，并且跟踪密度网络和稀疏网络的两种权重，以便修剪结构是同时从随机初始化的权重学习。我们在Mnist，CiFar10和Imagenet上的实验表明，与最先进的网络修剪方法相比，ASWL在准确性，修剪比率和操作效率方面取得了卓越的修剪。

The deployment of deep convolutional neural networks (CNNs) in many real world applications is largely hindered by their high computational cost. In this paper, we propose a novel learning scheme for CNNs to simultaneously 1) reduce the model size; 2) decrease the run-time memory footprint; and 3) lower the number of computing operations, without compromising accuracy. This is achieved by enforcing channel-level sparsity in the network in a simple but effective way. Different from many existing approaches, the proposed method directly applies to modern CNN architectures, introduces minimum overhead to the training process, and requires no special software/hardware accelerators for the resulting models. We call our approach network slimming, which takes wide and large networks as input models, but during training insignificant channels are automatically identified and pruned afterwards, yielding thin and compact models with comparable accuracy. We empirically demonstrate the effectiveness of our approach with several state-of-the-art CNN models, including VGGNet, ResNet and DenseNet, on various image classification datasets. For VGGNet, a multi-pass version of network slimming gives a 20× reduction in model size and a 5× reduction in computing operations.

To reduce the significant redundancy in deep Convolutional Neural Networks (CNNs), most existing methods prune neurons by only considering statistics of an individual layer or two consecutive layers (e.g., prune one layer to minimize the reconstruction error of the next layer), ignoring the effect of error propagation in deep networks. In contrast, we argue that it is essential to prune neurons in the entire neuron network jointly based on a unified goal: minimizing the reconstruction error of important responses in the "final response layer" (FRL), which is the secondto-last layer before classification, for a pruned network to retrain its predictive power. Specifically, we apply feature ranking techniques to measure the importance of each neuron in the FRL, and formulate network pruning as a binary integer optimization problem and derive a closed-form solution to it for pruning neurons in earlier layers. Based on our theoretical analysis, we propose the Neuron Importance Score Propagation (NISP) algorithm to propagate the importance scores of final responses to every neuron in the network. The CNN is pruned by removing neurons with least importance, and then fine-tuned to retain its predictive power. NISP is evaluated on several datasets with multiple CNN models and demonstrated to achieve significant acceleration and compression with negligible accuracy loss.

尽管胶囊网络在为视觉识别任务中定义了深度神经网络中的特征之间的位置关系，但它们是计算昂贵的并且不适合于在移动设备上运行的能力。瓶颈处于胶囊之间使用的动态路由机构的计算复杂性。另一方面，诸如Xnor-Net之类的神经网络是快速和计算的高效，但由于其在二值化过程中的信息丢失，具有相对低的精度。本文通过XNorize在CAPSFC层内的动态路由外部或内部的线性投影仪来提出新的完全连接（FC）层。具体而言，我们提出的FC层有两个版本，XNODR（Xnorizing线性投影仪外部动态路由）和XNIDR（动态路由内的xnorizing线性投影仪）。要测试其泛化，我们将它们插入MobileNet V2和Reset-50分别。在三个数据集，Mnist，CiFar-10，多方派的实验验证其有效性。我们的实验结果表明，XNODR和XNIDR都有助于网络具有高精度，具有较低的拖波和更少的参数（例如，95.32 \％的精度，在2.99M参数和311.22M拖薄的CIFAR-10上）。

Structured channel pruning has been shown to significantly accelerate inference time for convolution neural networks (CNNs) on modern hardware, with a relatively minor loss of network accuracy. Recent works permanently zero these channels during training, which we observe to significantly hamper final accuracy, particularly as the fraction of the network being pruned increases. We propose Soft Masking for cost-constrained Channel Pruning (SMCP) to allow pruned channels to adaptively return to the network while simultaneously pruning towards a target cost constraint. By adding a soft mask re-parameterization of the weights and channel pruning from the perspective of removing input channels, we allow gradient updates to previously pruned channels and the opportunity for the channels to later return to the network. We then formulate input channel pruning as a global resource allocation problem. Our method outperforms prior works on both the ImageNet classification and PASCAL VOC detection datasets.

动态模型修剪是最近的方向，其允许不同的子网络中的部署过程中每个输入采样的推断。然而，当前的动态方法依赖于学习的连续通道通过诱导稀疏性损失通过正则化门控。这一提法介绍了平衡不同损失的复杂性（如任务的损失，正规化损失）。此外，基于正则化方法缺乏透明的折衷选择超参数，实现计算的预算。我们的贡献是双重的：1）分离任务和修剪培训。 2）简单的超参数选择，使训练前FLOPS减少估计。在神经科学的赫布理论的启发：“神经元一起火一起丝”，我们提出来预测基于其上一层的活化层口罩方法K过滤器。我们提出的问题，因为自监督二元分类问题。每个掩模预测模块被训练以预测，如果对数似然在当前层中的每个过滤器属于前k激活的过滤器。值k被动态地估计基于使用热图的质量的新颖标准每个输入。我们发现在几个神经结构，如VGG，RESNET和MobileNet上CIFAR和ImageNet数据集实验。在CIFAR，我们得出了类似的精度SOTA方法有15％和24％以上FLOPS减少。同样，在ImageNet，我们达到的精度低下降高达13％的改善FLOPS减少。

当前的深神经网络（DNN）被过度参数化，并在推断每个任务期间使用其大多数神经元连接。然而，人的大脑开发了针对不同任务的专门区域，并通过其神经元连接的一小部分进行推断。我们提出了一种迭代修剪策略，引入了一个简单的重要性评分度量度量，该指标可以停用不重要的连接，解决DNN中的过度参数化并调节射击模式。目的是找到仍然能够以可比精度解决给定任务的最小连接，即更简单的子网。我们在MNIST上实现了LENET体系结构的可比性能，并且与CIFAR-10/100和Tiny-ImageNet上的VGG和Resnet架构的最先进算法相比，参数压缩的性能明显更高。我们的方法对于考虑到ADAM和SGD的两个不同优化器也表现良好。该算法并非旨在在考虑当前的硬件和软件实现时最小化失败，尽管与最新技术相比，该算法的性能合理。

我们提出了一种多移民通道（MGIC）方法，该方法可以解决参数数量相对于标准卷积神经网络（CNN）中的通道数的二次增长。因此，我们的方法解决了CNN中的冗余，这也被轻量级CNN的成功所揭示。轻巧的CNN可以达到与参数较少的标准CNN的可比精度。但是，权重的数量仍然随CNN的宽度四倍地缩放。我们的MGIC体系结构用MGIC对应物代替了每个CNN块，该块利用了小组大小的嵌套分组卷积的层次结构来解决此问题。因此，我们提出的架构相对于网络的宽度线性扩展，同时保留了通道的完整耦合，如标准CNN中。我们对图像分类，分割和点云分类进行的广泛实验表明，将此策略应用于Resnet和MobilenetV3等不同体系结构，可以减少参数的数量，同时获得相似或更好的准确性。

近年来，深度神经网络在各种应用领域中都有广泛的成功。但是，它们需要重要的计算和内存资源，严重阻碍其部署，特别是在移动设备上或实时应用程序。神经网络通常涉及大量参数，该参数对应于网络的权重。在培训过程中获得的这种参数是用于网络性能的决定因素。但是，它们也非常冗余。修剪方法尤其试图通过识别和移除不相关的重量来减小参数集的大小。在本文中，我们研究了培训策略对修剪效率的影响。考虑和比较了两种培训方式：（1）微调和（2）从头开始。在四个数据集（CIFAR10，CiFAR100，SVHN和CALTECH101）上获得的实验结果和两个不同的CNNS（VGG16和MOBILENET）证明已经在大语料库（例如想象成）上预先培训的网络，然后进行微调特定数据集可以更有效地修剪（高达80％的参数减少），而不是从头开始培训的相同网络。

深度学习优化的最新进展表明，借助有关训练有素的模型的一些A-posteriori信息，可以通过简单地训练其参数的一部分来匹配相同的性能。这种发现从理论到应用都有广泛的影响，将研究推向方法，以识别无需查看信息开发而训练的最小参数子集。但是，提出的方法与最新性能不符，并依赖于非结构化的稀疏连接模型。在这项工作中，我们将重点从单个参数转移到整个神经元的行为，从而利用了神经元平衡的概念（NEQ）。当神经元处于平衡状态（意味着它已经学会了特定的输入关系）时，我们可以停止其更新；相反，当神经元处于非平衡状态时，我们使其状态朝着平衡状态进化，从而更新其参数。提出的方法已在不同的最新学习策略和任务上进行了测试，验证了NEQ并观察到神经元平衡取决于特定的学习设置。

Pruning refers to the elimination of trivial weights from neural networks. The sub-networks within an overparameterized model produced after pruning are often called Lottery tickets. This research aims to generate winning lottery tickets from a set of lottery tickets that can achieve similar accuracy to the original unpruned network. We introduce a novel winning ticket called Cyclic Overlapping Lottery Ticket (COLT) by data splitting and cyclic retraining of the pruned network from scratch. We apply a cyclic pruning algorithm that keeps only the overlapping weights of different pruned models trained on different data segments. Our results demonstrate that COLT can achieve similar accuracies (obtained by the unpruned model) while maintaining high sparsities. We show that the accuracy of COLT is on par with the winning tickets of Lottery Ticket Hypothesis (LTH) and, at times, is better. Moreover, COLTs can be generated using fewer iterations than tickets generated by the popular Iterative Magnitude Pruning (IMP) method. In addition, we also notice COLTs generated on large datasets can be transferred to small ones without compromising performance, demonstrating its generalizing capability. We conduct all our experiments on Cifar-10, Cifar-100 & TinyImageNet datasets and report superior performance than the state-of-the-art methods.

Many applications require sparse neural networks due to space or inference time restrictions. There is a large body of work on training dense networks to yield sparse networks for inference, but this limits the size of the largest trainable sparse model to that of the largest trainable dense model. In this paper we introduce a method to train sparse neural networks with a fixed parameter count and a fixed computational cost throughout training, without sacrificing accuracy relative to existing dense-tosparse training methods. Our method updates the topology of the sparse network during training by using parameter magnitudes and infrequent gradient calculations. We show that this approach requires fewer floating-point operations (FLOPs) to achieve a given level of accuracy compared to prior techniques. We demonstrate state-of-the-art sparse training results on a variety of networks and datasets, including ResNet-50, MobileNets on Imagenet-2012, and RNNs on WikiText-103. Finally, we provide some insights into why allowing the topology to change during the optimization can overcome local minima encountered when the topology remains static * .

修剪技术可全面使用图像分类压缩卷积神经网络（CNN）。但是，大多数修剪方法需要一个经过良好训练的模型，以提供有用的支持参数，例如C1-核心，批处理值和梯度信息，如果预训练的模型的参数为，这可能会导致过滤器评估的不一致性不太优化。因此，我们提出了一种基于敏感性的方法，可以通过为原始模型增加额外的损害来评估每一层的重要性。由于准确性的性能取决于参数在所有层而不是单个参数中的分布，因此基于灵敏度的方法将对参数的更新具有鲁棒性。也就是说，我们可以获得对不完美训练和完全训练的模型之间每个卷积层的相似重要性评估。对于CIFAR-10上的VGG-16，即使原始模型仅接受50个时期训练，我们也可以对层的重要性进行相同的评估，并在对模型进行充分训练时的结果。然后，我们将通过量化的灵敏度从每一层中删除过滤器。我们基于敏感性的修剪框架在VGG-16，分别具有CIFAR-10，MNIST和CIFAR-100的VGG-16上有效验证。