恶意建筑提取已成为对深神经网络（DNN）安全性的关键关注。作为辩护，提议建筑混淆，以将受害者DNN改造为不同的建筑。尽管如此，我们观察到，只有提取混淆的DNN结构，对手仍然可以重新训练具有高性能（例如精度）的替代模型，从而使混淆技术无效。为了减轻这种探索不足的漏洞，我们提出了Obfunas，将DNN体系结构混淆转换为神经体系结构搜索（NAS）问题。 Obfunas结合使用具有功能的混淆策略，确保混淆的DNN体系结构只能达到比受害者更低的精度。我们使用NAS-Bench-101和NAS Bench-301（Nas-Bench-101和NAS-Bench-301）的开源架构数据集验证了Obfunas的性能。实验结果表明，在给定的Flops约束中，Obfunas可以成功地找到受害者模型的最佳掩码，导致对只有0.14倍FLOPS开销的攻击者的推理准确性降解高达2.6％。该代码可在以下网址获得：https：//github.com/tongzhou0101/obfunas。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

深神经网络（DNNS）在各种机器学习（ML）应用程序中取得了巨大成功，在计算机视觉，自然语言处理和虚拟现实等中提供了高质量的推理解决方案。但是，基于DNN的ML应用程序也带来计算和存储要求的增加了很多，对于具有有限的计算/存储资源，紧张的功率预算和较小形式的嵌入式系统而言，这尤其具有挑战性。挑战还来自各种特定应用的要求，包括实时响应，高通量性能和可靠的推理准确性。为了应对这些挑战，我们介绍了一系列有效的设计方法，包括有效的ML模型设计，定制的硬件加速器设计以及硬件/软件共同设计策略，以启用嵌入式系统上有效的ML应用程序。

We revisit the one-shot Neural Architecture Search (NAS) paradigm and analyze its advantages over existing NAS approaches. Existing one-shot method, however, is hard to train and not yet effective on large scale datasets like ImageNet. This work propose a Single Path One-Shot model to address the challenge in the training. Our central idea is to construct a simplified supernet, where all architectures are single paths so that weight co-adaption problem is alleviated. Training is performed by uniform path sampling. All architectures (and their weights) are trained fully and equally. Comprehensive experiments verify that our approach is flexible and effective. It is easy to train and fast to search. It effortlessly supports complex search spaces (e.g., building blocks, channel, mixed-precision quantization) and different search constraints (e.g., FLOPs, latency). It is thus convenient to use for various needs. It achieves start-of-the-art performance on the large dataset ImageNet.Equal contribution. This work is done when Haoyuan Mu and Zechun Liu are interns at MEGVII Technology.

卷积神经网络（CNNS）用于许多现实世界应用，例如基于视觉的自主驾驶和视频内容分析。要在各种目标设备上运行CNN推断，硬件感知神经结构搜索（NAS）至关重要。有效的硬件感知NAS的关键要求是对推理延迟的快速评估，以便对不同的架构进行排名。在构建每个目标设备的延迟预测器的同时，在本领域中通常使用，这是一个非常耗时的过程，在极定的设备存在下缺乏可扩展性。在这项工作中，我们通过利用延迟单调性来解决可扩展性挑战 - 不同设备上的架构延迟排名通常相关。当存在强烈的延迟单调性时，我们可以重复使用在新目标设备上搜索一个代理设备的架构，而不会丢失最佳状态。在没有强烈的延迟单调性的情况下，我们提出了一种有效的代理适应技术，以显着提高延迟单调性。最后，我们验证了我们的方法，并在多个主流搜索空间上使用不同平台的设备进行实验，包括MobileNet-V2，MobileNet-V3，NAS-Bench-201，Proxylessnas和FBNet。我们的结果突出显示，通过仅使用一个代理设备，我们可以找到几乎与现有的每个设备NAS相同的帕累托最优架构，同时避免为每个设备构建延迟预测器的禁止成本。 github：https://github.com/ren-research/oneproxy.

已经发现深层神经网络容易受到对抗攻击的影响，从而引起了对安全敏感的环境的潜在关注。为了解决这个问题，最近的研究从建筑的角度研究了深神经网络的对抗性鲁棒性。但是，搜索深神经网络的体系结构在计算上是昂贵的，尤其是当与对抗性训练过程相结合时。为了应对上述挑战，本文提出了双重主体神经体系结构搜索方法。首先，我们制定了NAS问题，以增强深度神经网络的对抗性鲁棒性为多目标优化问题。具体而言，除了低保真绩效预测器作为第一个目标外，我们还利用辅助目标 - 其值是经过高保真评估训练的替代模型的输出。其次，我们通过结合三种性能估计方法，即参数共享，低保真评估和基于替代的预测指标来降低计算成本。在CIFAR-10，CIFAR-100和SVHN数据集上进行的广泛实验证实了所提出的方法的有效性。

深层神经网络（DNN）是通过依次执行线性和非线性过程产生的。使用线性和非线性程序的组合对于生成足够深的特征空间至关重要。大多数非线性运算符是激活函数或合并函数的推导。数学形态是数学的一个分支，为各种图像处理问题提供了非线性操作员。我们调查了将这些操作集成到本文端到端深度学习框架中的实用性。 DNN旨在获得特定工作的现实代表。形态运算符给出拓扑描述符，以传达有关图像中描述的物体形状的显着信息。我们提出了一种基于元学习的方法，将形态算子纳入DNN。博学的结构展示了我们的新型形态操作如何显着提高各种任务（包括图片分类和边缘检测）的DNN性能。

Deep neural networks (DNNs) are found to be vulnerable to adversarial attacks, and various methods have been proposed for the defense. Among these methods, adversarial training has been drawing increasing attention because of its simplicity and effectiveness. However, the performance of the adversarial training is greatly limited by the architectures of target DNNs, which often makes the resulting DNNs with poor accuracy and unsatisfactory robustness. To address this problem, we propose DSARA to automatically search for the neural architectures that are accurate and robust after adversarial training. In particular, we design a novel cell-based search space specially for adversarial training, which improves the accuracy and the robustness upper bound of the searched architectures by carefully designing the placement of the cells and the proportional relationship of the filter numbers. Then we propose a two-stage search strategy to search for both accurate and robust neural architectures. At the first stage, the architecture parameters are optimized to minimize the adversarial loss, which makes full use of the effectiveness of the adversarial training in enhancing the robustness. At the second stage, the architecture parameters are optimized to minimize both the natural loss and the adversarial loss utilizing the proposed multi-objective adversarial training method, so that the searched neural architectures are both accurate and robust. We evaluate the proposed algorithm under natural data and various adversarial attacks, which reveals the superiority of the proposed method in terms of both accurate and robust architectures. We also conclude that accurate and robust neural architectures tend to deploy very different structures near the input and the output, which has great practical significance on both hand-crafting and automatically designing of accurate and robust neural architectures.

混合精确的深神经网络达到了硬件部署所需的能源效率和吞吐量，尤其是在资源有限的情况下，而无需牺牲准确性。但是，不容易找到保留精度的最佳每层钻头精度，尤其是在创建巨大搜索空间的大量模型，数据集和量化技术中。为了解决这一困难，最近出现了一系列文献，并且已经提出了一些实现有希望的准确性结果的框架。在本文中，我们首先总结了文献中通常使用的量化技术。然后，我们对混合精液框架进行了彻底的调查，该调查是根据其优化技术进行分类的，例如增强学习和量化技术，例如确定性舍入。此外，讨论了每个框架的优势和缺点，我们在其中呈现并列。我们最终为未来的混合精液框架提供了指南。

我们提出了三种新型的修剪技术，以提高推理意识到的可区分神经结构搜索（DNAS）的成本和结果。首先，我们介绍了DNA的随机双路构建块，它可以通过内存和计算复杂性在内部隐藏尺寸上进行搜索。其次，我们在搜索过程中提出了一种在超级网的随机层中修剪块的算法。第三，我们描述了一种在搜索过程中修剪不必要的随机层的新技术。由搜索产生的优化模型称为Prunet，并在Imagenet Top-1图像分类精度的推理潜伏期中为NVIDIA V100建立了新的最先进的Pareto边界。将Prunet作为骨架还优于COCO对象检测任务的GPUNET和EFIDENENET，相对于平均平均精度（MAP）。

深度神经网络（DNN）的最新进步已经看到多个安全敏感域中的广泛部署。需要资源密集型培训和使用有价值的域特定培训数据，使这些模型成为模型所有者的顶级知识产权（IP）。 DNN隐私的主要威胁之一是模型提取攻击，前提是在DNN模型中试图窃取敏感信息。最近的研究表明，基于硬件的侧信道攻击可以揭示关于DNN模型的内部知识（例如，模型架构）但到目前为止，现有攻击不能提取详细的模型参数（例如，权重/偏置）。在这项工作中，我们首次提出了一种先进的模型提取攻击框架，借助记忆侧通道攻击有效地窃取了DNN权重。我们建议的深度包括两个关键阶段。首先，我们通过采用基于Rowhammer的硬件故障技术作为信息泄漏向量，开发一种名为HammerLeak的新重量位信息提取方法。 Hammerleak利用了用于DNN应用的几种新的系统级技术，以实现快速高效的重量窃取。其次，我们提出了一种具有平均聚类重量惩罚的新型替代模型训练算法，其利用部分泄漏的位信息有效地利用了目标受害者模型的替代原型。我们在三个流行的图像数据集（例如，CiFar-10/100 / GTSRB）和四个DNN架构上评估该替代模型提取方法（例如，Reset-18/34 / Wide-Reset / Vgg-11）。提取的替代模型在CiFar-10数据集的深度剩余网络上成功实现了超过90％的测试精度。此外，我们提取的替代模型也可能产生有效的对抗性输入样本来欺骗受害者模型。

神经体系结构搜索（NAS）最近在深度学习社区中变得越来越流行，主要是因为它可以提供一个机会，使感兴趣的用户没有丰富的专业知识，从而从深度神经网络（DNNS）的成功中受益。但是，NAS仍然很费力且耗时，因为在NAS的搜索过程中需要进行大量的性能估计，并且训练DNNS在计算上是密集的。为了解决NAS的主要局限性，提高NAS的效率对于NAS的设计至关重要。本文以简要介绍了NAS的一般框架。然后，系统地讨论了根据代理指标评估网络候选者的方法。接下来是对替代辅助NAS的描述，该NAS分为三个不同类别，即NAS的贝叶斯优化，NAS的替代辅助进化算法和NAS的MOP。最后，讨论了剩余的挑战和开放研究问题，并在这个新兴领域提出了有希望的研究主题。

神经体系结构搜索（NAS）是自动化有效图像处理DNN设计的强大工具。该排名已被倡导为NAS设计有效的性能预测指标。先前的对比方法通过比较架构对并预测其相对性能来解决排名问题。但是，它仅关注两个相关建筑之间的排名，而忽略了搜索空间的整体质量分布，这可能会遇到概括性问题。提出了一个预测因子，即专注于特定体系结构的全球质量层的神经体系结构排名，以解决由当地观点引起的此类问题。 NAR在全球范围内探索搜索空间的质量层，并根据其全球排名将每个人分类为他们所属的层。因此，预测变量获得了搜索空间的性能分布的知识，这有助于更轻松地将其排名能力推广到数据集。同时，全球质量分布通过根据质量层的统计数据直接对候选者进行采样，从而促进了搜索阶段，而质量层的统计数据没有培训搜索算法，例如增强型学习（RL）或进化算法（EA），因此简化了NAS管道并保存计算开销。拟议的NAR比在两个广泛使用的NAS研究数据集上的最先进方法取得了更好的性能。在NAS-Bench-101的庞大搜索空间中，NAR可以轻松地找到具有最高0.01 $ \ unicode {x2030} $ performance的架构。它还可以很好地概括为NAS Bench-201的不同图像数据集，即CIFAR-10，CIFAR-100和Imagenet-16-120，通过识别每个它们的最佳体系结构。

深度神经网络（DNN）的算法 - 硬件共同设计的最新进展已经证明了它们在自动设计神经架构和硬件设计方面的潜力。然而，由于昂贵的培训成本和耗时的硬件实现，这仍然是一个充满挑战的优化问题，这使得对神经结构和硬件设计难以解答的巨大设计空间探索。在本文中，我们证明我们所提出的方法能够在帕累托前沿定位设计。这种功能由新颖的三相协同设计框架启用，具有以下新功能：（a）从硬件架构和神经结构的设计空间探索的DNN培训解耦，（b）提供硬件友好的神经结构空间通过考虑构造搜索单元的硬件特征，（c）采用高斯过程来预测准确性，延迟和功耗以避免耗时的合成和路由过程。与手动设计的Resnet101，Inceptionv2和MobileNetv2相比，我们可以在想象网数据集中获得高达3倍的准确度，高达5％的准确性。与其他最先进的共同设计框架相比，我们发现的网络和硬件配置可以达到更高的2％〜6％，精度为2倍〜26倍，延迟较高8.5倍。

While machine learning is traditionally a resource intensive task, embedded systems, autonomous navigation, and the vision of the Internet of Things fuel the interest in resource-efficient approaches. These approaches aim for a carefully chosen trade-off between performance and resource consumption in terms of computation and energy. The development of such approaches is among the major challenges in current machine learning research and key to ensure a smooth transition of machine learning technology from a scientific environment with virtually unlimited computing resources into everyday's applications. In this article, we provide an overview of the current state of the art of machine learning techniques facilitating these real-world requirements. In particular, we focus on deep neural networks (DNNs), the predominant machine learning models of the past decade. We give a comprehensive overview of the vast literature that can be mainly split into three non-mutually exclusive categories: (i) quantized neural networks, (ii) network pruning, and (iii) structural efficiency. These techniques can be applied during training or as post-processing, and they are widely used to reduce the computational demands in terms of memory footprint, inference speed, and energy efficiency. We also briefly discuss different concepts of embedded hardware for DNNs and their compatibility with machine learning techniques as well as potential for energy and latency reduction. We substantiate our discussion with experiments on well-known benchmark datasets using compression techniques (quantization, pruning) for a set of resource-constrained embedded systems, such as CPUs, GPUs and FPGAs. The obtained results highlight the difficulty of finding good trade-offs between resource efficiency and predictive performance.

Recently, automated co-design of machine learning (ML) models and accelerator architectures has attracted significant attention from both the industry and academia. However, most co-design frameworks either explore a limited search space or employ suboptimal exploration techniques for simultaneous design decision investigations of the ML model and the accelerator. Furthermore, training the ML model and simulating the accelerator performance is computationally expensive. To address these limitations, this work proposes a novel neural architecture and hardware accelerator co-design framework, called CODEBench. It is composed of two new benchmarking sub-frameworks, CNNBench and AccelBench, which explore expanded design spaces of convolutional neural networks (CNNs) and CNN accelerators. CNNBench leverages an advanced search technique, BOSHNAS, to efficiently train a neural heteroscedastic surrogate model to converge to an optimal CNN architecture by employing second-order gradients. AccelBench performs cycle-accurate simulations for a diverse set of accelerator architectures in a vast design space. With the proposed co-design method, called BOSHCODE, our best CNN-accelerator pair achieves 1.4% higher accuracy on the CIFAR-10 dataset compared to the state-of-the-art pair, while enabling 59.1% lower latency and 60.8% lower energy consumption. On the ImageNet dataset, it achieves 3.7% higher Top1 accuracy at 43.8% lower latency and 11.2% lower energy consumption. CODEBench outperforms the state-of-the-art framework, i.e., Auto-NBA, by achieving 1.5% higher accuracy and 34.7x higher throughput, while enabling 11.0x lower energy-delay product (EDP) and 4.0x lower chip area on CIFAR-10.

基于深度学习的超分辨率（SR）近年来由于其高图像质量性能和广泛的应用方案而获得了极大的知名度。但是，先前的方法通常会遭受大量计算和巨大的功耗，这会导致实时推断的困难，尤其是在资源有限的平台（例如移动设备）上。为了减轻这种情况，我们建议使用自适应SR块进行深度搜索和每层宽度搜索，以进行深度搜索和每层宽度搜索。推理速度与SR损失一起直接将其带入具有高图像质量的SR模型，同​​时满足实时推理需求。借用了与编译器优化的速度模型在搜索过程中每次迭代中的移动设备上的速度，以预测具有各种宽度配置的SR块的推理潜伏期，以更快地收敛。通过提出的框架，我们在移动平台的GPU/DSP上实现了实时SR推断，以实现具有竞争性SR性能的720p分辨率（三星Galaxy S21）。

就起搏器提供的信号（即，神心电图电测（EGM））和信号医生使用（即12-铅心电图（ECG））而言，存在差距以诊断出异常节律。因此，前者，即使远程传输，医生也不足以提供精确的诊断，更不用说更及时干预。为了缩短这种差距，并对即时响应不规则和不频繁的心室节律的即时反应进行启发式步骤，我们提出了一个新的框架被称为RT-RCG，以自动搜索（1）高效的深神经网络（DNN）结构和然后（2）相应的加速器，能够实现来自EGM信号的ECG信号的实时和高质量的重建。具体地，RT-RCG提出了一种针对EGM信号的ECG重建量身定制的新的DNN搜索空间，并结合了可分辨率的加速搜索（DAS）发动机，以有效地导航大而离散的加速器设计空间以产生优化的加速器。各种环境下的广泛实验和消融研究一致地验证了RT-RCG的有效性。据我们所知，RT-RCG是第一个利用神经结构搜索（NAS）来同时解决重建效能和效率的效率。

关于神经体系结构搜索（NAS）的现有研究主要集中于有效地搜索具有更好性能的网络体系结构。几乎没有取得进展，以系统地了解NAS搜索的架构是否对隐私攻击是强大的，而丰富的工作已经表明，人类设计的架构容易受到隐私攻击。在本文中，我们填补了这一空白，并系统地衡量了NAS体系结构的隐私风险。利用我们的测量研究中的见解，我们进一步探索了基于细胞的NAS架构的细胞模式，并评估细胞模式如何影响NAS搜索架构的隐私风险。通过广泛的实验，我们阐明了如何针对隐私攻击设计强大的NAS体系结构，还提供了一种通用方法，以了解NAS搜索的体系结构与其他隐私风险之间的隐藏相关性。

可微分的架构搜索逐渐成为神经结构中的主流研究主题，以实现与早期NAS（基于EA的RL的）方法相比提高效率的能力。最近的可分辨率NAS还旨在进一步提高搜索效率，降低GPU记忆消耗，并解决“深度间隙”问题。然而，这些方法不再能够解决非微弱目标，更不用说多目标，例如性能，鲁棒性，效率和其他指标。我们提出了一个端到端的架构搜索框架，朝向非微弱的目标TND-NAS，具有在多目标NAs（MNA）中的不同NAS框架中的高效率的优点和兼容性的兼容性（MNA）。在可分辨率的NAS框架下，随着搜索空间的连续放松，TND-NAS具有在离散空间中优化的架构参数（$ \ alpha $），同时通过$ \ alpha $逐步缩小超缩小的搜索策略。我们的代表性实验需要两个目标（参数，准确性），例如，我们在CIFAR10上实现了一系列高性能紧凑型架构（1.09米/ 3.3％，2.4M / 2.95％，9.57M / 2.54％）和CIFAR100（2.46 M / 18.3％，5.46 / 16.73％，12.88 / 15.20％）数据集。有利地，在现实世界的情景下（资源受限，平台专用），TND-NA可以方便地达到Pareto-Optimal解决方案。