This paper presents a low cost PMOS-based 8T (P-8T) SRAM Compute-In-Memory (CIM) architecture that efficiently per-forms the multiply-accumulate (MAC) operations between 4-bit input activations and 8-bit weights. First, bit-line (BL) charge-sharing technique is employed to design the low-cost and reliable digital-to-analog conversion of 4-bit input activations in the pro-posed SRAM CIM, where the charge domain analog computing provides variation tolerant and linear MAC outputs. The 16 local arrays are also effectively exploited to implement the analog mul-tiplication unit (AMU) that simultaneously produces 16 multipli-cation results between 4-bit input activations and 1-bit weights. For the hardware cost reduction of analog-to-digital converter (ADC) without sacrificing DNN accuracy, hardware aware sys-tem simulations are performed to decide the ADC bit-resolutions and the number of activated rows in the proposed CIM macro. In addition, for the ADC operation, the AMU-based reference col-umns are utilized for generating ADC reference voltages, with which low-cost 4-bit coarse-fine flash ADC has been designed. The 256X80 P-8T SRAM CIM macro implementation using 28nm CMOS process shows that the proposed CIM shows the accuracies of 91.46% and 66.67% with CIFAR-10 and CIFAR-100 dataset, respectively, with the energy efficiency of 50.07-TOPS/W.

深度神经网络（DNN）在各个领域的有效性（例如分类问题，图像处理，视频细分和语音识别）已被证明。加速器内存（AIM）架构是有效加速DNN的有前途解决方案，因为它们可以避免传统的von Neumann架构的内存瓶颈。由于主要内存通常在许多系统中是DRAM，因此在DRAM中高度平行的多重含用（MAC）阵列可以通过减少处理器和主内存之间的数据运动的距离和数量来最大化目标的好处。本文介绍了一个名为MAC-DO的基于模拟MAC阵列的AIM架构。与以前的IN-DRAM加速器相反，MAC-DO使整个DRAM阵列同时参与MAC计算，而无需闲置细胞，从而导致更高的吞吐量和能量效率。通过利用基于电荷转向的新的模拟计算方法来实现这种改进。此外，Mac-Do天生支持具有良好线性的多位Mac。 MAC-DO仍然与当前的1T1C DRAM技术兼容，而没有任何DRAM单元格和数组的修改。 MAC-DO数组可以基于输出固定映射加速矩阵乘法，因此支持DNN中执行的大多数计算。我们使用晶体管级仿真的评估表明，具有16 x 16 Mac-Do细胞的测试MAC-DO阵列可达到188.7 TOPS/W，并显示了MNIST数据集的97.07％TOP-1准确性，而无需重新培训。

基于von-neumann架构的传统计算系统，数据密集型工作负载和应用程序（如机器学习）和应用程序都是基本上限制的。随着数据移动操作和能量消耗成为计算系统设计中的关键瓶颈，对近数据处理（NDP），机器学习和特别是神经网络（NN）的加速器等非传统方法的兴趣显着增加。诸如Reram和3D堆叠的新兴内存技术，这是有效地架构基于NN的基于NN的加速器，因为它们的工作能力是：高密度/低能量存储和近记忆计算/搜索引擎。在本文中，我们提出了一种为NN设计NDP架构的技术调查。通过基于所采用的内存技术对技术进行分类，我们强调了它们的相似之处和差异。最后，我们讨论了需要探索的开放挑战和未来的观点，以便改进和扩展未来计算平台的NDP架构。本文对计算机学习领域的计算机架构师，芯片设计师和研究人员来说是有价值的。

在当今智能网络物理系统时代，由于它们在复杂的现实世界应用中的最新性能，深度神经网络（DNN）已无处不在。这些网络的高计算复杂性转化为增加的能源消耗，这是在资源受限系统中部署大型DNN的首要障碍。通过培训后量化实现的定点（FP）实现通常用于减少这些网络的能源消耗。但是，FP中的均匀量化间隔将数据结构的位宽度限制为大值，因为需要以足够的分辨率来表示大多数数字并避免较高的量化误差。在本文中，我们利用了关键见解，即（在大多数情况下）DNN的权重和激活主要集中在零接近零，只有少数几个具有较大的幅度。我们提出了Conlocnn，该框架是通过利用来实现节能低精度深度卷积神经网络推断的框架：（1）重量的不均匀量化，以简化复杂的乘法操作的简化； （2）激活值之间的相关性，可以在低成本的情况下以低成本进行部分补偿，而无需任何运行时开销。为了显着从不均匀的量化中受益，我们还提出了一种新颖的数据表示格式，编码低精度二进制签名数字，以压缩重量的位宽度，同时确保直接使用编码的权重来使用新颖的多重和处理 - 积累（MAC）单元设计。

我们提出了MC-CIM，一个计算内存（CIM）框架，用于强大，但低功耗，贝叶斯边缘智能。具有确定性权重的深神经网络（DNN）不能表达他们的预测不确定性，从而对误诊的后果是致命的诸如外科机器人的应用来说，对应用来说造成危急风险。为了解决这个限制，DNN的贝叶斯推论已经受到关注。使用贝叶斯推断，不仅是预测本身，而且还可以提取预测置信度以规划风险感知的动作。然而，DNN的贝叶斯推断是计算昂贵的，不适合实时和/或边缘部署。使用Monte Carlo Dropout（MC-Tropout）的贝叶斯DNN近似值和低计算复杂性具有高的鲁棒性。增强该方法的计算效率，我们讨论了一个新的CIM模块，除了内存重量输入标量产品之外，还可以对内存概率丢弃进行支持，以支持该方法。我们还提出了计算重复使用的MC-Dropout的重新使用，其中每个连续实例可以利用来自之前的迭代的产品和计算。甚至更多，我们讨论如何通过利用组合优化方法来最佳地订购随机实例，以最小化整体MC-Dropout工作负载。讨论了基于CIM的MC-Tropout执行的应用，用于自主无人机的MNIST字符识别和视觉径管（VO）。框架可靠地给出了MC-CIM在很大程度上的非理想中的预测信心。提出了MC-CIM，具有16x31 SRAM阵列，0.85 V电源，16nm低待机电源（LSTP）技术在其最佳计算和外围配置中消耗了30个MC-Dropout实例的30个MC-Dropout实例，节省了43％的能量与典型相比执行。

复发性神经网络（RNN）用于在数据序列中学习依赖性的应用，例如语音识别，人类活动识别和异常检测。近年来，GRUS和LSTM等较新的RNN变体已用于实施这些应用程序。由于这些应用中的许多应用都在实时场景中采用，因此加速RNN/LSTM/GRU推断至关重要。在本文中，我们提出了一种新型的光子硬件加速器，称为Reclight，用于加速简单的RNN，GRUS和LSTMS。仿真结果表明，与最先进的情况相比，重新调整的每位能量低37倍，吞吐量要高10％。

卷积神经网络（CNN）在各种应用中表现出卓越的性能，但具有较高的计算复杂性。量化用于降低CNN的延迟和存储成本。在量化方法中，二进制重量网络（BWN和TWNS）在8位和4位量化方面具有独特的优势。他们用加法替代CNN中的乘法操作，这些操作在内存计数（IMC）设备上受到青睐。 BWNS的IMC加速度已被广泛研究。但是，尽管TWN的精度比BWN具有更高的准确性和更好的稀疏性，但IMC的加速度的研究有限。现有的IMC设备上的TWN效率低下，因为稀疏性无法很好地利用，并且加法操作效率不高。在本文中，我们建议FAT作为TWN的新型IMC加速器。首先，我们提出了一个稀疏的加法控制单元，该单元利用TWN的稀疏度跳过了零重量的无效操作。其次，我们提出了一个基于内存感知器的快速添加方案，以避免携带传播的时间开销并将其写回记忆单元。第三，我们进一步提出了一个组合的数据映射，以减少激活和权重的数据移动，并增加跨内存列的并行性。仿真结果表明，与最先进的IMC加速器Parapim相比，对于感官放大器水平上的加法操作，FAT达到2.00倍加速度，1.22倍功率效率和1.22倍面积效率。与帕拉皮姆（Parapim）相比，脂肪达到10.02倍的加速度和12.19倍的能量效率，而平均稀疏性为80％的网络。

在小型电池约束的物流设备上部署现代TinyML任务需要高计算能效。使用非易失性存储器（NVM）的模拟内存计算（IMC）承诺在深神经网络（DNN）推理中的主要效率提高，并用作DNN权重的片上存储器存储器。然而，在系统级别尚未完全理解IMC的功能灵活性限制及其对性能，能量和面积效率的影响。为了目标实际的端到端的IOT应用程序，IMC阵列必须括在异构可编程系统中，引入我们旨在解决这项工作的新系统级挑战。我们介绍了一个非均相紧密的聚类架构，整合了8个RISC-V核心，内存计算加速器（IMA）和数字加速器。我们在高度异构的工作负载上基准测试，例如来自MobileNetv2的瓶颈层，显示出11.5倍的性能和9.5倍的能效改进，而在核心上高度优化并行执行相比。此外，我们通过将我们的异构架构缩放到多阵列加速器，探讨了在IMC阵列资源方面对全移动级DNN（MobileNetv2）的端到端推断的要求。我们的结果表明，我们的解决方案在MobileNetv2的端到端推断上，在执行延迟方面比现有的可编程架构更好，比最先进的异构解决方案更好的数量级集成内存计算模拟核心。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

The last few years have seen a lot of work to address the challenge of low-latency and high-throughput convolutional neural network inference. Integrated photonics has the potential to dramatically accelerate neural networks because of its low-latency nature. Combined with the concept of Joint Transform Correlator (JTC), the computationally expensive convolution functions can be computed instantaneously (time of flight of light) with almost no cost. This 'free' convolution computation provides the theoretical basis of the proposed PhotoFourier JTC-based CNN accelerator. PhotoFourier addresses a myriad of challenges posed by on-chip photonic computing in the Fourier domain including 1D lenses and high-cost optoelectronic conversions. The proposed PhotoFourier accelerator achieves more than 28X better energy-delay product compared to state-of-art photonic neural network accelerators.

When training early-stage deep neural networks (DNNs), generating intermediate features via convolution or linear layers occupied most of the execution time. Accordingly, extensive research has been done to reduce the computational burden of the convolution or linear layers. In recent mobile-friendly DNNs, however, the relative number of operations involved in processing these layers has significantly reduced. As a result, the proportion of the execution time of other layers, such as batch normalization layers, has increased. Thus, in this work, we conduct a detailed analysis of the batch normalization layer to efficiently reduce the runtime overhead in the batch normalization process. Backed up by the thorough analysis, we present an extremely efficient batch normalization, named LightNorm, and its associated hardware module. In more detail, we fuse three approximation techniques that are i) low bit-precision, ii) range batch normalization, and iii) block floating point. All these approximate techniques are carefully utilized not only to maintain the statistics of intermediate feature maps, but also to minimize the off-chip memory accesses. By using the proposed LightNorm hardware, we can achieve significant area and energy savings during the DNN training without hurting the training accuracy. This makes the proposed hardware a great candidate for the on-device training.

近年来，人工智能（AI）的领域已经见证了巨大的增长，然而，持续发展的一些最紧迫的挑战是电子计算机架构所面临的基本带宽，能效和速度限制。利用用于执行神经网络推理操作的光子处理器越来越感兴趣，但是这些网络目前使用标准数字电子培训。这里，我们提出了由CMOS兼容的硅光子架构实现的神经网络的片上训练，以利用大规模平行，高效和快速数据操作的电位。我们的方案采用直接反馈对准训练算法，它使用错误反馈而不是错误反向化而培训神经网络，并且可以在每秒乘以数万亿乘以量的速度运行，同时每次MAC操作消耗小于一个微微约会。光子架构利用并行化矩阵 - 向量乘法利用微址谐振器阵列，用于沿着单个波导总线处理多通道模拟信号，以便原位计算每个神经网络层的梯度向量，这是在后向通过期间执行的最昂贵的操作。 。我们还通过片上MAC操作结果实验地示意使用MNIST数据集进行培训深度神经网络。我们的高效，超快速神经网络训练的新方法展示了光子学作为执行AI应用的有希望的平台。

代表低精度的深度神经网络（DNN）是一种有希望的方法来实现有效的加速和记忆力。以前的方法在低精度中培训DNN的方法通常在重量更新期间在高精度中保持重量的重量副本。由于低精度数字系统与学习算法之间的复杂相互作用，直接具有低精度重量的培训导致精度下降。为了解决这个问题，我们开发了一个共同设计的低精度训练框架，被称为LNS-MADAM，我们共同设计了对数号系统（LNS）和乘法权重算法（MADAM）。我们证明了LNS-MADAM在重量更新期间导致低量化误差，即使精度有限，也导致稳定的收敛。我们进一步提出了LNS-MADAM的硬件设计，可以解决实现LNS计算的有效数据路径的实际挑战。我们的实现有效地降低了LNS - 整数转换和部分总和累积所产生的能量开销。实验结果表明，LNS-MADAM为全精密对应物达到了可比的准确性，只有8位对流行的计算机视觉和自然语言任务。与全精密浮点实施相比，LNS-MADAM将能耗降低超过90。

With an ever-growing number of parameters defining increasingly complex networks, Deep Learning has led to several breakthroughs surpassing human performance. As a result, data movement for these millions of model parameters causes a growing imbalance known as the memory wall. Neuromorphic computing is an emerging paradigm that confronts this imbalance by performing computations directly in analog memories. On the software side, the sequential Backpropagation algorithm prevents efficient parallelization and thus fast convergence. A novel method, Direct Feedback Alignment, resolves inherent layer dependencies by directly passing the error from the output to each layer. At the intersection of hardware/software co-design, there is a demand for developing algorithms that are tolerable to hardware nonidealities. Therefore, this work explores the interrelationship of implementing bio-plausible learning in-situ on neuromorphic hardware, emphasizing energy, area, and latency constraints. Using the benchmarking framework DNN+NeuroSim, we investigate the impact of hardware nonidealities and quantization on algorithm performance, as well as how network topologies and algorithm-level design choices can scale latency, energy and area consumption of a chip. To the best of our knowledge, this work is the first to compare the impact of different learning algorithms on Compute-In-Memory-based hardware and vice versa. The best results achieved for accuracy remain Backpropagation-based, notably when facing hardware imperfections. Direct Feedback Alignment, on the other hand, allows for significant speedup due to parallelization, reducing training time by a factor approaching N for N-layered networks.

Spiking Neural Networks (SNNs) are bio-plausible models that hold great potential for realizing energy-efficient implementations of sequential tasks on resource-constrained edge devices. However, commercial edge platforms based on standard GPUs are not optimized to deploy SNNs, resulting in high energy and latency. While analog In-Memory Computing (IMC) platforms can serve as energy-efficient inference engines, they are accursed by the immense energy, latency, and area requirements of high-precision ADCs (HP-ADC), overshadowing the benefits of in-memory computations. We propose a hardware/software co-design methodology to deploy SNNs into an ADC-Less IMC architecture using sense-amplifiers as 1-bit ADCs replacing conventional HP-ADCs and alleviating the above issues. Our proposed framework incurs minimal accuracy degradation by performing hardware-aware training and is able to scale beyond simple image classification tasks to more complex sequential regression tasks. Experiments on complex tasks of optical flow estimation and gesture recognition show that progressively increasing the hardware awareness during SNN training allows the model to adapt and learn the errors due to the non-idealities associated with ADC-Less IMC. Also, the proposed ADC-Less IMC offers significant energy and latency improvements, $2-7\times$ and $8.9-24.6\times$, respectively, depending on the SNN model and the workload, compared to HP-ADC IMC.

偏差可估算的模拟计算对于实施机器学习（ML）处理器具有不同的功能性能规格具有吸引力。例如，用于服务器工作负载的ML实现专注于计算吞吐量和更快的训练，而Edge设备的ML实现则集中在节能推理上。在本文中，我们证明了使用边缘传播（MP）原理的概括（MP）原理称为基于形状的模拟计算（S-AC）的偏置模拟计算电路的实现。所得的S-AC核心集成了几个接近内存的计算元素，其中包括：（a）非线性激活函数； （b）内部产品计算电路； （c）混合信号压缩内存。使用在180nm CMOS工艺中制造的原型的测量结果，我们证明了计算模块的性能仍然可与晶体管偏置和温度变化保持稳健。在本文中，我们还证明了简单的ML回归任务的偏差量表性。

关键字斑点（kWs）是一个重要的功能，使我们的周围环境中许多无处不在的智能设备进行交互，可以通过唤醒词或直接作为人机界面激活它们。对于许多应用程序，KWS是我们与设备交互的进入点，因此，始终是ON工作负载。许多智能设备都是移动的，并且它们的电池寿命受到持续运行的服务受到严重影响。因此，KWS和类似的始终如一的服务是在优化整体功耗时重点。这项工作解决了低成本微控制器单元（MCU）的KWS节能。我们将模拟二元特征提取与二元神经网络相结合。通过用拟议的模拟前端取代数字预处理，我们表明数据采集和预处理所需的能量可以减少29倍，将其份额从主导的85％的份额削减到仅为我们的整体能源消耗的16％参考KWS应用程序。语音命令数据集的实验评估显示，所提出的系统分别优于最先进的准确性和能效，在10级数据集中分别在10级数据集上达到1％和4.3倍，同时提供令人信服的精度 - 能源折衷包括71倍能量减少2％的精度下降。

随着深度神经网络（DNN）的发展以解决日益复杂的问题，它们正受到现有数字处理器的延迟和功耗的限制。为了提高速度和能源效率，已经提出了专门的模拟光学和电子硬件，但是可扩展性有限（输入矢量长度$ k $的数百个元素）。在这里，我们提出了一个可扩展的，单层模拟光学处理器，该光学处理器使用自由空间光学器件可重新配置输入向量和集成的光电，用于静态，可更新的加权和非线性 - 具有$ k \ \ 1,000 $和大约1,000美元和超过。我们通过实验测试MNIST手写数字数据集的分类精度，在没有数据预处理或在硬件上进行数据重新处理的情况下达到94.7％（地面真相96.3％）。我们还确定吞吐量（$ \ sim $ 0.9 examac/s）的基本上限，由最大光带宽设置，然后大大增加误差。我们在兼容CMOS兼容系统中宽光谱和空间带宽的组合可以实现下一代DNN的高效计算。

部署在内存中的模拟处理（PIM）架构的DNN受到制造 - 时间可变性。我们开发了一种新的联合变化和量化感知DNN训练算法，用于高度量化的基于PIM的模型，该模型明显更有效。它在多台计算机视觉数据集/型号上表现出可变性的令人沮丧和训练后的量化模型。对于低位宽度和高变化，Resnet-18在最佳替代方案上的增益高达35.7％。我们证明，在可变性的芯片组件的逼真模式下，单独培训无法防止大型DNN精度损失（CIFAR-100 / Resnet-18上的高达54％）。我们介绍了一种自调整DNN架构，可在推理期间动态调整层面激活，并有效地降低精度损耗至低于10％。

内存处理（PIM）是一种越来越多地研究的神经形态硬件，承诺能量和吞吐量改进以进行深度学习推断。 PIM利用大量平行，有效的模拟计算在内存内部，绕过传统数字硬件中数据移动的瓶颈。但是，需要额外的量化步骤（即PIM量化），通常由于硬件约束而导致的分辨率有限，才能将模拟计算结果转换为数字域。同时，由于不完善的类似物到数字界面，PIM量化中的非理想效应广泛存在，这进一步损害了推理的准确性。在本文中，我们提出了一种培训量化网络的方法，以合并PIM量化，这对所有PIM系统无处不在。具体而言，我们提出了PIM量化意识培训（PIM-QAT）算法，并通过分析训练动力学以促进训练收敛，从而在向后传播期间引入重新传播技术。我们还提出了两种技术，即批处理归一化（BN）校准和调整精度训练，以抑制实际PIM芯片中涉及的非理想线性和随机热噪声的不利影响。我们的方法在三个主流PIM分解方案上进行了验证，并在原型芯片上进行了物理上的验证。与直接在PIM系统上部署常规训练的量化模型相比，该模型没有考虑到此额外的量化步骤并因此失败，我们的方法提供了重大改进。它还可以在CIFAR10和CIFAR100数据集上使用各种网络深度来获得最受欢迎的网络拓扑结构，在CIFAR10和CIFAR100数据集上，在PIM系统上达到了可比的推理精度。