近年来，已经完成了巨大的努力来推进本领域的自然语言处理（NLP）和音频识别。然而，这些努力通常转化为更大更复杂的模型的功耗和内存要求增加。这些解决方案缺少了需要低功耗，低记忆有效计算的IOT设备的约束，因此它们无法满足高效边缘计算的不断增长的需求。已证明神经形态系统是在多种应用中的低功率低延迟计算的优异候选者。出于这个原因，我们提出了一种神经形态的架构，能够进行无监督的听觉特征识别。然后，我们在Google语音命令数据集的子集上验证网络。

关键字斑点（kWs）是一个重要的功能，使我们的周围环境中许多无处不在的智能设备进行交互，可以通过唤醒词或直接作为人机界面激活它们。对于许多应用程序，KWS是我们与设备交互的进入点，因此，始终是ON工作负载。许多智能设备都是移动的，并且它们的电池寿命受到持续运行的服务受到严重影响。因此，KWS和类似的始终如一的服务是在优化整体功耗时重点。这项工作解决了低成本微控制器单元（MCU）的KWS节能。我们将模拟二元特征提取与二元神经网络相结合。通过用拟议的模拟前端取代数字预处理，我们表明数据采集和预处理所需的能量可以减少29倍，将其份额从主导的85％的份额削减到仅为我们的整体能源消耗的16％参考KWS应用程序。语音命令数据集的实验评估显示，所提出的系统分别优于最先进的准确性和能效，在10级数据集中分别在10级数据集上达到1％和4.3倍，同时提供令人信服的精度 - 能源折衷包括71倍能量减少2％的精度下降。

我们介绍了基于优化的理论，描述了在视觉皮质中的经验观察到的尖刺皮质组合，其配备有尖峰定时依赖性塑性（STDP）学习。使用我们的方法，我们为基于事件的相机构建了一类完全连接的，基于卷积和动作的特征描述符，即我们分别评估N-Mnist，挑战Cifar10-DVS以及IBM DVS128手势数据集。与传统的最先进的事件的特征描述符相比，我们报告了显着的准确性改进（CIFAR10-DVS上的+ 8％）。与最先进的STDP的系统（在N-MNIST上+ 10％+ 10％+ 10％，在IBM DVS128手势上举报的准确性提高了大量改进）。除了神经形态边缘装置的超低功率学习之外，我们的作品还有助于铺平朝向基于生物学 - 基于的皮质视觉理论的方式。

超低功耗本地信号处理是始终安装在设备上的边缘应用的关键方面。尖刺神经网络的神经形态处理器显示出很大的计算能力，同时根据该领域的需要满足有限的电力预算。在这项工作中，我们提出了尖峰神经动力学作为扩张时间卷积的自然替代品。我们将这个想法扩展到WaveSense，这是一个由Wavenet Architects的激发灵感的尖峰神经网络。WaveSense使用简单的神经动力学，固定时间常数和简单的前馈结构，因此特别适用于神经形态实现。我们在几个数据集中测试此模型的功能，以用于关键字斑点。结果表明，该网络击败了其他尖刺神经网络的领域，并达到了诸如CNN和LSTM的人工神经网络的最先进的性能。

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).

用于神经形态计算的生物学启发的尖峰神经元是具有动态状态变量的非线性滤波器 - 与深度学习中使用的无状态神经元模型非常不同。 Notel Intel的神经形态研究处理器Loihi 2的下一个版本支持各种具有完全可编程动态的最有状态尖峰神经元模型。在这里，我们展示了先进的尖峰神经元模型，可用于有效地处理仿真Loihi 2硬件的仿真实验中的流数据。在一个示例中，共振和火（RF）神经元用于计算短时间傅里叶变换（STFT），其具有类似的计算复杂度，但是输出带宽的47倍而不是传统的STFT。在另一个例子中，我们描述了一种使用时间率RF神经元的光学流量估计算法，其需要比传统的基于DNN的解决方案超过90倍。我们还展示了有前途的初步结果，使用BackPropagation培训RF神经元进行音频分类任务。最后，我们表明，跳跃的血管谐振器 - RF神经元的变体 - 重复耳蜗的新特性，并激励一种有效的基于尖峰的谱图编码器。

在过去的几十年中，人工智能领域大大进展，灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中，我们开发了一个原始的脑激发神经模型，将自组织地图（SOM）和Hebbian学习在重新参与索马里（RESOM）模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比，该模型增强了最先进的结果。这项工作还通过在名为SPARP（自配置3D蜂窝自适应平台）的专用FPGA的平台上的模拟结果和硬件执行，演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连，以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果，通过专用串行链路在每个板之间的通信。由于多模式关联，所提出的统一架构，由RESOM模型和头皮硬件平台组成的精度显着提高，与集中式GPU实现相比，延迟和功耗之间的良好折衷。

已知尖峰神经网络（SNN）对于神经形态处理器实施非常有效，可以在传统深度学习方法上提高能效和计算潜伏期的数量级。最近，随着监督培训算法对SNN的背景，最近也使可比的算法性能成为可能。但是，包括音频，视频和其他传感器衍生数据在内的信息通常被编码为不适合SNN的实用值信号，从而阻止网络利用SPIKE定时信息。因此，从实价信号到尖峰的有效编码是至关重要的，并且会显着影响整个系统的性能。为了有效地将信号编码为尖峰，必须考虑与手头任务相关的信息以及编码尖峰的密度。在本文中，我们在扬声器独立数字分类系统的背景下研究了四种尖峰编码方法：发送三角洲，第一次尖峰的时间，漏水的集成和火神经元和弯曲尖刺算法。我们首先表明，与传统的短期傅立叶变换相比，在编码生物启发的耳蜗时，使用较少的尖峰会产生更高的分类精度。然后，我们证明了两种对三角洲变体的发送导致分类结果可与最先进的深卷积神经网络基线相媲美，同时降低了编码的比特率。最后，我们表明，几种编码方法在某些情况下导致比传统深度学习基线的性能提高，进一步证明了编码实用值信号中编码算法的尖峰力量艺术技术。

神经形态视觉是一个快速增长的领域，在自动驾驶汽车的感知系统中有许多应用。不幸的是，由于传感器的工作原理，事件流中有很大的噪声。在本文中，我们提出了一种基于IIR滤波器矩阵的新算法，用于过滤此类噪声和硬件体系结构，该算法允许使用SOC FPGA加速。我们的方法具有非常好的过滤效率，无法相关噪声 - 删除了超过99％的嘈杂事件。已经对几个事件数据集进行了测试，并增加了随机噪声。我们设计了硬件体系结构，以减少FPGA内部BRAM资源的利用。这使得每秒的潜伏期非常低，最多可达3858元MERP的事件。在模拟和Xilinx Zynx Zynx Ultrascale+ MPSOC+ MPSOC芯片上，拟议的硬件体系结构在Mercury+ XU9模块上进行了验证。

尖峰神经网络（SNN）为时间信号处理提供了有效的计算机制，尤其是与低功率SNN推理相结合时。历史上很难配置SNN，缺乏为任意任务寻找解决方案的一般方法。近年来，逐渐发芽的优化方法已应用于SNN，并且越来越轻松。因此，SNN和SNN推理处理器为在没有云依赖性的能源约束环境中为商业低功率信号处理提供了一个良好的平台。但是，迄今为止，行业中的ML工程师无法访问这些方法，需要研究生级培训才能成功配置单个SNN应用程序。在这里，我们演示了一条方便的高级管道，用于设计，训练和部署任意的时间信号处理应用程序，向子-MW SNN推理硬件。我们使用用于时间信号处理的新型直接SNN体系结构，使用突触时间常数的金字塔在一系列时间尺度上提取信号特征。我们在环境音频分类任务上演示了这种体系结构，该任务部署在流式传输模式下的Xylo SNN推理处理器上。我们的应用以低功率（<4MUW推理功率）达到了高准确性（98％）和低潜伏期（100ms）。我们的方法使培训和部署SNN应用程序可用于具有通用NN背景的ML工程师，而无需先前的Spiking NNS经验。我们打算将神经形态硬件和SNN成为商业低功率和边缘信号处理应用程序的吸引人选择。

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

Understanding how biological neural networks carry out learning using spike-based local plasticity mechanisms can lead to the development of powerful, energy-efficient, and adaptive neuromorphic processing systems. A large number of spike-based learning models have recently been proposed following different approaches. However, it is difficult to assess if and how they could be mapped onto neuromorphic hardware, and to compare their features and ease of implementation. To this end, in this survey, we provide a comprehensive overview of representative brain-inspired synaptic plasticity models and mixed-signal CMOS neuromorphic circuits within a unified framework. We review historical, bottom-up, and top-down approaches to modeling synaptic plasticity, and we identify computational primitives that can support low-latency and low-power hardware implementations of spike-based learning rules. We provide a common definition of a locality principle based on pre- and post-synaptic neuron information, which we propose as a fundamental requirement for physical implementations of synaptic plasticity. Based on this principle, we compare the properties of these models within the same framework, and describe the mixed-signal electronic circuits that implement their computing primitives, pointing out how these building blocks enable efficient on-chip and online learning in neuromorphic processing systems.

神经形态工程由于其作为研究领域的巨大潜力而​​集中了大量研究人员的努力，以寻找对生物神经系统的优势的利用，而整个大脑的优势是设计更有效，更真实的 - 有能力的应用程序。为了开发尽可能接近生物学的应用，使用了尖峰神经网络（SNN），被认为是生物学上的，并构成了第三代人工神经网络（ANN）。由于某些基于SNN的应用程序可能需要存储数据才能以后使用，因此在数字电路中既存在，又以某种形式，在生物学中，需要尖峰内存。这项工作介绍了内存的尖峰实现，这是计算机架构中最重要的组件之一，在设计完全尖峰计算机时可能至关重要。在设计这种尖峰内存的过程中，还实施了不同的中间组件和测试。测试是在大三角帆神经形态平台上进行的，并允许验证用于构建所构图的方法。此外，这项工作深入研究了如何使用这种方法构建尖峰块，并包括IT和其他类似作品中使用的方法的比较，该作品着重于尖峰组件的设计，其中包括尖峰逻辑门和尖峰记忆。所有实施的块和开发的测试均可在公共存储库中提供。

这项研究提出了依赖电压突触可塑性（VDSP），这是一种新型的脑启发的无监督的本地学习规则，用于在线实施HEBB对神经形态硬件的可塑性机制。拟议的VDSP学习规则仅更新了突触后神经元的尖峰的突触电导，这使得相对于标准峰值依赖性可塑性（STDP）的更新数量减少了两倍。此更新取决于突触前神经元的膜电位，该神经元很容易作为神经元实现的一部分，因此不需要额外的存储器来存储。此外，该更新还对突触重量进行了正规化，并防止重复刺激时的重量爆炸或消失。进行严格的数学分析以在VDSP和STDP之间达到等效性。为了验证VDSP的系统级性能，我们训练一个单层尖峰神经网络（SNN），以识别手写数字。我们报告85.01 $ \ pm $ 0.76％（平均$ \ pm $ s.d。）对于MNIST数据集中的100个输出神经元网络的精度。在缩放网络大小时，性能会提高（400个输出神经元的89.93 $ \ pm $ 0.41％，500个神经元为90.56 $ \ pm $ 0.27），这验证了大规模计算机视觉任务的拟议学习规则的适用性。有趣的是，学习规则比STDP更好地适应输入信号的频率，并且不需要对超参数进行手动调整。

穗状花序的神经形状硬件占据了深度神经网络（DNN）的更节能实现的承诺，而不是GPU的标准硬件。但这需要了解如何在基于事件的稀疏触发制度中仿真DNN，否则能量优势丢失。特别地，解决序列处理任务的DNN通常采用难以使用少量尖峰效仿的长短期存储器（LSTM）单元。我们展示了许多生物神经元的面部，在每个尖峰后缓慢的超积极性（AHP）电流，提供了有效的解决方案。 AHP电流可以轻松地在支持多舱神经元模型的神经形状硬件中实现，例如英特尔的Loihi芯片。滤波近似理论解释为什么AHP-Neurons可以模拟LSTM单元的功能。这产生了高度节能的时间序列分类方法。此外，它为实现了非常稀疏的大量大型DNN来实现基础，这些大型DNN在文本中提取单词和句子之间的关系，以便回答有关文本的问题。

具有大脑般的组织和设备物理学的混合信号神经形态处理器为传统深度学习和计算的不可持续发展提供了超低功率的替代方案。但是，意识到这种神经形态硬件的潜力需要有效利用其异质的，模拟神经突触电路，采用神经计算方法来稀疏，基于尖峰的编码和处理。在这里，我们研究了平衡兴奋性抑制性抑制性横向连接作为实施丘脑皮层启发的时空相关器（STC）神经网络的一种资源有效机制，而无需使用专用的延迟机制。我们提出了使用DynAP-SE神经形态处理器进行硬件的环境实验，其中在STC网络中，在STC网络中，无均匀重合检测神经元的接收场通过随机输入采样绘制，每个列中有四个侧向传入连接。此外，我们演示了如何调整这种神经元来检测特定的时空特征，该特征通过模拟突触电路的离散地址编程。双突触连接的能量耗散是每个横向连接（0.65 NJ vs 9.6 NJ）比STC的前一个基于延迟的硬件实现的数量级（0.65 nj vs 9.6 NJ）。

为了在专门的神经形态硬件中进行节能计算，我们提出了尖峰神经编码，这是基于预测性编码理论的人工神经模型家族的实例化。该模型是同类模型，它是通过在“猜测和检查”的永无止境过程中运行的，神经元可以预测彼此的活动值，然后调整自己的活动以做出更好的未来预测。我们系统的互动性，迭代性质非常适合感官流预测的连续时间表述，并且如我们所示，模型的结构产生了局部突触更新规则，可以用来补充或作为在线峰值定位的替代方案依赖的可塑性。在本文中，我们对模型的实例化进行了实例化，该模型包括泄漏的集成和火灾单元。但是，我们系统所在的框架自然可以结合更复杂的神经元，例如Hodgkin-Huxley模型。我们在模式识别方面的实验结果证明了当二进制尖峰列车是通信间通信的主要范式时，模型的潜力。值得注意的是，尖峰神经编码在分类绩效方面具有竞争力，并且在从任务序列中学习时会降低遗忘，从而提供了更经济的，具有生物学上的替代品，可用于流行的人工神经网络。

To increase the quality of citizens' lives, we designed a personalized smart chair system to recognize sitting behaviors. The system can receive surface pressure data from the designed sensor and provide feedback for guiding the user towards proper sitting postures. We used a liquid state machine and a logistic regression classifier to construct a spiking neural network for classifying 15 sitting postures. To allow this system to read our pressure data into the spiking neurons, we designed an algorithm to encode map-like data into cosine-rank sparsity data. The experimental results consisting of 15 sitting postures from 19 participants show that the prediction precision of our SNN is 88.52%.

最近的研究表明，卷积神经网络（CNNS）不是图像分类的唯一可行的解决方案。此外，CNN中使用的重量共享和反向验证不对应于预测灵长类动物视觉系统中存在的机制。为了提出更加生物合理的解决方案，我们设计了使用峰值定时依赖性塑性（STDP）和其奖励调制变体（R-STDP）学习规则训练的本地连接的尖峰神经网络（SNN）。使用尖刺神经元和局部连接以及强化学习（RL）将我们带到了所提出的架构中的命名法生物网络。我们的网络由速率编码的输入层组成，后跟局部连接的隐藏层和解码输出层。采用尖峰群体的投票方案进行解码。我们使用Mnist DataSet获取图像分类准确性，并评估我们有益于于不同目标响应的奖励系统的稳健性。

Spiking neural networks (SNN) are a viable alternative to conventional artificial neural networks when energy efficiency and computational complexity are of importance. A major advantage of SNNs is their binary information transfer through spike trains. The training of SNN has, however, been a challenge, since neuron models are non-differentiable and traditional gradient-based backpropagation algorithms cannot be applied directly. Furthermore, spike-timing-dependent plasticity (STDP), albeit being a spike-based learning rule, updates weights locally and does not optimize for the output error of the network. We present desire backpropagation, a method to derive the desired spike activity of neurons from the output error. The loss function can then be evaluated locally for every neuron. Incorporating the desire values into the STDP weight update leads to global error minimization and increasing classification accuracy. At the same time, the neuron dynamics and computational efficiency of STDP are maintained, making it a spike-based supervised learning rule. We trained three-layer networks to classify MNIST and Fashion-MNIST images and reached an accuracy of 98.41% and 87.56%, respectively. Furthermore, we show that desire backpropagation is computationally less complex than backpropagation in traditional neural networks.