地球上所有双侧对称动物的大脑被分为左右半球。半球的解剖学和功能具有很大程度的重叠，但它们专门具有不同的属性。据信左半球专门研究特殊性和常规，右边是一般性和新颖性。在这项研究中，我们提出了一个人工神经网络，该网络模仿具有不同训练目标的两个卷积神经网络，并在图像分类任务上对其进行测试。双边体系结构的表现优于类似代表能力的体系结构，这些体系结构不利用差异化专业化。它证明了双边主义的功效，并构成了一个新原则，可以将其纳入其他计算神经科学模型中，并在设计新的ML系统时用作归纳偏见。对模型的分析可以帮助我们理解人脑。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

Humans and animals have the ability to continually acquire, fine-tune, and transfer knowledge and skills throughout their lifespan. This ability, referred to as lifelong learning, is mediated by a rich set of neurocognitive mechanisms that together contribute to the development and specialization of our sensorimotor skills as well as to long-term memory consolidation and retrieval. Consequently, lifelong learning capabilities are crucial for computational systems and autonomous agents interacting in the real world and processing continuous streams of information. However, lifelong learning remains a long-standing challenge for machine learning and neural network models since the continual acquisition of incrementally available information from non-stationary data distributions generally leads to catastrophic forgetting or interference. This limitation represents a major drawback for state-of-the-art deep neural network models that typically learn representations from stationary batches of training data, thus without accounting for situations in which information becomes incrementally available over time. In this review, we critically summarize the main challenges linked to lifelong learning for artificial learning systems and compare existing neural network approaches that alleviate, to different extents, catastrophic forgetting. Although significant advances have been made in domain-specific learning with neural networks, extensive research efforts are required for the development of robust lifelong learning on autonomous agents and robots. We discuss well-established and emerging research motivated by lifelong learning factors in biological systems such as structural plasticity, memory replay, curriculum and transfer learning, intrinsic motivation, and multisensory integration.

仅基于神经网络或符号计算的人工智能（AI）系统提出了代表性的复杂性挑战。虽然最小的表示可以产生行业或简单决策等行为输出，但更精细的内部表示可能会提供更丰富的行为。我们建议可以使用称为元模型的计算方法来解决这些问题。元模型是体现的混合模型，其中包括具有不同程度的表示复杂性的分层组件。我们将提出使用专门类型的模型组成的层组合。这种关系模仿了哺乳动物大脑的新皮质 - 丘脑系统关系，而不是使用通用黑匣子方法统一每个组件，它使用了前馈和反馈连接来促进功能通信。重要的是，可以在解剖学上显式建立层之间的关系。这允许可以以有趣的方式将结构特异性纳入模型的功能。我们将提出几种类型的层，这些层可能会在功能上集成到执行独特类型的任务的代理中，从同时执行形态发生和感知的代理到经历形态发生以及同时获得概念表示的代理。我们对元模型模型的方法涉及创建具有不同程度的代表性复杂性的模型，创建分层的元结构结构，模仿生物学大脑的结构和功能异质性，并具有足够灵活的输入/输出方法，以适应认知功能，社交互动，社交互动，社会互动，和自适应行为。我们将通过提出这种灵活和开源方法的开发中的下一步来得出结论。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

尽管人工神经网络（ANN）取得了重大进展，但其设计过程仍在臭名昭著，这主要取决于直觉，经验和反复试验。这个依赖人类的过程通常很耗时，容易出现错误。此外，这些模型通常与其训练环境绑定，而没有考虑其周围环境的变化。神经网络的持续适应性和自动化对于部署后模型可访问性的几个领域至关重要（例如，IoT设备，自动驾驶汽车等）。此外，即使是可访问的模型，也需要频繁的维护后部署后，以克服诸如概念/数据漂移之类的问题，这可能是繁琐且限制性的。当前关于自适应ANN的艺术状况仍然是研究的过早领域。然而，一种自动化和持续学习形式的神经体系结构搜索（NAS）最近在深度学习研究领域中获得了越来越多的动力，旨在提供更强大和适应性的ANN开发框架。这项研究是关于汽车和CL之间交集的首次广泛综述，概述了可以促进ANN中充分自动化和终身可塑性的不同方法的研究方向。

建立一种人类综合人工认知系统，即人工综合情报（AGI），是人工智能（AI）领域的圣杯。此外，实现人工系统实现认知发展的计算模型将是脑和认知科学的优秀参考。本文介绍了一种通过集成元素认知模块来开发认知架构的方法，以实现整个模块的训练。这种方法是基于两个想法：（1）脑激发AI，学习人类脑建筑以构建人类级智能，（2）概率的生成模型（PGM）基础的认知系统，为发展机器人开发认知系统通过整合PGM。发展框架称为全大脑PGM（WB-PGM），其根本地不同于现有的认知架构，因为它可以通过基于感官电机信息的系统不断学习。在这项研究中，我们描述了WB-PGM的基本原理，基于PGM的元素认知模块的当前状态，与人类大脑的关系，对认知模块的整合的方法，以及未来的挑战。我们的研究结果可以作为大脑研究的参考。随着PGMS描述变量之间的明确信息关系，本说明书提供了从计算科学到脑科学的可解释指导。通过提供此类信息，神经科学的研究人员可以向AI和机器人提供的研究人员提供反馈，以及目前模型缺乏对大脑的影响。此外，它可以促进神经认知科学的研究人员以及AI和机器人的合作。

过去几十年来看，越来越多地采用的非侵入性神经影像学技术越来越大的进步，以检查人脑发展。然而，这些改进并不一定是更复杂的数据分析措施，能够解释功能性大脑发育的机制。例如，从单变量（大脑中的单个区域）转变为多变量（大脑中的多个区域）分析范式具有重要意义，因为它允许调查不同脑区之间的相互作用。然而，尽管对发育大脑区域之间的相互作用进行了多变量分析，但应用了人工智能（AI）技术，使分析不可解释。本文的目的是了解电流最先进的AI技术可以通知功能性大脑发展的程度。此外，还审查了哪种AI技术基于由发育认知神经科学（DCN）框架所定义的大脑发展的过程来解释他们的学习。这项工作还提出说明可解释的AI（Xai）可以提供可行的方法来调查功能性大脑发育，如DCN框架的假设。

虽然深馈神经网络与灵长类动物视觉系统共享一些特征，但一个关键区别是他们的动态。深网络通常在串行阶段操作，其中每个层在处理开始于后续层之前完成其计算。相反，生物系统具有级联动力学：信息从所有层的神经元并行地传播，但是逐渐发生变速器，即使在馈送架构中也逐渐发生速度准确性贸易。我们通过构造级联的RESNET来探讨生物学激活的并行硬件的后果，其中每个残差块具有传播延迟，但所有块以状态方式更新。由于通过跳过连接传输的信息避免了延迟，所以架构的功能深度随着时间的推移而增加，因此随时通过内部处理时间来改善的任何时间预测。我们介绍了一个时间差异的培训损失，通过标准损耗实现了严格卓越的速度准确性概况，并使级联架构能够以最先进的任何时间预测方法。级联体系结构具有迷恋属性，包括：它比非典型实例更快地分类典型实例;对于持久性和瞬态噪声比传统的reset来说更强大;其时变输出跟踪提供了一种可以利用以改善信息处理和推理的信号。

尖峰神经网络（SNN）引起了脑启发的人工智能和计算神经科学的广泛关注。它们可用于在多个尺度上模拟大脑中的生物信息处理。更重要的是，SNN是适当的抽象水平，可以将大脑和认知的灵感带入人工智能。在本文中，我们介绍了脑启发的认知智力引擎（Braincog），用于创建脑启发的AI和脑模拟模型。 Braincog将不同类型的尖峰神经元模型，学习规则，大脑区域等作为平台提供的重要模块。基于这些易于使用的模块，BrainCog支持各种受脑启发的认知功能，包括感知和学习，决策，知识表示和推理，运动控制和社会认知。这些受脑启发的AI模型已在各种受监督，无监督和强化学习任务上有效验证，并且可以用来使AI模型具有多种受脑启发的认知功能。为了进行大脑模拟，Braincog实现了决策，工作记忆，神经回路的结构模拟以及小鼠大脑，猕猴大脑和人脑的整个大脑结构模拟的功能模拟。一个名为BORN的AI引擎是基于Braincog开发的，它演示了如何将Braincog的组件集成并用于构建AI模型和应用。为了使科学追求解码生物智能的性质并创建AI，Braincog旨在提供必要且易于使用的构件，并提供基础设施支持，以开发基于脑部的尖峰神经网络AI，并模拟认知大脑在多个尺度上。可以在https://github.com/braincog-x上找到Braincog的在线存储库。

使用加强，监督和无监督学习培训的人工神经系统培训全部获取高维输入的内部表示。这些表现在多大程度上取决于不同的学习目标在很大程度上是未知的。在这里，我们将八个不同的卷积神经网络学到的表示，每个都具有相同的reset架构，并在同一个自我图像的图像上培训，而是嵌入在不同的学习系统中。具体地，培训表示以在复合增强学习任务中引导动作;预测三个与监督有三个任务相关目标的组合;或者使用三种不同无监督的目标之一。使用代表性相似性分析，我们发现，通过加强学习培训的网络与其他网络的不同之处不同。通过进一步的分析，使用由神经科学文献的灵感的度量，我们发现用加强学习训练的模型具有稀疏和高维表示，其中单个图像用非常不同的神经活动模式表示。进一步的分析表明，这些陈述可能出现，以指导在RL代理中的长期行为和目标寻求。我们的结果提供了探讨神经表征的特性如何受目标职能影响，并可以告知转移学习方法。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.

在流行媒体中，人造代理商的意识出现与同时实现人类或超人水平智力的那些相同的代理之间通常存在联系。在这项工作中，我们探讨了意识和智力之间这种看似直观的联系的有效性和潜在应用。我们通过研究与三种当代意识功能理论相关的认知能力：全球工作空间理论（GWT），信息生成理论（IGT）和注意力模式理论（AST）。我们发现，这三种理论都将有意识的功能专门与人类领域将军智力的某些方面联系起来。有了这个见解，我们转向人工智能领域（AI），发现尽管远未证明一般智能，但许多最先进的深度学习方法已经开始纳入三个功能的关键方面理论。确定了这一趋势后，我们以人类心理时间旅行的激励例子来提出方式，其中三种理论中每种理论的见解都可以合并为一个单一的统一和可实施的模型。鉴于三种功能理论中的每一种都可以通过认知能力来实现这一可能，因此，具有精神时间旅行的人造代理不仅具有比当前方法更大的一般智力，而且还与我们当前对意识功能作用的理解更加一致在人类中，这使其成为AI研究的有希望的近期目标。

在过去的几十年中，人工智能领域大大进展，灵感来自生物学和神经科学领域的发现。这项工作的想法是由来自传入和横向/内部联系的人脑中皮质区域的自组织过程的过程启发。在这项工作中，我们开发了一个原始的脑激发神经模型，将自组织地图（SOM）和Hebbian学习在重新参与索马里（RESOM）模型中。该框架应用于多模式分类问题。与基于未经监督的学习的现有方法相比，该模型增强了最先进的结果。这项工作还通过在名为SPARP（自配置3D蜂窝自适应平台）的专用FPGA的平台上的模拟结果和硬件执行，演示了模型的分布式和可扩展性。头皮板可以以模块化方式互连，以支持神经模型的结构。这种统一的软件和硬件方法使得能够缩放处理并允许来自多个模态的信息进行动态合并。硬件板上的部署提供了在多个设备上并行执行的性能结果，通过专用串行链路在每个板之间的通信。由于多模式关联，所提出的统一架构，由RESOM模型和头皮硬件平台组成的精度显着提高，与集中式GPU实现相比，延迟和功耗之间的良好折衷。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

Neuroomaging的最新进展以及网络数据统计学习中的算法创新提供了一种独特的途径，可以集成大脑结构和功能，从而有助于揭示系统水平的一些大脑组织原则。在此方向上，我们通过曲线图编码器 - 解码器系统制定了一种模拟脑结构连接（SC）和功能连接（FC）之间的关系的监督图形表示学习框架，其中SC用作预测经验FC的输入。训练图卷积编码器捕获模拟实际神经通信的大脑区域之间的直接和间接相互作用，以及集成结构网络拓扑和节点（即，区域特定的）属性的信息。编码器学习节点级SC嵌入，它们组合以生成用于重建经验FC网络的（全大脑）图级表示。所提出的端到端模型利用多目标损失函数来共同重建FC网络，并学习用于下游主题的SC-To-Fc映射的判别图表表示（即，图形级）分类。综合实验表明，所述关系的学习表现从受试者的脑网络的内在属性中捕获有价值的信息，并导致提高对来自人类连接项目的大量重型饮酒者和非饮酒者的准确性提高。我们的工作提供了关于脑网络之间关系的新见解，支持使用图形表示学习的有希望的前景，了解有关人脑活动和功能的更多信息。

这篇理论文章研究了如何在计算机中构建类似人类的工作记忆和思维过程。应该有两个工作记忆存储，一个类似于关联皮层中的持续点火，另一个类似于大脑皮层中的突触增强。这些商店必须通过环境刺激或内部处理产生的新表示不断更新。它们应该连续更新，并以一种迭代的方式进行更新，这意味着在下一个状态下，应始终保留一组共同工作中的某些项目。因此，工作记忆中的一组概念将随着时间的推移逐渐发展。这使每个状态都是对先前状态的修订版，并导致连续的状态与它们所包含的一系列表示形式重叠和融合。随着添加新表示形式并减去旧表示形式，在这些更改过程中，有些保持活跃几秒钟。这种持续活动，类似于人工复发性神经网络中使用的活动，用于在整个全球工作区中传播激活能量，以搜索下一个关联更新。结果是能够朝着解决方案或目标前进的联想连接的中间状态链。迭代更新在这里概念化为信息处理策略，一种思想流的计算和神经生理决定因素以及用于设计和编程人工智能的算法。