时间序列数据的持续学习（CL）代表了现实世界应用的有希望但知之甚少的途径。我们为人类国家监测提出了两个新的CLENG基准。我们仔细设计了基准，以反映现实世界中的环境，其中不断添加新主题。我们进行了经验评估，以评估流行策略减轻基准中遗忘的能力。我们的结果表明，可能由于我们的基准的领域收入属性，即使使用简单的填充也可以轻松解决忘记，并且现有的策略在积累固定，固定的，测试的主题上积累知识而挣扎。

在不同的持续学习场景中可以经验经验评估模型的能力。每种情况都定义了限制和学习环境的机会。在这里，我们挑战了持续学习文学中的当前趋势，主要是在类渐进式场景上进行实验，其中一项经验中的课程从未被重新审视。我们对这种环境的过度注重可能是对持续学习的未来研究来限制，因为类增量场景人为地加剧了灾难性的遗忘，以牺牲其他重要目标等于前向传递和计算效率。在许多现实世界环境中，实际上，重复先前遇到的概念自然地发生，有助于软化对先前知识的破坏。我们倡导更深入地研究替代持续学习场景，其中重复通过传入信息流中的设计集成。从已经现有的提案开始，我们描述了这种级别的级别与重复方案的优势可以提供更全面的持续学习模型的评估。

在线持续学习是一个充满挑战的学习方案，模型必须从非平稳的数据流中学习，其中每个样本只能看到一次。主要的挑战是在避免灾难性遗忘的同时逐步学习，即在从新数据中学习时忘记先前获得的知识的问题。在这种情况下，一种流行的解决方案是使用较小的内存来保留旧数据并随着时间的推移进行排练。不幸的是，由于内存尺寸有限，随着时间的推移，内存的质量会恶化。在本文中，我们提出了OLCGM，这是一种基于新型重放的持续学习策略，该策略使用知识冷凝技术连续压缩记忆并更好地利用其有限的尺寸。样品冷凝步骤压缩了旧样品，而不是像其他重播策略那样将其删除。结果，实验表明，每当与数据的复杂性相比，每当记忆预算受到限制，OLCGM都会提高与最先进的重播策略相比的最终准确性。

近年来，在数字病理应用中，在研究和临床环境中越来越普遍的部署这些模型的部署证明了在数字病理应用中的深度学习模型的开发方面取得了巨大进步。尽管此类模型在解决DP应用程序中的基本计算任务方面表现出了前所未有的表现，但在适应转移学习的看不见数据时，它们会遭受灾难性的遗忘。随着对深度学习模型的需求越来越多地处理不断变化的数据分布，包括不断发展的患者人群和新的诊断测定法，持续的学习模型减轻了模型忘记的遗忘，需要在基于DP的分析中引入。但是，据我们所知，没有针对DP特定应用的此类模型的系统研究。在这里，我们提出了DP设置中的CL方案，其中的组织病理学图像数据来自不同来源/分布，其知识已集成到单个模型中，而无需从头开始训练所有数据。然后，我们建立了一个用于结直肠癌H＆E分类的增强数据集，以模拟图像外观的变化，并在拟议的CL方案中评估了CL模型性能。我们利用乳腺肿瘤H＆E数据集以及结直肠癌来评估不同肿瘤类型的CL。此外，我们在注释和计算资源的限制下在在线几弹性设置中评估了CL方法。我们揭示了DP应用中CL的有希望的结果，这可能为这些方法在临床实践中的应用铺平了道路。

如今，预测机器学习模型通常以无状态和昂贵的方式进行更新。想要建立基于机器学习的应用程序和系统的公司的两个主要未来趋势是实时推理和持续更新。不幸的是，这两种趋势都需要一个成熟的基础设施，这很难实现本地人。本文定义了一种新颖的软件服务和模型交付基础架构，称为连续学习 - 服务（CLAAS）来解决这些问题。具体而言，它包含持续的机器学习和连续的集成技术。它为数据科学家提供了模型更新和验证工具的支持，而无需进行本地解决方案，并且以高效，陈述和易于使用的方式提供了支持。最后，此CL模型服务易于封装在任何机器学习基础架构或云系统中。本文介绍了在两种现实世界中评估的CLAAS实例化的设计和实现。前者是使用core50数据集的机器人对象识别设置，而后者是命名类别，并且使用时尚域中的deepfashion-c数据集属性预测。我们的初步结果表明，无论计算在Continuum Edge-Cloud中的何处，连续学习模型服务的可用性和效率以及解决方案在解决现实世界用例中的有效性。

持续学习（CL，有时也称为增量学习）是机器学习的一种味道，在该口味中，通常会放松或省略固定数据分布的通常假设。当天然应用时，例如CL问题中的DNNS时，数据分布的变化会导致所谓的灾难性遗忘（CF）效应：突然丧失了先前的知识。尽管近年来已经为启用CL做出了许多重大贡献，但大多数作品都解决了受监督的（分类）问题。本文回顾了在其他环境中研究CL的文献，例如通过减少监督，完全无监督的学习和强化学习的学习。除了提出一个简单的模式用于分类CL方法W.R.T.他们的自主权和监督水平，我们讨论了与每种设置相关的具体挑战以及对CL领域的潜在贡献。

从非稳定性数据流不断学习是过去几年中日益普及的具有挑战性的研究课题。能够在高效，有效和可扩展的方式中不断地学习，适应和推广，是人工智能系统可持续发展的基础。然而，以持续学习的代理为中心的视图需要直接学习原始数据，这限制了独立代理，效率和当前方法的隐私之间的相互作用。相反，我们认为，持续学习系统应该利用经过培训的模型的形式利用压缩信息的可用性。在本文中，我们介绍并将一个名为“EX-Modul持续学习”（EXML）的新范式介绍并形式化，其中代理从一系列先前培训的模型而不是原始数据学习。我们进一步贡献了三种前模型连续学习算法和包括三个数据集（Mnist，CiFar-10和Core50）的经验设置，以及所提出的算法广泛测试的八种情况。最后，我们突出了前模式范式的特点，我们指出了有趣的未来研究方向。

Continual Learning is a step towards lifelong intelligence where models continuously learn from recently collected data without forgetting previous knowledge. Existing continual learning approaches mostly focus on image classification in the class-incremental setup with clear task boundaries and unlimited computational budget. This work explores Online Domain-Incremental Continual Segmentation~(ODICS), a real-world problem that arises in many applications, \eg, autonomous driving. In ODICS, the model is continually presented with batches of densely labeled images from different domains; computation is limited and no information about the task boundaries is available. In autonomous driving, this may correspond to the realistic scenario of training a segmentation model over time on a sequence of cities. We analyze several existing continual learning methods and show that they do not perform well in this setting despite working well in class-incremental segmentation. We propose SimCS, a parameter-free method complementary to existing ones that leverages simulated data as a continual learning regularizer. Extensive experiments show consistent improvements over different types of continual learning methods that use regularizers and even replay.

深度学习模型在识别医学图像中的发现方面表现出了极大的有效性。但是，他们无法处理不断变化的临床环境，从而带来了来自不同来源的新注释的医学数据。为了利用传入的数据流，这些模型将在很大程度上受益于从新样本中依次学习，而不会忘记先前获得的知识。在本文中，我们通过应用现有的最新持续学习方法介绍了MedMnist收集中连续疾病分类的基准。特别是，我们考虑了三种连续的学习方案，即任务和班级增量学习以及新定义的跨域增量学习。疾病的任务和班级增量学习解决了对新样本进行分类的问题，而无需重新从头开始模型，而跨域增量学习解决了处理源自不同机构的数据集的问题，同时保留了先前获得的知识。我们对表现进行彻底的分析，并研究如何在这种情况下表现出灾难性遗忘的持续学习挑战。令人鼓舞的结果表明，持续学习具有推进疾病分类并为临床环境产生更强大，更有效的学习框架的主要潜力。将公开提供完整基准测试的代码存储库，数据分区和基线结果。

Continual Learning, also known as Lifelong or Incremental Learning, has recently gained renewed interest among the Artificial Intelligence research community. Recent research efforts have quickly led to the design of novel algorithms able to reduce the impact of the catastrophic forgetting phenomenon in deep neural networks. Due to this surge of interest in the field, many competitions have been held in recent years, as they are an excellent opportunity to stimulate research in promising directions. This paper summarizes the ideas, design choices, rules, and results of the challenge held at the 3rd Continual Learning in Computer Vision (CLVision) Workshop at CVPR 2022. The focus of this competition is the complex continual object detection task, which is still underexplored in literature compared to classification tasks. The challenge is based on the challenge version of the novel EgoObjects dataset, a large-scale egocentric object dataset explicitly designed to benchmark continual learning algorithms for egocentric category-/instance-level object understanding, which covers more than 1k unique main objects and 250+ categories in around 100k video frames.

恶意软件（恶意软件）分类为持续学习（CL）制度提供了独特的挑战，这是由于每天收到的新样本的数量以及恶意软件的发展以利用新漏洞。在典型的一天中，防病毒供应商将获得数十万个独特的软件，包括恶意和良性，并且在恶意软件分类器的一生中，有超过十亿个样品很容易积累。鉴于问题的规模，使用持续学习技术的顺序培训可以在减少培训和存储开销方面提供可观的好处。但是，迄今为止，还没有对CL应用于恶意软件分类任务的探索。在本文中，我们研究了11种应用于三个恶意软件任务的CL技术，涵盖了常见的增量学习方案，包括任务，类和域增量学习（IL）。具体而言，使用两个现实的大规模恶意软件数据集，我们评估了CL方法在二进制恶意软件分类（domain-il）和多类恶意软件家庭分类（Task-IL和类IL）任务上的性能。令我们惊讶的是，在几乎所有情况下，持续的学习方法显着不足以使训练数据的幼稚关节重播 - 在某些情况下，将精度降低了70个百分点以上。与关节重播相比，有选择性重播20％的存储数据的一种简单方法可以实现更好的性能，占训练时间的50％。最后，我们讨论了CL技术表现出乎意料差的潜在原因，希望它激发进一步研究在恶意软件分类域中更有效的技术。

Continual Learning (CL) is a field dedicated to devise algorithms able to achieve lifelong learning. Overcoming the knowledge disruption of previously acquired concepts, a drawback affecting deep learning models and that goes by the name of catastrophic forgetting, is a hard challenge. Currently, deep learning methods can attain impressive results when the data modeled does not undergo a considerable distributional shift in subsequent learning sessions, but whenever we expose such systems to this incremental setting, performance drop very quickly. Overcoming this limitation is fundamental as it would allow us to build truly intelligent systems showing stability and plasticity. Secondly, it would allow us to overcome the onerous limitation of retraining these architectures from scratch with the new updated data. In this thesis, we tackle the problem from multiple directions. In a first study, we show that in rehearsal-based techniques (systems that use memory buffer), the quantity of data stored in the rehearsal buffer is a more important factor over the quality of the data. Secondly, we propose one of the early works of incremental learning on ViTs architectures, comparing functional, weight and attention regularization approaches and propose effective novel a novel asymmetric loss. At the end we conclude with a study on pretraining and how it affects the performance in Continual Learning, raising some questions about the effective progression of the field. We then conclude with some future directions and closing remarks.

人类在整个生命周期中不断学习，通过积累多样化的知识并为未来的任务进行微调。当出现类似目标时，神经网络会遭受灾难性忘记，在学习过程中跨顺序任务跨好任务的数据分布是否不固定。解决此类持续学习（CL）问题的有效方法是使用超网络为目标网络生成任务依赖权重。但是，现有基于超网的方法的持续学习性能受到整个层之间权重的独立性的假设，以维持参数效率。为了解决这一限制，我们提出了一种新颖的方法，该方法使用依赖关系保留超网络来为目标网络生成权重，同时还保持参数效率。我们建议使用基于复发的神经网络（RNN）的超网络，该网络可以有效地生成层权重，同时允许在它们的依赖关系中。此外，我们为基于RNN的超网络提出了新颖的正则化和网络增长技术，以进一步提高持续的学习绩效。为了证明所提出的方法的有效性，我们对几个图像分类持续学习任务和设置进行了实验。我们发现，基于RNN HyperNetworks的建议方法在所有这些CL设置和任务中都优于基准。

古典机器学习者仅设计用于解决一项任务，而无需采用新的新兴任务或课程，而这种能力在现实世界中更实用和人类。为了解决这种缺点，阐述了持续的机器学习者，以表彰使用域和班级的任务流，不同的任务之间的转变。在本文中，我们提出了一种基于一个基于对比的连续学习方法，其能够处理多个持续学习场景。具体地，我们通过特征传播和对比表示学习来对准当前和先前的表示空间来弥合不同任务之间的域移位。为了进一步减轻特征表示的类别的班次，利用了监督的对比损失以使与不同类别的相同类的示例嵌入。广泛的实验结果表明，与一组尖端连续学习方法相比，六个连续学习基准中提出的方法的出色性能。

持续学习研究的主要重点领域是通过设计新算法对分布变化更强大的新算法来减轻神经网络中的“灾难性遗忘”问题。尽管持续学习文献的最新进展令人鼓舞，但我们对神经网络的特性有助于灾难性遗忘的理解仍然有限。为了解决这个问题，我们不关注持续的学习算法，而是在这项工作中专注于模型本身，并研究神经网络体系结构对灾难性遗忘的“宽度”的影响，并表明宽度在遗忘遗产方面具有出人意料的显着影响。为了解释这种效果，我们从各个角度研究网络的学习动力学，例如梯度正交性，稀疏性和懒惰的培训制度。我们提供了与不同架构和持续学习基准之间的经验结果一致的潜在解释。

人类智慧的主食是以不断的方式获取知识的能力。在Stark对比度下，深网络忘记灾难性，而且为此原因，类增量连续学习促进方法的子字段逐步学习一系列任务，将顺序获得的知识混合成综合预测。这项工作旨在评估和克服我们以前提案黑暗体验重播（Der）的陷阱，这是一种简单有效的方法，将排练和知识蒸馏结合在一起。灵感来自于我们的思想不断重写过去的回忆和对未来的期望，我们赋予了我的能力，即我的能力来修改其重播记忆，以欢迎有关过去数据II的新信息II）为学习尚未公开的课程铺平了道路。我们表明，这些策略的应用导致了显着的改进;实际上，得到的方法 - 被称为扩展-DAR（X-DER） - 优于标准基准（如CiFar-100和MiniimAgeNet）的技术状态，并且这里引入了一个新颖的。为了更好地了解，我们进一步提供了广泛的消融研究，以证实并扩展了我们以前研究的结果（例如，在持续学习设置中知识蒸馏和漂流最小值的价值）。

持续学习旨在从一系列任务中学习，能够同时记住新任务和旧任务。尽管提出了许多用于单级分类的方法，但在连续场景中，多标签分类仍然是一个具有挑战性的问题。我们第一次在域增量学习方案中研究多标签分类。此外，我们提出了一种有效的方法，该方法在任务数量方面具有对数复杂性，并且也可以在类增量学习方案中应用。我们在包装行业的现实世界多标签警报预测问题上验证了我们的方法。为了重现性，公开可用的数据集和用于实验的代码。

持续学习（CL）调查如何在无需遗忘的情况下培训在任务流上的深网络。文献中提出的CL设置假设每个传入示例都与地面真实注释配对。然而，这与许多真实应用的冲突这项工作探讨了持续的半监督学习（CSSL）：这里只有一小部分标记的输入示例显示给学习者。我们评估当前CL方法（例如：EWC，LWF，Icarl，ER，GDumb，Der）在这部小说和具有挑战性的情况下，过度装箱纠缠忘记。随后，我们设计了一种新的CSSL方法，用于在学习时利用度量学习和一致性正则化来利用未标记的示例。我们展示我们的提案对监督越来越令人惊讶的是，我们的提案呈现出更高的恢复能力，甚至更令人惊讶地，仅依赖于25％的监督，以满足全面监督培训的优于营业型SOTA方法。

我们引入了一个新的培训范式，该范围对神经网络参数空间进行间隔约束以控制遗忘。当代持续学习（CL）方法从一系列数据流有效地培训神经网络，同时减少灾难性遗忘的负面影响，但它们不能提供任何确保的确保网络性能不会随着时间的流逝而无法控制地恶化。在这项工作中，我们展示了如何通过将模型的持续学习作为其参数空间的持续收缩来遗忘。为此，我们提出了Hypertrectangle训练，这是一种新的训练方法，其中每个任务都由参数空间中的超矩形表示，完全包含在先前任务的超矩形中。这种配方将NP-HARD CL问题降低到多项式时间，同时提供了完全防止遗忘的弹性。我们通过开发Intercontinet（间隔持续学习）算法来验证我们的主张，该算法利用间隔算术来有效地将参数区域建模为高矩形。通过实验结果，我们表明我们的方法在不连续的学习设置中表现良好，而无需存储以前的任务中的数据。

持续的学习方法通​​过试图解决灾难性遗忘来帮助深度神经网络模型适应和逐步学习。但是，无论这些现有方法是否传统上应用于基于图像的任务，都具有与移动或嵌入式传感系统生成的顺序时间序列数据相同的疗效仍然是一个未解决的问题。为了解决这一空白，我们进行了第一项全面的经验研究，该研究量化了三个主要的持续学习方案的性能（即，在三个移动和嵌入式感应应用程序中的六个数据集中的三个主要的持续学习方案（即正规化，重播和重播）的性能。不同的学习复杂性。更具体地说，我们在Edge设备上实现了端到端连续学习框架。然后，我们研究了不同持续学习方法的性能，存储，计算成本和记忆足迹之间的普遍性，权衡。我们的发现表明，以示例性计划（例如ICARL）重播，即使在复杂的场景中，甚至在复杂的场景中都具有最佳的性能权衡，以牺牲一些存储空间（少数MB）来训练示例（1％至5％）。我们还首次证明，以有限的记忆预算进行连续学习，可行和实用。特别是，两种类型的移动设备和嵌入式设备的延迟表明，可以接受递增的学习时间（几秒钟-4分钟）和培训时间（1-75分钟），可以接受，因为嵌入式嵌入式时可能会在设备上进行培训设备正在充电，从而确保完整的数据隐私。最后，我们为希望将不断学习范式应用于移动传感任务的从业者提供了一些准则。