位置识别是机器人技术的基本组成部分，近年来通过使用深度学习模型看到了巨大的改进。当部署在看不见或高度动态的环境中时，网络可以体验到大幅下降，并且需要对收集的数据进行其他培训。但是，对新训练分布进行天真的微调会导致先前访问的域上的性能严重降解，这一现象被称为灾难性遗忘。在本文中，我们解决了点云识别的增量学习问题，并引入了基于结构感知蒸馏的方法，可保留网络嵌入空间的高阶结构。我们在四个流行和大规模的激光雷达数据集（牛津，木兰，内部和基蒂）上介绍了几个挑战性的新基准测试，在各种网络架构上显示了Point Cloud Plote识别性能的广泛改进。据我们所知，这项工作是第一个有效地将增量学习应用于Point Cloud Place识别的工作。

循环闭合检测是同时定位和映射（SLAM）系统的重要组成部分，这减少了随时间累积的漂移。多年来，已经提出了一些深入的学习方法来解决这项任务，但是与手工制作技术相比，他们的表现一直是SubPar，特别是在处理反向环的同时。在本文中，我们通过同时识别先前访问的位置并估计当前扫描与地图之间的6-DOF相对变换，有效地检测LIDAR点云中的LINAS点云中的环闭环的新颖LCDNET。 LCDNET由共享编码器组成，一个地方识别头提取全局描述符，以及估计两个点云之间的变换的相对姿势头。我们基于不平衡的最佳运输理论介绍一种新颖的相对姿势，我们以可分散的方式实现，以便实现端到端训练。在多个现实世界自主驾驶数据集中的LCDNET广泛评估表明我们的方法优于最先进的环路闭合检测和点云登记技术，特别是在处理反向环的同时。此外，我们将所提出的循环闭合检测方法集成到LIDAR SLAM库中，以提供完整的映射系统，并在看不见的城市中使用不同的传感器设置展示泛化能力。

我们提出了BioSlam，这是一个终生的SLAM框架，用于逐步学习各种新出现，并在先前访问的地区保持准确的位置识别。与人类不同，人工神经网络遭受灾难性遗忘的困扰，并在接受新来者训练时可能会忘记先前访问的地区。对于人类而言，研究人员发现，大脑中存在一种记忆重播机制，可以使神经元保持活跃。受到这一发现的启发，Bioslam设计了一个封闭式的生成重播，以根据反馈奖励来控制机器人的学习行为。具体而言，BioSlam提供了一种新型的双记忆机制来维护：1）动态记忆有效地学习新观察结果，以及2）平衡新老知识的静态记忆。当与基于视觉/激光雷达的SLAM系统结合使用时，完整的处理管道可以帮助代理逐步更新位置识别能力，从而强大，从而增强长期位置识别的复杂性。我们在两个渐进式猛击场景中展示了Bioslam。在第一种情况下，基于激光雷达的特工不断穿越具有120公里轨迹的城市尺度环境，并遇到了不同类型的3D几何形状（开放街，住宅区，商业建筑）。我们表明，BioSlam可以逐步更新代理商的位置识别能力，并优于最先进的增量方法，即生成重播24％。在第二种情况下，基于激光镜的代理商在4.5公里的轨迹上反复穿越校园规模区域。 Bioslam可以保证在不同外观下的最先进方法上优于15％的地方识别精度。据我们所知，BioSlam是第一个具有记忆力增强的终身大满贯系统，可以帮助长期导航任务中的逐步识别。

基于图形的大量系统的关键组成部分是能够检测轨迹中的环闭合以减少从探视法累积的漂移。大多数基于激光雷达的方法仅通过仅使用几何信息来实现此目标，而无视场景的语义。在这项工作中，我们介绍了Padloc，这是一种基于激光雷达的环路闭合检测和注册体系结构，其中包括共享的3D卷积特征提取主链，用于环路闭合检测的全局描述符，以及用于点云匹配和注册的新型变压器头。我们提出了多种方法，用于估计基于多样性指数的点匹配置信度。此外，为了提高前向后的一致性，我们建议使用两个共享匹配和注册头，并通过利用估计的相对转换必须相互倒数来交换其源和目标输入。此外，我们以新颖的损失函数的形式利用综合信息在培训期间，将匹配问题折叠为语义标签的分类任务，并作为实例标签的图形连接分配。我们在多个现实世界数据集上对PADLOC进行了广泛的评估，证明它可以实现最新的性能。我们的工作代码可在http://padloc.cs.uni-freiburg.de上公开获得。

很少有类别的课堂学习（FSCIL）旨在使用一些示例逐步微调模型（在基础课上培训），而不忘记先前的培训。最近的工作主要解决了2D图像。但是，由于相机技术的发展，3D点云数据比以往任何时候都更可用，这需要考虑3D数据的FSCIL。本文介绍了3D域中的FSCIL。除了灾难性忘记过去的知识和过度贴合数据的众所周知的问题外，3D FSCIL还可以带来更新的挑战。例如，基类可能在现实情况下包含许多合成实例。相比之下，新型类​​别只有少数几个实际扫描的样本（来自RGBD传感器）以增量步骤获得。由于数据从合成到真实的变化，FSCIL会承受其他挑战，以后的增量步骤降低了性能。我们尝试使用微莎普（正交基矢量）来解决此问题，并使用预定义的一组规则来描述任何3D对象。它支持逐步训练，几乎没有示例将合成与真实数据变化最小化。我们使用流行的合成数据集（ModelNet和Shapenet）和3D实范围的数据集（ScanoBjectNN和CO3D）为3D FSCIL提供新的测试协议。通过比较最先进的方法，我们确定了3D域中方法的有效性。

持续深度学习的领域是一个新兴领域，已经取得了很多进步。但是，同时仅根据图像分类的任务进行了大多数方法，这在智能车辆领域无关。直到最近才提出了班级开展语义分割的方法。但是，所有这些方法都是基于某种形式的知识蒸馏。目前，尚未对基于重播的方法进行调查，这些方法通常在连续的环境中用于对象识别。同时，尽管无监督的语义分割的域适应性获得了很多吸引力，但在持续环境中有关域内收入学习的调查并未得到充分研究。因此，我们工作的目的是评估和调整已建立的解决方案，以连续对象识别语义分割任务，并为连续语义分割的任务提供基线方法和评估协议。首先，我们介绍了类和域内的分割的评估协议，并分析了选定的方法。我们表明，语义分割变化的任务的性质在减轻与图像分类相比最有效的方法中最有效。特别是，在课堂学习中，学习知识蒸馏被证明是至关重要的工具，而在域内，学习重播方法是最有效的方法。

我们描述了一种新的方法，该方法是基于与高级隐式语义特征的低级颜色和几何特征的汇总颜色和几何特征的室内识别。它使用了一个2阶段的深度学习框架，其中第一阶段经过了语义分割的辅助任务的训练，第二阶段的第二阶段使用了第一阶段的层中的特征来生成区分描述符以进行位置识别。辅助任务鼓励这些功能在语义上有意义，因此将RGB点云数据中的几何形状和颜色汇总为具有隐式语义信息。我们使用从扫描仪数据集派生的室内识别数据集进行培训和评估，其中一个包括由100个不同房间生成的3,608点云的测试集。与传统的基于功能的方法和四种最先进的深度学习方法进行比较表明，我们的方法显着优于所有五种方法，例如，取得前3名平均召回率为75％，而41％的平均召回率为41％最接近的竞争对手方法。我们的代码可在以下网址找到：https：//github.com/yuhangming/semantic-indoor-place-recognition

位置识别是自动驾驶汽车实现循环结束或全球本地化的重要组成部分。在本文中，我们根据机上激光雷达传感器获得的顺序3D激光扫描解决了位置识别问题。我们提出了一个名为SEQOT的基于变压器的网络，以利用由LIDAR数据生成的顺序范围图像提供的时间和空间信息。它使用多尺度变压器以端到端的方式为每一个LiDAR范围图像生成一个全局描述符。在线操作期间，我们的SEQOT通过在当前查询序列和地图中存储的描述符之间匹配此类描述符来找到相似的位置。我们在不同类型的不同环境中使用不同类型的LIDAR传感器收集的四个数据集评估了我们的方法。实验结果表明，我们的方法优于最新的基于激光痛的位置识别方法，并在不同环境中概括了。此外，我们的方法比传感器的帧速率更快地在线运行。我们的方法的实现以开放源形式发布，网址为：https：//github.com/bit-mjy/seqot。

深度神经网络在学习新任务时遭受灾难性遗忘的主要限制。在本文中，我们专注于语义细分中的课堂持续学习，其中新类别随着时间的推移，而在未保留以前的训练数据。建议的持续学习方案塑造了潜在的空间来减少遗忘，同时提高了对新型课程的识别。我们的框架是由三种新的组件驱动，我们还毫不费力地结合现有的技术。首先，匹配的原型匹配在旧类上强制执行潜在空间一致性，约束编码器在后续步骤中为先前看到的类生成类似的潜在潜在表示。其次，特征稀疏性允许在潜在空间中腾出空间以容纳新型课程。最后，根据他们的语义，在统一的同时撕裂不同类别的语义，对形成对比的学习。对Pascal VOC2012和ADE20K数据集的广泛评估展示了我们方法的有效性，显着优于最先进的方法。

点云注册是许多应用程序（例如本地化，映射，跟踪和重建）的基本任务。成功的注册依赖于提取鲁棒和歧视性的几何特征。现有的基于学习的方法需要高计算能力来同时处理大量原始点。尽管这些方法取得了令人信服的结果，但由于高计算成本，它们很难在现实情况下应用。在本文中，我们介绍了一个框架，该框架使用图形注意网络有效地从经济上提取密集的特征，以进行点云匹配和注册（DFGAT）。 DFGAT的检测器负责在大型原始数据集中找到高度可靠的关键点。 DFGAT的描述符将这些关键点与邻居相结合，以提取不变的密度特征，以准备匹配。图形注意力网络使用了丰富点云之间关系的注意机制。最后，我们将其视为最佳运输问题，并使用Sinkhorn算法找到正匹配和负面匹配。我们对KITTI数据集进行了彻底的测试，并评估了该方法的有效性。结果表明，与其他最先进的方法相比，使用有效紧凑的关键点选择和描述可以实现最佳性能匹配指标，并达到99.88％注册的最高成功率。

人类的持续学习（CL）能力与稳定性与可塑性困境密切相关，描述了人类如何实现持续的学习能力和保存的学习信息。自发育以来，CL的概念始终存在于人工智能（AI）中。本文提出了对CL的全面审查。与之前的评论不同，主要关注CL中的灾难性遗忘现象，本文根据稳定性与可塑性机制的宏观视角来调查CL。类似于生物对应物，“智能”AI代理商应该是I）记住以前学到的信息（信息回流）; ii）不断推断新信息（信息浏览:); iii）转移有用的信息（信息转移），以实现高级CL。根据分类学，评估度量，算法，应用以及一些打开问题。我们的主要贡献涉及I）从人工综合情报层面重新检查CL; ii）在CL主题提供详细和广泛的概述; iii）提出一些关于CL潜在发展的新颖思路。

3D LIDAR地点识别旨在基于来自旋转3D LIDAR传感器的单个扫描来估计先前看到的环境中的粗糙定位。此问题的现有解决方案包括手工制作点云描述符（例如，Scancontext，M2DP，LIDAR IRIS）和基于深度学习的解决方案（例如，PointNetvlad，PCAN，LPDNET，DAGC，MinkLoC3D）通常仅在累积时进行评估2D来自牛津机器人数据集的扫描。我们介绍了Minkloc3d-Si，一种基于稀疏的基于卷积的解决方案，它利用3D点的球形坐标并处理3D LIDAR测量的强度，提高使用单个3D LIDAR扫描时的性能。我们的方法通过最有效的3D稀疏卷曲（MinkLoc3D）集成了用于手工制作描述符（如scancontext）的典型的改进。我们的实验表明，从3D Lidars（USYD校园数据集）和伟大的泛化能力（Kitti DataSet）的单次扫描的结果有所改善。在累积的2D扫描（RobotCar Intensity数据集）上使用强度信息提高了性能，即使球形表示不会产生明显的改进。结果，Minkloc3D-Si适用于从3D延迟的单次扫描，使其适用于自动车辆。

在不忘记以前的任务的情况下不断获得新知识的能力仍然是计算机视觉系统的具有挑战性问题。标准的持续学习基准专注于在离线设置中从静态IID图像学习。在这里，我们研究了一个更具挑战性和现实的在线持续学习问题，称为在线流学习。像人类一样，一些AI代理必须从连续的不重复数据流逐步学习。我们提出了一种新颖的模型，假设驱动的增强存储器网络（HAMN），其有效地使用“假设”的增强内存矩阵来巩固先前的知识，并重播重建的图像特征以避免灾难性的遗忘。与像素级和生成的重播方法相比，Hamn的优点是两倍。首先，基于假设的知识合并避免了图像像素空间中的冗余信息，并使内存使用更有效。其次，增强记忆中的假设可以重新用于学习新任务，提高泛化和转移学习能力。鉴于视频流缺乏在线增量类学习数据集，我们介绍并调整两个额外的视频数据集，Toybox和Ilab，用于在线流学习。我们还在Core50和在线CIFAR100数据集上评估我们的方法。我们的方法显着优于所有最先进的方法，同时提供更有效的内存使用情况。所有源代码和数据都在https://github.com/kreimanlab/augmem公开使用

Many modern computer vision algorithms suffer from two major bottlenecks: scarcity of data and learning new tasks incrementally. While training the model with new batches of data the model looses it's ability to classify the previous data judiciously which is termed as catastrophic forgetting. Conventional methods have tried to mitigate catastrophic forgetting of the previously learned data while the training at the current session has been compromised. The state-of-the-art generative replay based approaches use complicated structures such as generative adversarial network (GAN) to deal with catastrophic forgetting. Additionally, training a GAN with few samples may lead to instability. In this work, we present a novel method to deal with these two major hurdles. Our method identifies a better embedding space with an improved contrasting loss to make classification more robust. Moreover, our approach is able to retain previously acquired knowledge in the embedding space even when trained with new classes. We update previous session class prototypes while training in such a way that it is able to represent the true class mean. This is of prime importance as our classification rule is based on the nearest class mean classification strategy. We have demonstrated our results by showing that the embedding space remains intact after training the model with new classes. We showed that our method preformed better than the existing state-of-the-art algorithms in terms of accuracy across different sessions.

大规模的地方认可是一项基本但具有挑战性的任务，在自主驾驶和机器人技术中起着越来越重要的作用。现有的方法已经达到了可接受的良好性能，但是，其中大多数都集中精力设计精美的全球描述符学习网络结构。长期以来忽略了特征概括和描述后的特征概括和描述符的重要性。在这项工作中，我们提出了一种名为GIDP的新方法，以学习良好的初始化并引起描述符，以供大规模识别。特别是，在GIDP中分别提出了无监督的动量对比度云预处理模块和基于重新的描述符后增强模块。前者旨在在训练位置识别模型之前对Point Cloud编码网络进行良好的初始化，而后来的目标是通过推理时间重新掌握预测的全局描述符。在室内和室外数据集上进行的广泛实验表明，我们的方法可以使用简单和一般的点云编码主干来实现最先进的性能。

基于激光雷达的位置识别是自动驾驶汽车和机器人应用程序中全球本地化的关键组成部分之一。随着DL方法在从3D激光雷达的学习有用信息方面的成功中，Place识别也从这种方式中受益，这导致了更高的重新定位和循环闭合检测性能，尤其是在具有重大变化条件的环境中。尽管在该领域取得了进展，但从3D激光雷达数据中提取适当有效的描述符，这些数据不变，而不断变化的条件和方向仍然是未解决的挑战。为了解决这个问题，这项工作提出了一个基于3D激光雷达的新型深度学习网络（名为ATTDLNET），该网络使用基于范围的代理表示点云和具有堆叠注意力层的注意力网络，以选择性地专注于远程上下文和Inter Inter - 特征关系。在KITTI数据集中对拟议的网络进行了训练和验证，并提供了消融研究以评估新的注意力网络。结果表明，增加对网络的关注会提高性能，从而导致有效的循环封闭，并优于已建立的基于3D激光雷达的位置识别方法。从消融研究中，结果表明中间编码器层的平均性能最高，而更深的层对方向的变化更为强大。该代码可在https://github.com/cybonic/attdlnet上公开获取

位置识别技术赋予了一种大满贯算法，具有消除累积错误并自身重新定位的能力。基于点云的位置识别的现有方法通常利用以激光雷达为中心的全局描述符的匹配。这些方法具有以下两个主要缺陷：当两个点云之间的距离很远时，不能执行位置识别，并且只能计算旋转角度，而无需在x和y方向上偏移。为了解决这两个问题，我们提出了一个新颖的全球描述符，该描述符围绕主要对象构建，以这种方式，描述符不再依赖于观察位置。我们分析了该方法可以完美地解决上述两个问题的理论，并在Kitti和一些极端情况下进行了许多实验，这表明我们的方法比传统方法具有明显的优势。

Visual localization plays an important role for intelligent robots and autonomous driving, especially when the accuracy of GNSS is unreliable. Recently, camera localization in LiDAR maps has attracted more and more attention for its low cost and potential robustness to illumination and weather changes. However, the commonly used pinhole camera has a narrow Field-of-View, thus leading to limited information compared with the omni-directional LiDAR data. To overcome this limitation, we focus on correlating the information of 360 equirectangular images to point clouds, proposing an end-to-end learnable network to conduct cross-modal visual localization by establishing similarity in high-dimensional feature space. Inspired by the attention mechanism, we optimize the network to capture the salient feature for comparing images and point clouds. We construct several sequences containing 360 equirectangular images and corresponding point clouds based on the KITTI-360 dataset and conduct extensive experiments. The results demonstrate the effectiveness of our approach.

对于许多应用程序，例如同时本地化和映射（SLAM），基于点云的大规模识别是一项重要但具有挑战性的任务。以任务为云检索问题，以前的方法取得了令人愉快的成就。但是，如何处理由旋转问题引起的灾难性崩溃仍然不足。在本文中，为了解决这个问题，我们提出了一个基于点云的新型旋转型大型位置识别网络（RPR-NET）。特别是，为了解决问题，我们建议分三个步骤学习旋转不变的功能。首先，我们设计了三种新型的旋转不变特征（RIF），它们是可以保持旋转不变属性的低级特征。其次，使用这些Rifs，我们设计了一个细心的模块来学习旋转不变的内核。第三，我们将这些内核应用于先前的点云功能，以生成新功能，这是众所周知的SO（3）映射过程。通过这样做，可以学习高级场景特定的旋转不变功能。我们将上述过程称为细心的旋转不变卷积（ARICONV）。为了实现位置识别目标，我们构建了RPR-NET，它将Ariconv作为构建密集网络体系结构的基本单元。然后，可以从RPR-NET中充分提取用于基于检索的位置识别的强大全局描述符。普遍数据​​集的实验结果表明，我们的方法可以在解决旋转问题时显着优于现有的最新位置识别模型的可比结果，并显着优于其他旋转不变的基线模型。

基于深度学习的视觉位置识别技术近年来将自己作为最先进的技术，并不能很好地概括与训练集在视觉上不同的环境。因此，为了达到最佳性能，有时有必要将网络调整到目标环境中。为此，我们根据同时定位和映射（SLAM）作为监督信号而不需要GPS或手动标记，提出了一个基于强大的姿势图优化的自我监督域校准程序。此外，我们利用该程序来改善在安全关键应用中很重要的位置识别匹配的不确定性估计。我们表明，我们的方法可以改善目标环境与训练集不同的最先进技术的性能，并且我们可以获得不确定性估计。我们认为，这种方法将帮助从业者在现实世界应用中部署健壮的位置识别解决方案。我们的代码公开可用：https：//github.com/mistlab/vpr-calibration-and-uncrightity