自主机器人探索长期以来吸引了机器人界的关注，这是一个高度相关性的话题。但是，将这种系统部署在现实世界中仍然远非现实。在某种程度上，这可以归因于以下事实：大多数研究旨在改善现有算法并在模拟环境中测试新的配方，而不是解决现实世界情景的实际问题。自主决定何时必须终止或更改勘探（停止标准）的基本问题是这种情况，最近尚未受到任何关注。在本文中，我们讨论了使用适当的停止标准的重要性，并基于主动图 - SLAM最佳标准的演变来分析新标准的行为。

主动同时定位和映射（SLAM）是规划和控制机器人运动以构建周围环境中最准确，最完整的模型的问题。自从三十多年前出现了积极感知的第一项基础工作以来，该领域在不同科学社区中受到了越来越多的关注。这带来了许多不同的方法和表述，并回顾了当前趋势，对于新的和经验丰富的研究人员来说都是非常有价值的。在这项工作中，我们在主动大满贯中调查了最先进的工作，并深入研究了仍然需要注意的公开挑战以满足现代应用程序的需求。为了实现现实世界的部署。在提供了历史观点之后，我们提出了一个统一的问题制定并审查经典解决方案方案，该方案将问题分解为三个阶段，以识别，选择和执行潜在的导航措施。然后，我们分析替代方法，包括基于深入强化学习的信念空间规划和现代技术，以及审查有关多机器人协调的相关工作。该手稿以讨论新的研究方向的讨论，解决可再现的研究，主动的空间感知和实际应用，以及其他主题。

长期以来，部署能够探索未知环境的自动驾驶机器人一直是与机器人社区有很大相关性的话题。在这项工作中，我们通过展示一个开源的活动视觉猛烈框架来朝着这个方向迈出一步基础姿势图提供的结构。通过仔细估计后验加权姿势图，在线实现了D-最佳决策，目的是在发生探索时改善本地化和映射不确定性。

量化不确定性是主动同时本地化和映射（SLAM）的关键阶段，因为它允许确定执行的最有用的动作。但是，处理完整的协方差甚至Fisher信息矩阵（FIMS）在计算上是沉重的，并且很容易在线系统上棘手。在这项工作中，我们研究了通过\ textit {se（n）}提出的主动图 - 峰的范式，并提出了系统FIM与基础姿势的拉普拉斯矩阵之间的一般关系。此链接使使用图形连接索引作为具有最佳保证的实用程序函数，因为它们近似源于最佳设计理论的众所周知的最佳标准。实验验证表明，所提出的方法会导致在一小部分时间内进行主动猛击的等效决策。

This article presents a novel review of Active SLAM (A-SLAM) research conducted in the last decade. We discuss the formulation, application, and methodology applied in A-SLAM for trajectory generation and control action selection using information theory based approaches. Our extensive qualitative and quantitative analysis highlights the approaches, scenarios, configurations, types of robots, sensor types, dataset usage, and path planning approaches of A-SLAM research. We conclude by presenting the limitations and proposing future research possibilities. We believe that this survey will be helpful to researchers in understanding the various methods and techniques applied to A-SLAM formulation.

在本文中，我们为全向机器人提供了一种积极的视觉血液。目标是生成允许这样的机器人同时定向机器人的控制命令并将未知环境映射到最大化的信息量和消耗尽可能低的信息。利用机器人的独立翻译和旋转控制，我们引入了一种用于活动V-SLAM的多层方法。顶层决定提供信息丰富的目标位置，并为它们产生高度信息的路径。第二个和第三层积极地重新计划并执行路径，利用连续更新的地图和本地特征信息。此外，我们介绍了两个实用程序配方，以解释视野和机器人位置的障碍物。通过严格的模拟，真正的机器人实验和与最先进的方法的比较，我们证明我们的方法通过较小的整体地图熵实现了类似的覆盖结果。这是可以获得的，同时保持横向距离比其他方法短至39％，而不增加车轮的总旋转量。代码和实现详细信息作为开源提供。

在这项工作中，我们向不确定性的决策问题介绍了一种新的有效的解决方案方法，可以在一个可能的高维状态空间中作为信仰空间中的决策制定。通常，为了解决决策问题，根据一些目标，应该识别来自一组候选者的最佳行动。我们声称人们通常可以生成并解决类似的尚未简化的决策问题，这可以更有效地解决。明智的简化方法可以导致相同的动作选择，或者可以保证最佳状态最大损耗的方法。此外，这种简化与状态推断分离，并且不会损害其精度，因为所选动作最终应用于原始状态。首先，我们介绍了一般决策问题的概念，并为这一方法的连贯制定提供了理论框架。然后，我们几乎将这些想法应用于信仰空间中的决策问题，这可以通过考虑初始信仰的稀疏近似来简化。我们提供的可扩展信念稀疏算法能够产生保证与原始问题一致的解决方案。我们展示了方法在解决现实主动场所问题的解决方案中的好处，并设法显着降低计算时间，在解决方案的质量上没有损失。这项工作既有基础实用，又拥有众多可能的扩展。

本文主要研究范围传感机器人在置信度富的地图（CRM）中的定位和映射，这是一种持续信仰的密集环境表示，然后扩展到信息理论探索以减少姿势不确定性。大多数关于主动同时定位和映射（SLAM）和探索的作品始终假设已知的机器人姿势或利用不准确的信息指标来近似姿势不确定性，从而导致不知名的环境中的勘探性能和效率不平衡。这激发了我们以可测量的姿势不确定性扩展富含信心的互信息（CRMI）。具体而言，我们为CRMS提出了一种基于Rao-Blackwellized粒子过滤器的定位和映射方案（RBPF-CLAM），然后我们开发了一种新的封闭形式的加权方法来提高本地化精度而不扫描匹配。我们通过更准确的近似值进一步计算了使用加权颗粒的不确定的CRMI（UCRMI）。仿真和实验评估显示了在非结构化和密闭场景中提出的方法的定位准确性和探索性能。

在这项工作中，我们研究了在不确定性下的在线决策问题，我们将其制定为在信仰空间的规划中。在高维状态（例如，整个轨迹）上维护信仰（即，整个轨迹）不仅被证明可以显着提高准确性，而且还允许在主动SLAM和信息收集的任务所需的情况下规划信息理论目标。尽管如此，根据这种“平滑”范式的规划持有高计算复杂性，这使得在线解决方案具有挑战性。因此，我们建议以下想法：在规划之前，在初始信念上执行独立状态可变重新排序过程，并“推进”所有预测的环路关闭变量。由于初始可变顺序确定将受到传入更新影响的它们的哪个子集，因此这种重新排序允许我们最小化受影响变量的总数，并在规划期间降低候选评估的计算复杂性。我们称之为Pivot：预测增量变量订购策略。应用此策略也可以提高国家推理效率;如果我们在规划会议后维持枢轴令，那么我们应该同样降低循环闭合的成本，当实际发生时。为了展示其有效性，我们将枢轴应用于一个现实的主动Slam仿真中，在那里我们设法显着减少了规划和推理会话的计算时间。该方法适用于一般分布，并不能准确地损失。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

This paper proposes a new 3D gas distribution mapping technique based on the local message passing of Gaussian belief propagation that is capable of resolving in real time, concentration estimates in 3D space whilst accounting for the obstacle information within the scenario, the first of its kind in the literature. The gas mapping problem is formulated as a 3D factor graph of Gaussian potentials, the connections of which are conditioned on local occupancy values. The Gaussian belief propagation framework is introduced as the solver and a new hybrid message scheduler is introduced to increase the rate of convergence. The factor graph problem is then redesigned as a dynamically expanding inference task, coupling the information of consecutive gas measurements with local spatial structure obtained by the robot. The proposed algorithm is compared to the state of the art methods in 2D and 3D simulations and is found to resolve distribution maps orders of magnitude quicker than typical direct solvers. The proposed framework is then deployed for the first time onboard a ground robot in a 3D mapping and exploration task. The system is shown to be able to resolve multiple sensor inputs and output high resolution 3D gas distribution maps in a GPS denied cluttered scenario in real time. This online inference of complicated plume structures provides a new layer of contextual information over its 2D counterparts and enables autonomous systems to take advantage of real time estimates to inform potential next best sampling locations.

近年来我们目睹了巨大进展的动机，本文提出了对协作同时定位和映射（C-SLAM）主题的科学文献的调查，也称为多机器人猛击。随着地平线上的自动驾驶车队和工业应用中的多机器人系统的兴起，我们相信合作猛击将很快成为未来机器人应用的基石。在本调查中，我们介绍了C-Slam的基本概念，并呈现了彻底的文献综述。我们还概述了C-Slam在鲁棒性，通信和资源管理方面的主要挑战和限制。我们通过探索该地区目前的趋势和有前途的研究途径得出结论。

主动位置估计（APE）是使用一个或多个传感平台本地化一个或多个目标的任务。 APE是搜索和拯救任务，野生动物监测，源期限估计和协作移动机器人的关键任务。 APE的成功取决于传感平台的合作水平，他们的数量，他们的自由度和收集的信息的质量。 APE控制法通过满足纯粹剥削或纯粹探索性标准，可以实现主动感测。前者最大限度地减少了位置估计的不确定性;虽然后者驱动了更接近其任务完成的平台。在本文中，我们定义了系统地分类的主要元素，并批判地讨论该域中的最新状态。我们还提出了一个参考框架作为对截图相关的解决方案的形式主义。总体而言，本调查探讨了主要挑战，并设想了本地化任务的自主感知系统领域的主要研究方向。促进用于搜索和跟踪应用的强大主动感测方法的开发也有益。

本文解决了积极计划的问题，以在GNSS受限的场景中测量不确定性下实现多机器人系统（MRS）的合作定位。具体而言，我们解决了准确预测配备基于范围的测量设备的两个机器人之间未来连接的概率的问题。由于配备的传感器范围有限，由于机器人相互移动，网络连接拓扑中的边缘将被创建或破坏。因此，鉴于状态估计不完善和嘈杂的驱动，准确地预测边缘的未来存在是一项具有挑战性的任务。自适应功率序列扩展（或APSE）算法是根据当前估计和控制候选者开发的。这种算法在正态分布中应用了二次阳性形式的功率序列扩展公式。有限端近似是为了实现计算障碍。提出了进一步的分析，以表明通过自适应选择功率序列的求和度，可以从理论上将有限端近似中的截断误差降低到所需的阈值。几种足够的条件被严格得出作为选择原则。最后，相对于单个和多机器人案例，广泛的仿真结果和比较验证了正式计算的，因此将来拓扑的更准确的概率可以帮助改善在不确定性下积极计划的性能。

机器人对未知环境的探索从根本上是一个不确定性下决策的问题，在这种情况下，机器人必须考虑传感器测量，本地化，动作执行以及许多其他因素的不确定性。对于大规模勘探应用，自治系统必须克服依次确定哪些环境区域的挑战，可以探索哪些区域，同时安全地评估与障碍和危险地形相关的风险。在这项工作中，我们提出了一个风险意识的元级决策框架，以平衡与本地和全球勘探相关的权衡。元级决策是基于经典的等级覆盖计划者，通过在本地和全球政策之间进行切换，其总体目标是选择最有可能在随机环境中最大化奖励的政策。我们使用有关环境历史，穿术风险和动力学约束的信息，以推理成功执行本地和全球政策之间的策略执行的可能性。我们已经在模拟和各种大规模现实世界硬件测试中验证了解决方案。我们的结果表明，通过平衡本地和全球探索，我们可以更有效地显着探索大规模的环境。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

对未知环境的探索是机器人技术中的一个基本问题，也是自治系统应用中的重要组成部分。探索未知环境的一个主要挑战是，机器人必须计划每个时间步骤可用的有限信息。尽管大多数当前的方法都依靠启发式方法和假设来根据这些部分观察来规划路径，但我们提出了一种新颖的方式，通过利用3D场景完成来将深度学习整合到探索中，以获取知情，安全，可解释的探索映射和计划。我们的方法，SC-explorer，使用新型的增量融合机制和新提出的分层多层映射方法结合了场景的完成，以确保机器人的安全性和效率。我们进一步提出了一种信息性的路径计划方法，利用了我们的映射方法的功能和新颖的场景完整感知信息增益。虽然我们的方法通常适用，但我们在微型航空车辆（MAV）的用例中进行了评估。我们仅使用移动硬件彻底研究了高保真仿真实验中的每个组件，并证明我们的方法可以使环境的覆盖范围增加73％，而不是基线，而MAP准确性的降低仅最少。即使最终地图中未包含场景的完成，我们也可以证明它们可以用于指导机器人选择更多信息的路径，从而加快机器人传感器的测量值35％。我们将我们的方法作为开源。

感知，规划，估算和控制的当代方法允许机器人在不确定，非结构化环境中的远程代理中稳健运行。此进度现在创造了机器人不仅在隔离，而且在我们的复杂环境中运行的机器人。意识到这个机会需要一种高效且灵活的媒介，人类可以与协作机器人沟通。自然语言提供了一种这样的媒体，通过对自然语言理解的统计方法的重大进展，现在能够解释各种自由形式命令。然而，大多数当代方法需要机器人环境的详细，现有的空间语义地图，这些环境模拟了话语可能引用的可能引用的空间。因此，当机器人部署在新的，先前未知或部分观察到的环境中时，这些方法发生故障，特别是当环境的心理模型在人类运营商和机器人之间不同时。本文提供了一种新的学习框架的全面描述，允许现场和服务机器人解释并正确执行先验未知，非结构化环境中的自然语言指令。对于我们的方法而不是我们的语言作为“传感器” - 在话语中隐含的“传感器” - 推断的空间，拓扑和语义信息，然后利用这些信息来学习在潜在环境模型上的分布。我们将此分布纳入概率，语言接地模型中，并在机器人的动作空间的象征性表示中推断出分布。我们使用模仿学习来确定对环境和行为分布的原因的信仰空间政策。我们通过各种导航和移动操纵实验评估我们的框架。

This paper surveys the eld of reinforcement learning from a computer-science perspective. It is written to be accessible to researchers familiar with machine learning. Both the historical basis of the eld and a broad selection of current work are summarized. Reinforcement learning is the problem faced by an agent that learns behavior through trial-and-error interactions with a dynamic environment. The work described here has a resemblance to work in psychology, but di ers considerably in the details and in the use of the word \reinforcement." The paper discusses central issues of reinforcement learning, including trading o exploration and exploitation, establishing the foundations of the eld via Markov decision theory, learning from delayed reinforcement, constructing empirical models to accelerate learning, making use of generalization and hierarchy, and coping with hidden state. It concludes with a survey of some implemented systems and an assessment of the practical utility of current methods for reinforcement learning.

Safe Reinforcement Learning can be defined as the process of learning policies that maximize the expectation of the return in problems in which it is important to ensure reasonable system performance and/or respect safety constraints during the learning and/or deployment processes. We categorize and analyze two approaches of Safe Reinforcement Learning. The first is based on the modification of the optimality criterion, the classic discounted finite/infinite horizon, with a safety factor. The second is based on the modification of the exploration process through the incorporation of external knowledge or the guidance of a risk metric. We use the proposed classification to survey the existing literature, as well as suggesting future directions for Safe Reinforcement Learning.