本文介绍了基于神经网络的无气体卡尔曼滤波器（UKF），以跟踪已知的，非合作的，翻滚的目标航天飞机的姿势（即位置和方向），以近距离呈现场景。 UKF根据使用卷积神经网络（CNN）从目标航天器的传入单眼图像中提取的姿势信息估计目标相对于服务器的相对轨道和态度状态。为了启用可靠的跟踪，使用自适应状态噪声补偿在线调整UKF的过程噪声协方差矩阵。具体而言，新得出和实现了相对态度动力学的封闭形式的过程噪声模型。为了全面分析提议的CNN驱动UKF的性能和鲁棒性，本文还介绍了卫星硬件在环上的轨迹轨迹（衬衫）数据集，其中包括两个具有代表性的聚会轨迹的标签图像低地球轨道。对于每个轨迹，分别从图形渲染器和机器人测试台创建了两组图像，以允许测试跨域间隙的滤波器的鲁棒性。拟议的UKF在衬衫的两个轨迹领域进行了评估，并被证明在稳态下具有次数级的位置和程度级别的方向误差。

这项工作介绍了斯坦福大学的Rendezvous和光学导航（Tron）的机器人测试的最新进展 - 这是一个能够验证空间载光学导航机器学习算法的第一个机器人试验。 Tron设施包括两个6度自由的Kuka机器人武器和一组Vicon运动轨道摄像机，以重新配置相机和目标样机模型之间的任意相对姿势。该设施包括多个地球玻璃灯箱和阳光灯，以重建高保真星源照明条件。在该设施概述后，该工作详细说明了多源校准程序，使物体与相机之间的相对姿势估计，具有毫米级位置和跨越级别的方向精度。最后，使用在合成图像上预先培训的卷积神经网络（CNN）进行合成和Tron模拟成像的比较分析。结果显示了CNN性能相当大的差距，表明Tron模拟图像可用于验证从计算机图形学更容易访问的合成图像训练的任何机器学习算法的鲁棒性。

基于自主视觉的太空传播导航是未来轨道服务和空间物流任务的启用技术。虽然一般的计算机愿景受益于机器学习（ML），但由于在空间环境中获取了预期目标的图像的图像的大规模标记数据集的不切实性，培训和验证的星式载体ML模型非常具有挑战性。迄今为止，诸如航天器姿势估计数据集（速度）的现有数据集主要依赖于培训和验证的合成图像，这很容易批量生产，但不能类似于目标星载图像固有的视觉特征和照明可变性。为了弥合当前实践与未来空间任务中的预期应用之间的差距，介绍了速度+：下一代航天器姿势估计数据集具有特定强调域间隙。除了用于训练的60,000个合成图像外，Speed +还包括从Rendezvous和光学导航（Tron）设施的试验台捕获的航天器模型模型的9,531个硬件映像。 Tron是一种专门的机器人测试用机器，能够以准确和最大多样化的姿势标签和高保真星载照明条件捕获任意数量的目标图像。 Speed +用于由平板和欧洲空间机构的平板和高级概念团队共同主办的第二次国际卫星造型估算挑战，以评估和比较在合成图像上培训的星式载ML模型的稳健性。

We propose AstroSLAM, a standalone vision-based solution for autonomous online navigation around an unknown target small celestial body. AstroSLAM is predicated on the formulation of the SLAM problem as an incrementally growing factor graph, facilitated by the use of the GTSAM library and the iSAM2 engine. By combining sensor fusion with orbital motion priors, we achieve improved performance over a baseline SLAM solution. We incorporate orbital motion constraints into the factor graph by devising a novel relative dynamics factor, which links the relative pose of the spacecraft to the problem of predicting trajectories stemming from the motion of the spacecraft in the vicinity of the small body. We demonstrate the excellent performance of AstroSLAM using both real legacy mission imagery and trajectory data courtesy of NASA's Planetary Data System, as well as real in-lab imagery data generated on a 3 degree-of-freedom spacecraft simulator test-bed.

本文提出了一种容忍故障的3D视觉系统，用于自动机器人操作。特别是，使用集成的Kalman滤波器（KF）中的3D视觉数据和闭环配置中的迭代最接近点（ICP）算法来实现空间对象的姿势估计。内部ICP迭代的最初猜测是由卡尔曼申报人的国家估计传播提供的。卡尔曼过滤器不仅能够估计目标状态，还可以估算其惯性参数。这允许目标一旦滤波，目标就可以预测。因此，由于ICP初始化的精度提高，ICP可以在更广泛的速度上保持姿势跟踪。此外，即使传感器暂时失去其信号，估计器即使由于阻塞造成的损失，估计器将目标的动力学模型纳入估计器中。姿势估计方法的功能通过自动化合作和对接的地面测试床证明。在该实验中，Neptec的激光摄像头系统（LCS）用于对连接到操纵器臂的卫星模型进行实时扫描，该卫星模型是根据轨道和态度动力学驱动的。结果表明，只有在Kalman滤波器和ICP处于闭环配置时，才能实现自由浮动翻滚卫星的可靠跟踪。

安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。

本文介绍了一种新型跟踪滤波器，主要用于在自动表面车辆（ASV）上的碰撞避免系统中使用。所提出的方法利用自动信息系统（AIS）消息传递协议来利用实时运动信息，以估计附近协同目标的位置，速度和标题。使用与源自余弦的球面规律的运动方程，在大地测量坐标中递归地估计每个目标的状态。这改善了先前的方法，其中许多方法采用扩展的卡尔曼滤波器（EKF），因此需要局部平面坐标帧的规范，以便以易于微差形式描述状态运动学。建议的大地电线UKF避免了对该本地飞机的需求。该特征对于远程ASV来说是特别有利的，其必须否则必须定期重新定义新的局部平面来缩短线性化误差。在真实世界的运营中，这种重复的重新定义可以引入错误并使任务规划复杂化。通过模拟和现场测试显示所提出的大地电线UKF以及传统的飞机 - 笛卡尔ekf，无论是在估计误差和稳定性方面的表现还是更好。

We propose a multisensor fusion framework for onboard real-time navigation of a quadrotor in an indoor environment, by integrating sensor readings from an Inertial Measurement Unit (IMU), a camera-based object detection algorithm, and an Ultra-WideBand (UWB) localization system. The sensor readings from the camera-based object detection algorithm and the UWB localization system arrive intermittently, since the measurements are not readily available. We design a Kalman filter that manages intermittent observations in order to handle and fuse the readings and estimate the pose of the quadrotor for tracking a predefined trajectory. The system is implemented via a Hardware-in-the-loop (HIL) simulation technique, in which the dynamic model of the quadrotor is simulated in an open-source 3D robotics simulator tool, and the whole navigation system is implemented on Artificial Intelligence (AI) enabled edge GPU. The simulation results show that our proposed framework offers low positioning and trajectory errors, while handling intermittent sensor measurements.

The robustness and accuracy of a vision system for motion estimation of a tumbling target satellite are enhanced by an adaptive Kalman filter. This allows a vision-guided robot to complete the grasping of the target even if occlusion occurs during the operation. A complete dynamics model, including aspects of orbital mechanics, is incorporated for accurate estimation. Based on the model, an adaptive Kalman filter is developed that estimates not only the system states but also all the model parameters such as the inertia ratio, center-of-mass, and the rotation of the principal axes of the target satellite. An experiment is conducted by using a robotic arm to move a satellite mockup according to orbital mechanics while the satellite pose is measured by a laser camera system. The measurements are sent to the Kalman filter, which, in turn, drives another robotic arm to grasp the target. The results demonstrate successful grasping even if the vision system is blocked for several seconds.

A monocular visual-inertial system (VINS), consisting of a camera and a low-cost inertial measurement unit (IMU), forms the minimum sensor suite for metric six degreesof-freedom (DOF) state estimation. However, the lack of direct distance measurement poses significant challenges in terms of IMU processing, estimator initialization, extrinsic calibration, and nonlinear optimization. In this work, we present VINS-Mono: a robust and versatile monocular visual-inertial state estimator. Our approach starts with a robust procedure for estimator initialization and failure recovery. A tightly-coupled, nonlinear optimization-based method is used to obtain high accuracy visual-inertial odometry by fusing pre-integrated IMU measurements and feature observations. A loop detection module, in combination with our tightly-coupled formulation, enables relocalization with minimum computation overhead. We additionally perform four degrees-of-freedom pose graph optimization to enforce global consistency. We validate the performance of our system on public datasets and real-world experiments and compare against other state-of-the-art algorithms. We also perform onboard closed-loop autonomous flight on the MAV platform and port the algorithm to an iOS-based demonstration. We highlight that the proposed work is a reliable, complete, and versatile system that is applicable for different applications that require high accuracy localization. We open source our implementations for both PCs 1 and iOS mobile devices 2 .

我们提出了一个基于按键的对象级别的SLAM框架，该框架可以为对称和不对称对象提供全球一致的6DOF姿势估计。据我们所知，我们的系统是最早利用来自SLAM的相机姿势信息的系统之一，以提供先验知识，以跟踪对称对象的关键点 - 确保新测量与当前的3D场景一致。此外，我们的语义关键点网络经过训练，可以预测捕获预测的真实错误的关键点的高斯协方差，因此不仅可以作为系统优化问题中残留物的权重，而且还可以作为检测手段有害的统计异常值，而无需选择手动阈值。实验表明，我们的方法以6DOF对象姿势估算和实时速度为最先进的状态提供了竞争性能。我们的代码，预培训模型和关键点标签可用https://github.com/rpng/suo_slam。

我们提出了通过现实的模拟和现实世界实验来支持可复制研究的多运动无人机控制（UAV）和估计系统。我们提出了一个独特的多帧本地化范式，用于同时使用多个传感器同时估算各种参考框架中的无人机状态。该系统可以在GNSS和GNSS贬低的环境中进行复杂的任务，包括室外室内过渡和执行冗余估计器，以备份不可靠的本地化源。提出了两种反馈控制设计：一个用于精确和激进的操作，另一个用于稳定和平稳的飞行，并进行嘈杂的状态估计。拟议的控制和估计管道是在3D中使用Euler/Tait-Bryan角度表示的，而无需使用Euler/Tait-Bryan角度表示。取而代之的是，我们依靠旋转矩阵和一个新颖的基于标题的惯例来代表标准多电流直升机3D中的一个自由旋转自由度。我们提供了积极维护且有据可查的开源实现，包括对无人机，传感器和本地化系统的现实模拟。拟议的系统是多年应用系统，空中群，空中操纵，运动计划和遥感的多年研究产物。我们所有的结果都得到了现实世界中的部署的支持，该系统部署将系统塑造成此处介绍的表单。此外，该系统是在我们团队从布拉格的CTU参与期间使用的，该系统在享有声望的MBZIRC 2017和2020 Robotics竞赛中，还参加了DARPA SubT挑战赛。每次，我们的团队都能在世界各地最好的竞争对手中获得最高位置。在每种情况下，挑战都促使团队改善系统，并在紧迫的期限内获得大量高质量的体验。

本文着重于自适应和耐断层的视力引导的机器人系统，该系统可以选择最适合的控制动作，如果在短期内发生视觉系统的部分或完全失败。此外，自主机器人系统会考虑物理和操作约束，以执行特定视觉伺服任务的需求，以最小化成本功能。层次控制体系结构是基于迭代最接近点（ICP）图像登记的变体的交织集成，开发的，这是约束的噪声自适应卡尔曼滤波器，故障检测逻辑和恢复，以及受约束的最佳路径计划器。动态估计器估计运动预测所需的未知状态和不确定的参数，同时对估计过程的一致性施加了一组不平等约束，并在面对意外的视力错误时适应了Kalman滤波器参数。随后是基于故障检测逻辑实施故障恢复策略，该逻辑使用图像注册的度量拟合误差来监视视觉反馈的健康状况。随后，估计/预测的姿势和参数将传递给最佳路径计划器，以使机器人最终效应器尽快将移动目标的握把到达移动目标的抓地点目标的视线角。

惯性导航系统与全球导航卫星系统之间的融合经常用于许多平台，例如无人机，陆地车辆和船舶船只。融合通常是在基于模型的扩展卡尔曼过滤框架中进行的。过滤器的关键参数之一是过程噪声协方差。它负责实时解决方案的准确性，因为它考虑了车辆动力学不确定性和惯性传感器质量。在大多数情况下，过程噪声被认为是恒定的。然而，由于整个轨迹的车辆动力学和传感器测量变化，过程噪声协方差可能会发生变化。为了应对这种情况，文献中建议了几种基于自适应的Kalman过滤器。在本文中，我们提出了一个混合模型和基于学习的自适应导航过滤器。我们依靠基于模型的Kalman滤波器和设计深神网络模型来调整瞬时系统噪声协方差矩阵，仅基于惯性传感器读数。一旦学习了过程噪声协方差，就可以将其插入建立的基于模型的Kalman滤波器中。在推导了提出的混合框架后，提出了使用四极管的现场实验结果，并给出了与基于模型的自适应方法进行比较。我们表明，所提出的方法在位置误差中获得了25％的改善。此外，提出的混合学习方法可以在任何导航过滤器以及任何相关估计问题中使用。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

本文提出了一项新颖的控制法，以使用尾随机翼无人驾驶飞机（UAV）进行准确跟踪敏捷轨迹，该轨道在垂直起飞和降落（VTOL）和向前飞行之间过渡。全球控制配方可以在整个飞行信封中进行操作，包括与Sideslip的不协调的飞行。显示了具有简化空气动力学模型的非线性尾尾动力学的差异平坦度。使用扁平度变换，提出的控制器结合了位置参考的跟踪及其导数速度，加速度和混蛋以及偏航参考和偏航速率。通过角速度进纸术语包含混蛋和偏航率参考，可以改善随着快速变化的加速度跟踪轨迹。控制器不取决于广泛的空气动力学建模，而是使用增量非线性动态反演（INDI）仅基于局部输入输出关系来计算控制更新，从而导致对简化空气动力学方程中差异的稳健性。非线性输入输出关系的精确反转是通过派生的平坦变换实现的。在飞行测试中对所得的控制算法进行了广泛的评估，在该测试中，它展示了准确的轨迹跟踪和挑战性敏捷操作，例如侧向飞行和转弯时的侵略性过渡。

Visual Inertial Odometry (VIO) is the problem of estimating a robot's trajectory by combining information from an inertial measurement unit (IMU) and a camera, and is of great interest to the robotics community. This paper develops a novel Lie group symmetry for the VIO problem and applies the recently proposed equivariant filter. The symmetry is shown to be compatible with the invariance of the VIO reference frame, lead to exact linearisation of bias-free IMU dynamics, and provide equivariance of the visual measurement function. As a result, the equivariant filter (EqF) based on this Lie group is a consistent estimator for VIO with lower linearisation error in the propagation of state dynamics and a higher order equivariant output approximation than standard formulations. Experimental results on the popular EuRoC and UZH FPV datasets demonstrate that the proposed system outperforms other state-of-the-art VIO algorithms in terms of both speed and accuracy.

该论文提出了两种控制方法，用于用微型四轮驱动器进行反弹式操纵。首先，对专门为反转设计设计的现有前馈控制策略进行了修订和改进。使用替代高斯工艺模型的贝叶斯优化通过在模拟环境中反复执行翻转操作来找到最佳运动原语序列。第二种方法基于闭环控制，它由两个主要步骤组成：首先，即使在模型不确定性的情况下，自适应控制器也旨在提供可靠的参考跟踪。控制器是通过通过测量数据调整的高斯过程来增强无人机的标称模型来构建的。其次，提出了一种有效的轨迹计划算法，该算法仅使用二次编程来设计可行的轨迹为反弹操作设计。在模拟和使用BitCraze Crazyflie 2.1四肢旋转器中对两种方法进行了分析。

Spacecraft pose estimation is a key task to enable space missions in which two spacecrafts must navigate around each other. Current state-of-the-art algorithms for pose estimation employ data-driven techniques. However, there is an absence of real training data for spacecraft imaged in space conditions due to the costs and difficulties associated with the space environment. This has motivated the introduction of 3D data simulators, solving the issue of data availability but introducing a large gap between the training (source) and test (target) domains. We explore a method that incorporates 3D structure into the spacecraft pose estimation pipeline to provide robustness to intensity domain shift and we present an algorithm for unsupervised domain adaptation with robust pseudo-labelling. Our solution has ranked second in the two categories of the 2021 Pose Estimation Challenge organised by the European Space Agency and the Stanford University, achieving the lowest average error over the two categories.

在这项工作中，我们分析了两个卫星之间的相对姿势初始化问题：一个追逐者和一个不合作目标。该分析针对两种基于单眼摄像头系统的近距离方法：Sharma-ventura-d'amico（SVD）方法和Silhouette匹配方法。两种方法均基于对目标几何形状的先验知识，但是不需要基准标记或先验范围的测量或状态信息。测试是使用2U立方体模型进行的，该目标是连接到机动旋转阶段的目标，以模拟其相对于追赶者摄像机的相对运动。运动捕获系统用作参考仪器，该工具提供了两个模型之间的基准相对运动，并允许评估所分析的初始化算法的性能。