因子图是代表概率分布函数分解的图形，并且已在许多自动机器计算任务中使用，例如本地化，跟踪，计划和控制等。我们正在开发一个架构，其目标是将因子图用作一个对于大多数（如果不是），所有自主机计算任务的常见抽象。如果成功，则该体系结构将为基础计算硬件提供映射自动机函数的非常简单的接口。作为此类尝试的第一步，本文介绍了我们最新的工作，即开发用于LIDAR惯性射测（LIO）的因子图加速器（LIO），这是许多自动机器（例如自动驾驶汽车和移动机器人）的重要任务。通过将LIO建模为因子图，所提出的加速器不仅支持多传感器融合，例如LIDAR，惯性测量单元（IMU），GPS等，还可以解决批处理或增量模式的机器人导航的全局优化问题。我们的评估表明，拟议的设计显着提高了自动机器导航系统的实时性能和能源效率。最初的成功表明，将因子图体系结构概括为自动机器计算的常见抽象的潜力，包括跟踪，计划和控制等。

我们提出了Theseus，这是一个有效的应用程序不合时宜的开源库，用于在Pytorch上构建的可区分非线性最小二乘（DNL）优化，为机器人技术和视觉中的端到端结构化学习提供了一个共同的框架。现有的DNLS实施是特定应用程序的，并且并不总是纳入许多对效率重要的成分。 Theseus是应用程序不可静止的，正如我们使用的几个示例应用程序所用的，这些应用程序是使用相同的基础可区分组件构建的，例如二阶优化器，标准成本功能和Lie组。为了提高效率，TheseUS纳入了对稀疏求解器，自动矢量化，批处理，GPU加速度和梯度计算的支持，并具有隐式分化和直接损耗最小化。我们在一组应用程序中进行了广泛的性能评估，显示出这些功能时显示出明显的效率提高和更好的可扩展性。项目页面：https：//sites.google.com/view/theseus-ai

We propose a framework for tightly-coupled lidar inertial odometry via smoothing and mapping, LIO-SAM, that achieves highly accurate, real-time mobile robot trajectory estimation and map-building. LIO-SAM formulates lidar-inertial odometry atop a factor graph, allowing a multitude of relative and absolute measurements, including loop closures, to be incorporated from different sources as factors into the system. The estimated motion from inertial measurement unit (IMU) pre-integration de-skews point clouds and produces an initial guess for lidar odometry optimization. The obtained lidar odometry solution is used to estimate the bias of the IMU. To ensure high performance in real-time, we marginalize old lidar scans for pose optimization, rather than matching lidar scans to a global map. Scan-matching at a local scale instead of a global scale significantly improves the real-time performance of the system, as does the selective introduction of keyframes, and an efficient sliding window approach that registers a new keyframe to a fixed-size set of prior "sub-keyframes." The proposed method is extensively evaluated on datasets gathered from three platforms over various scales and environments.

We argue the case for Gaussian Belief Propagation (GBP) as a strong algorithmic framework for the distributed, generic and incremental probabilistic estimation we need in Spatial AI as we aim at high performance smart robots and devices which operate within the constraints of real products. Processor hardware is changing rapidly, and GBP has the right character to take advantage of highly distributed processing and storage while estimating global quantities, as well as great flexibility. We present a detailed tutorial on GBP, relating to the standard factor graph formulation used in robotics and computer vision, and give several simulation examples with code which demonstrate its properties.

自主机时代的一个主要技术挑战是自动驾驶机器的编程，它要求跨多个领域的协同作用，包括基本的计算机科学，计算机架构和机器人技术，并且需要学术界和行业的专业知识。本文讨论了与生产现实生活自动驾驶机器相关的编程理论和实践，并在特定功能要求，性能期望和自主机的实施约束的背景下涵盖了从高级概念到低级代码生成的各个方面。

在这项工作中，我们展示了基于全球导航卫星系统（GNSS）的零速度信息的重要性。在文献中已经示出了使用零速度更新（Zupt）的零速度信息的有效性已经显示在文献中。在这里，我们利用此信息并将其添加为GNSS因子图中的位置约束。我们还将其性能与GNSS /惯用导航系统（INS）耦合因子图进行比较。我们在三个数据集上测试了我们的Zupt辅助因子图方法，并将其与仅限GNSS因子图进行了比较。

因子图最近被出现为GNSS定位的替代解决方法。在本文中，我们审查了因素图在GNSS中实施了，它们与卡尔曼滤波器的一些优点，以及它们在使定位解决方案更强大地降解测量方面的重要性。我们还讨论了因子图如何成为现场无线电导航社区的重要工具。

LIDAR（光检测和测距）SLAM（同时定位和映射）作为室内清洁，导航和行业和家庭中许多其他有用应用的基础。从一系列LIDAR扫描，它构建了一个准确的全球一致的环境模型，并估计它内部的机器人位置。 SLAM本质上是计算密集的;在具有有限的加工能力的移动机器人上实现快速可靠的SLAM系统是一个具有挑战性的问题。为了克服这种障碍，在本文中，我们提出了一种普遍，低功耗和资源有效的加速器设计，用于瞄准资源限制的FPGA。由于扫描匹配位于SLAM的核心，所提出的加速器包括可编程逻辑部分上的专用扫描匹配核心，并提供软件接口以便于使用。我们的加速器可以集成到各种SLAM方法，包括基于ROS（机器人操作系统） - 基于ROS（机器人操作系统），并且用户可以切换到不同的方法而不修改和重新合成逻辑部分。我们将加速器集成为三种广泛使用的方法，即扫描匹配，粒子滤波器和基于图形的SLAM。我们使用现实世界数据集评估资源利用率，速度和输出结果质量方面的设计。 Pynq-Z2板上的实验结果表明，我们的设计将扫描匹配和循环闭合检测任务加速高达14.84倍和18.92倍，分别在上述方法中产生4.67倍，4.00倍和4.06倍的整体性能改进。我们的设计能够实现实时性能，同时仅消耗2.4W并保持精度，可与软件对应物乃至最先进的方法相当。

安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。

我们提供了一种基于因子图优化的多摄像性视觉惯性内径系统，该系统通过同时使用所有相机估计运动，同时保留固定的整体特征预算。我们专注于在挑战环境中的运动跟踪，例如狭窄的走廊，具有侵略性动作的黑暗空间，突然的照明变化。这些方案导致传统的单眼或立体声测量失败。在理论上，使用额外的相机跟踪运动，但它会导致额外的复杂性和计算负担。为了克服这些挑战，我们介绍了两种新的方法来改善多相机特征跟踪。首先，除了从一体相机移动到另一个相机时，我们连续地跟踪特征的代替跟踪特征。这提高了准确性并实现了更紧凑的因子图表示。其次，我们选择跨摄像机的跟踪功能的固定预算，以降低反向结束优化时间。我们发现，使用较小的信息性功能可以保持相同的跟踪精度。我们所提出的方法使用由IMU和四个摄像机（前立体网和两个侧面）组成的硬件同步装置进行广泛测试，包括：地下矿，大型开放空间，以及带狭窄楼梯和走廊的建筑室内设计。与立体声最新的视觉惯性内径测量方法相比，我们的方法将漂移率，相对姿势误差，高达80％的翻译和旋转39％降低。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

在深度学习中，变压器一直是必不可少的主食。但是，对于现实生活中的应用程序，由于模型的巨大参数和操作，部署有效的变压器非常具有挑战性。为了减轻这种负担，利用稀疏是加速变压器的有效方法。新出现的Ampere GPU利用2：4的稀疏模式来实现模型加速度，而在部署模型时，它几乎无法满足各种算法和硬件约束。相比之下，我们提出了一个算法 - 铁软件合作的框架，以灵活有效地加速变压器，通过使用一般的N：M稀疏模式。 （1）从算法的角度来看，我们提出了一种稀疏性遗传机制以及一种遗传的动态修剪（IDP）方法，以迅速获得一系列N：M稀疏候选变压器。进一步提出了模型压缩方案，以显着减少部署的存储需求。 （2）从硬件的角度来看，我们提出了一种灵活，有效的硬件体系结构，即STA，以在部署N：M稀疏变压器时达到显着加速。 STA不仅具有具有较高计算效率的稀疏密度和致密矩阵乘法的计算引擎，而且还具有可扩展的软模块，从而消除了中级外芯片外数据通信的延迟。实验结果表明，与其他使用IDP生成的其他方法相比，n：m稀疏变压器的准确性平均提高了6.7％。此外，与Intel I9-9900X和NVIDIA RTX 2080 TI相比，STA可以达到14.47倍和11.33倍的速度，并且比最先进的基于FPGA的加速器对变形金刚的最先进的推断速度可以快2.00-19.47倍。

商业自主机器是一个蓬勃发展的扇区，它可能是下一个无处不在的计算平台，它是在个人计算机（PC），云计算和移动计算之后的。然而，缺少适用于自动机器的合适计算基板，许多公司被迫开发既不原则也不可扩展的临时计算解决方案。通过分析自动机器计算的需求，本文提出了数据流加速器体系结构（DAA），这是经典数据流原理的现代实例化，与自动机器软件的特性相匹配。

在这项工作中，我们研究了在不确定性下的在线决策问题，我们将其制定为在信仰空间的规划中。在高维状态（例如，整个轨迹）上维护信仰（即，整个轨迹）不仅被证明可以显着提高准确性，而且还允许在主动SLAM和信息收集的任务所需的情况下规划信息理论目标。尽管如此，根据这种“平滑”范式的规划持有高计算复杂性，这使得在线解决方案具有挑战性。因此，我们建议以下想法：在规划之前，在初始信念上执行独立状态可变重新排序过程，并“推进”所有预测的环路关闭变量。由于初始可变顺序确定将受到传入更新影响的它们的哪个子集，因此这种重新排序允许我们最小化受影响变量的总数，并在规划期间降低候选评估的计算复杂性。我们称之为Pivot：预测增量变量订购策略。应用此策略也可以提高国家推理效率;如果我们在规划会议后维持枢轴令，那么我们应该同样降低循环闭合的成本，当实际发生时。为了展示其有效性，我们将枢轴应用于一个现实的主动Slam仿真中，在那里我们设法显着减少了规划和推理会话的计算时间。该方法适用于一般分布，并不能准确地损失。

基于事件的视觉传感器基于视觉场景的变化产生具有高时间分辨率的异步事件流。随着事件的生成，这些传感器的特性允许精确快速地计算光学流量。对于从事件数据计算光学流的现有解决方案未能由于孔径问题而无法捕获真正的运动方向，请勿使用传感器的高时间分辨率，或者在嵌入式平台上实时运行太昂贵。在这项研究中，我们首先提供了我们之前的算法，武器（光圈稳健的多尺度流）的更快版本。新的优化软件版本（农场）显着提高了传统CPU的吞吐量。此外，我们呈现危害，一种农场算法的硬件实现，允许实时计算低功耗，嵌入式平台上的真实流量。建议的危害架构针对混合系统的片上器件，旨在最大限度地提高可配置性和吞吐量。硬件架构和农场算法是用异步的神经形态处理而开发的，放弃了事件帧的常用使用，而是仅使用不同事件的小历史运行，允许独立于传感器分辨率进行缩放。与现有方法相比，处理范例的这种变化将流量方向的估计变为高达73％，并在选择的基准配置上显示出危害最高为1.21 Mevent / s的危害。此吞吐量使实时性能能够实现迄今为止迄今为止最快速的基于活动的事件的光流的实现。

The field of autonomous mobile robots has undergone dramatic advancements over the past decades. Despite achieving important milestones, several challenges are yet to be addressed. Aggregating the achievements of the robotic community as survey papers is vital to keep the track of current state-of-the-art and the challenges that must be tackled in the future. This paper tries to provide a comprehensive review of autonomous mobile robots covering topics such as sensor types, mobile robot platforms, simulation tools, path planning and following, sensor fusion methods, obstacle avoidance, and SLAM. The urge to present a survey paper is twofold. First, autonomous navigation field evolves fast so writing survey papers regularly is crucial to keep the research community well-aware of the current status of this field. Second, deep learning methods have revolutionized many fields including autonomous navigation. Therefore, it is necessary to give an appropriate treatment of the role of deep learning in autonomous navigation as well which is covered in this paper. Future works and research gaps will also be discussed.

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.

在本文中，提出了一种新的视觉惯性内径（VIO）的步行 - vio，采用步行运动 - 自适应腿运动约束，其提出了用身体运动改变为四足机器人的定位。四足机器人主要使用VIO，因为它们需要快速定位进行控制和路径规划。但是，由于四足功能机器主要用于室外，因此从天空或地面提取的外来特征导致跟踪故障。此外，Quadruped Robots的行走运动导致摆动，这降低了相机和惯性测量单元（IMU）引起的定位精度。为了克服这些限制，许多研究人员使用VIO与腿运动限制。然而，由于四足机器人的行走运动根据控制器，步态，四足机器人的速度等，因此在添加腿运动限制的过程中应该考虑这些因素。我们提出了通过调整腿运动约束因素来使用的VIO，无论步行运动如何。为了评估Walk-VIO，我们创建和发布二章机器人的数据集，这些机器人在仿真环境中以各种类型的行走运动移动。此外，我们通过与当前最先进的算法进行比较验证了WAWN-VIO的有效性。

图表卷积网络（GCNS）已成为最先进的图形学习模型。但是，它可以令人难以置于大图数据集的推断GCNS，这会将其应用于大型实际图表并阻碍更深层更复杂的GCN图形的探讨。这是因为真实世界图可能非常大而稀疏。此外，GCN的节点度倾向于遵循幂律分布，因此具有高度不规则的邻接矩阵，导致数据处理和移动中的禁止低效率，从而显着地限制了可实现的GCN加速效率。为此，本文提出了一种GCN算法和加速器协同设计框架被称为GCOD，其在很大程度上可以缓解上述GCN不规则性并提高GCNS推理效率。具体地，在算法级别上，GCOD集成了分割和征服GCN训练策略，该训练策略将图形偏离在本地邻域中的密集或稀疏，而不会影响模型精度，从而导致（主要）的图形邻接矩阵仅仅是两个级别的工作量并享受大部分增强的规律性，从而轻松加速。在硬件水平上，我们进一步开发了一个具有分离发动机的专用双子加速器，以处理每个上述密集和稀疏工作负载，进一步提高整体利用率和加速效率。广泛的实验和消融研究验证了我们的GCOD始终如一地减少了与CPU，GPU和现有技术GCN加速器相比的15286倍，294倍，7.8倍和2.5倍的加速，包括HYGCN和AWB -GCN分别在保持甚至提高任务准确性的同时。

Efficient localization plays a vital role in many modern applications of Unmanned Ground Vehicles (UGV) and Unmanned aerial vehicles (UAVs), which would contribute to improved control, safety, power economy, etc. The ubiquitous 5G NR (New Radio) cellular network will provide new opportunities for enhancing localization of UAVs and UGVs. In this paper, we review the radio frequency (RF) based approaches for localization. We review the RF features that can be utilized for localization and investigate the current methods suitable for Unmanned vehicles under two general categories: range-based and fingerprinting. The existing state-of-the-art literature on RF-based localization for both UAVs and UGVs is examined, and the envisioned 5G NR for localization enhancement, and the future research direction are explored.