道路网络图为自动驾驶应用程序提供关键信息，例如可用于运动计划算法的可驱动区域。为了找到道路网络图，手动注释通常效率低下且劳动密集型。自动检测道路网络图可以减轻此问题，但现有作品仍然存在一些局限性。例如，基于细分的方法无法确保令人满意的拓扑正确性，并且基于图的方法无法提供足够精确的检测结果。为了解决这些问题的解决方案，我们在本文中提出了一种基于变压器和模仿学习的新方法。鉴于当今世界各地可以轻松访问高分辨率航空图像，我们在方法中使用航空图像。作为输入的空中图像，我们的方法迭代生成道路网络图逐vertex。我们的方法可以处理复杂的交叉点，以及各种事件的道路细分。我们在公开可用的数据集上评估我们的方法。通过比较实验证明了我们方法的优势。我们的作品附有一个演示视频，可在\ url {https://tonyxuqaq.github.io/projects/rngdet/}中获得。

道路网络的图结构对于自动驾驶系统的下游任务，例如全球计划，运动预测和控制至关重要。过去，公路网络图通常由人类专家手动注释，这是耗时且劳动力密集的。为了获得更好的有效性和效率的道路网络图，需要进行自动的路网图检测方法。先前的作品要么是后处理的语义分割图，要么提出基于图的算法以直接预测道路网络图。但是，以前的作品遭受了硬编码的启发式处理算法和劣质最终性能。为了增强先前的SOTA（最新方法）方法RNGDET，我们添加了一个实例分割头，以更好地监督模型培训，并使模型能够利用骨干网络的多尺度功能。由于新提出的方法从RNGDET改进，因此命名为RNGDET ++。所有方法均在大型公开数据集上进行评估。 RNGDET ++在几乎所有度量分数上都优于基线模型。它将拓扑正确性APL（平均路径长度相似性）提高了3 \％。演示视频和补充材料可在我们的项目页面\ url {https://tonyxuqaq.github.io/projects/rngdetplusplus/}中获得。

高清（HD）地图可以为自动驾驶提供静态交通环境的精确几何和语义信息。道路边界是高清地图中包含的最重要的信息之一，因为它区分道路地区和越野地区，可以引导车辆在道路区域内驾驶。但它是劳动密集型的，以向城市规模提供高清地图的道路边界。为了启用自动高清映射注释，当前工作使用语义分割或迭代图，用于道路边界检测。然而，前者无法确保拓扑正确性，因为它在像素级别工作，而后者遭受效率低下和漂流问题。为了提供上述问题的解决方案，在这封信中，我们提出了一个新的系统被称为CSBoundary，以便在城市规模上自动检测高清地图注释的道路边界。我们的网络将作为输入空中图像补丁的输入，并直接从此图像中递送连续的道路边界图（即顶点和边缘）。要生成城市规模的道路边界图，我们将从所有图像修补程序缝制所获得的图形。我们的CSBoundary在公共基准数据集中进行了评估并进行了比较。结果表明了我们的优越感。伴随的演示视频可在我们的项目页面\ url {https:/sites.google.com/view/csbound/}处获得。

随着自动驾驶汽车的快速发展，目击者对高清地图（HD地图）的需求蓬勃发展，这些地图（HD地图）在自主驾驶场景中提供了可靠且强大的静态环境信息。作为高清图中的主要高级元素之一，道路车道中心线对于下游任务（例如预测和计划）至关重要。人类注释器手动注释车道中心线高清图是劳动密集型，昂贵且效率低下的，严重限制了自动驾驶系统的广泛应用和快速部署。以前的工作很少探索中心线高清图映射问题，这是由于拓扑复杂和道路中心线的严重重叠问题。在本文中，我们提出了一种名为CenterLinedet的新方法，以自动创建Lane Centrine HD地图。通过模仿学习对CenterLinedet进行训练，并可以通过使用车辆安装的传感器进行迭代有效地检测到车道中心线的图。由于应用了类似DITR的变压器网络，CenterLinedet可以处理复杂的图形拓扑，例如车道相交。在大型公开数据集Nuscenes上评估了所提出的方法，并通过比较结果很好地证明了CenterLinedet的优势。本文附有一个演示视频和一个补充文档，可在\ url {https://tonyxuqaq.github.io/projects/centerlinedet/}中获得。

在过去几年中，自动驾驶一直是最受欢迎，最具挑战性的主题之一。在实现完全自治的道路上，研究人员使用了各种传感器，例如LIDAR，相机，惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用程序的智能算法，例如对象检测，对象段，障碍，避免障碍物，避免障碍物和障碍物，以及路径计划。近年来，高清（HD）地图引起了很多关注。由于本地化中高清图的精度和信息水平很高，因此它立即成为自动驾驶的关键组成部分之一。从Baidu Apollo，Nvidia和TomTom等大型组织到个别研究人员，研究人员创建了用于自主驾驶的不同场景和用途的高清地图。有必要查看高清图生成的最新方法。本文回顾了最新的高清图生成技术，这些技术利用了2D和3D地图生成。这篇评论介绍了高清图的概念及其在自主驾驶中的有用性，并详细概述了高清地图生成技术。我们还将讨论当前高清图生成技术的局限性，以激发未来的研究。

Deep learning based methods have significantly boosted the study of automatic building extraction from remote sensing images. However, delineating vectorized and regular building contours like a human does remains very challenging, due to the difficulty of the methodology, the diversity of building structures, and the imperfect imaging conditions. In this paper, we propose the first end-to-end learnable building contour extraction framework, named BuildMapper, which can directly and efficiently delineate building polygons just as a human does. BuildMapper consists of two main components: 1) a contour initialization module that generates initial building contours; and 2) a contour evolution module that performs both contour vertex deformation and reduction, which removes the need for complex empirical post-processing used in existing methods. In both components, we provide new ideas, including a learnable contour initialization method to replace the empirical methods, dynamic predicted and ground truth vertex pairing for the static vertex correspondence problem, and a lightweight encoder for vertex information extraction and aggregation, which benefit a general contour-based method; and a well-designed vertex classification head for building corner vertices detection, which casts light on direct structured building contour extraction. We also built a suitable large-scale building dataset, the WHU-Mix (vector) building dataset, to benefit the study of contour-based building extraction methods. The extensive experiments conducted on the WHU-Mix (vector) dataset, the WHU dataset, and the CrowdAI dataset verified that BuildMapper can achieve a state-of-the-art performance, with a higher mask average precision (AP) and boundary AP than both segmentation-based and contour-based methods.

本文通过解决面具可逆性问题来研究建筑物多边形映射的问题，该问题导致了基于学习的方法的预测蒙版和多边形之间的显着性能差距。我们通过利用分层监督（底部级顶点，中层线段和高级区域口罩）来解决此问题，并提出了一种新颖用于建筑物多边形映射的面具。结果，我们表明，学识渊博的可逆建筑面具占据了深度卷积神经网络的所有优点，用于建筑物的高绩效多边形映射。在实验中，我们评估了对Aicrowd和Inria的两个公共基准的方法。在Aicrowd数据集上，我们提出的方法对AP，APBOUNDARY和POLIS的指标获得了一致改进。对于Inria数据集，我们提出的方法还获得了IOU和准确性指标的竞争结果。型号和源代码可在https://github.com/sarahwxu上获得。

We address 2D floorplan reconstruction from 3D scans. Existing approaches typically employ heuristically designed multi-stage pipelines. Instead, we formulate floorplan reconstruction as a single-stage structured prediction task: find a variable-size set of polygons, which in turn are variable-length sequences of ordered vertices. To solve it we develop a novel Transformer architecture that generates polygons of multiple rooms in parallel, in a holistic manner without hand-crafted intermediate stages. The model features two-level queries for polygons and corners, and includes polygon matching to make the network end-to-end trainable. Our method achieves a new state-of-the-art for two challenging datasets, Structured3D and SceneCAD, along with significantly faster inference than previous methods. Moreover, it can readily be extended to predict additional information, i.e., semantic room types and architectural elements like doors and windows. Our code and models will be available at: https://github.com/ywyue/RoomFormer.

大规模矢量映射对于运输，城市规划，调查和人口普查很重要。我们提出了GraphMapper，这是从卫星图像中提取端到端向量图的统一框架。我们的关键思想是一种新颖的统一表示，称为“原始图”的不同拓扑的形状，这是一组形状原语及其成对关系矩阵。然后，我们将向量形状的预测，正则化和拓扑重构转换为独特的原始图学习问题。具体而言，GraphMapper是一个基于多头注意的全局形状上下文建模的通用原始图形学习网络。开发了一种嵌入式空间排序方法，用于准确的原始关系建模。我们从经验上证明了GraphMapper对两个具有挑战性的映射任务的有效性，即建立足迹正则化和道路网络拓扑重建。我们的模型在公共基准上的两项任务中都优于最先进的方法。所有代码将公开可用。

我们提出了一种新的表结构识别方法（TSR）方法，称为TSRFormer，以稳健地识别来自各种表图像的几何变形的复杂表的结构。与以前的方法不同，我们将表分离线预测作为线回归问题，而不是图像分割问题，并提出了一种新的两阶段基于基于DETR的分离器预测方法，称为\ textbf {sep} arator \ textbf {re} re} tr} ansformer（sepretr），直接预测与表图像的分离线。为了使两阶段的DETR框架有效地有效地在分离线预测任务上工作，我们提出了两个改进：1）一种先前增强的匹配策略，以解决慢速收敛问题的detr； 2）直接来自高分辨率卷积特征图的样本特征的新的交叉注意模块，以便以低计算成本实现高定位精度。在分离线预测之后，使用简单的基于关系网络的单元格合并模块来恢复跨越单元。借助这些新技术，我们的TSRFormer在包括SCITSR，PubTabnet和WTW在内的多个基准数据集上实现了最先进的性能。此外，我们已经验证了使用复杂的结构，无边界的单元，大空间，空的或跨越的单元格以及在更具挑战性的现实世界内部数据集中扭曲甚至弯曲的形状的桌子的鲁棒性。

捕获图像的全局拓扑对于提出对其域的准确分割至关重要。但是，大多数现有的分割方法都不能保留给定输入的初始拓扑，这对许多下游基于对象的任务有害。对于大多数在本地尺度上工作的深度学习模型来说，这是更真实的。在本文中，我们提出了一种新的拓扑深度图像分割方法，该方法依赖于新的泄漏损失：Pathloss。我们的方法是Baloss [1]的扩展，其中我们希望改进泄漏检测，以更好地恢复图像分割的接近度。这种损失使我们能够正确定位并修复预测中可能发生的关键点（边界中的泄漏），并基于最短路径搜索算法。这样，损失最小化仅在必要时才能强制连接，并最终提供了图像中对象边界的良好定位。此外，根据我们的研究，与无需使用拓扑损失的方法相比，我们的Pathloss学会了保持更强的细长结构。通过我们的拓扑损失函数培训，我们的方法在两个代表性数据集上优于最先进的拓扑感知方法：电子显微镜和历史图。

随着深度卷积神经网络的兴起，对象检测在过去几年中取得了突出的进步。但是，这种繁荣无法掩盖小物体检测（SOD）的不令人满意的情况，这是计算机视觉中臭名昭著的挑战性任务之一，这是由于视觉外观不佳和由小目标的内在结构引起的嘈杂表示。此外，用于基准小对象检测方法基准测试的大规模数据集仍然是瓶颈。在本文中，我们首先对小物体检测进行了详尽的审查。然后，为了催化SOD的发展，我们分别构建了两个大规模的小物体检测数据集（SODA），SODA-D和SODA-A，分别集中在驾驶和空中场景上。 SODA-D包括24704个高质量的交通图像和277596个9个类别的实例。对于苏打水，我们收集2510个高分辨率航空图像，并在9个类别上注释800203实例。众所周知，拟议的数据集是有史以来首次尝试使用针对多类SOD量身定制的大量注释实例进行大规模基准测试。最后，我们评估主流方法在苏打水上的性能。我们预计发布的基准可以促进SOD的发展，并产生该领域的更多突破。数据集和代码将很快在：\ url {https://shaunyuan22.github.io/soda}上。

预测公路参与者的未来运动对于自动驾驶至关重要，但由于令人震惊的运动不确定性，因此极具挑战性。最近，大多数运动预测方法求助于基于目标的策略，即预测运动轨迹的终点，作为回归整个轨迹的条件，以便可以减少解决方案的搜索空间。但是，准确的目标坐标很难预测和评估。此外，目的地的点表示限制了丰富的道路环境的利用，从而导致预测不准确。目标区域，即可能的目的地区域，而不是目标坐标，可以通过涉及更多的容忍度和指导来提供更软的限制，以搜索潜在的轨迹。考虑到这一点，我们提出了一个新的基于目标区域的框架，名为“目标区域网络”（GANET）进行运动预测，该框架对目标区域进行了建模，而不是确切的目标坐标作为轨迹预测的先决条件，更加可靠，更准确地执行。具体而言，我们建议一个goicrop（目标的目标区域）操作员有效地提取目标区域中的语义巷特征，并在目标区域和模型演员的未来互动中提取语义巷，这对未来的轨迹估计很大。 Ganet在所有公共文献（直到论文提交）中排名第一个，将其源代码排在第一位。

对道路网拓扑的了解对于自主规划和导航至关重要。然而，只有部分探讨了从单个图像中恢复此类拓扑结构。此外，它需要指地面平面，也需要驾驶动作。本文旨在提取当地路网拓扑，直接在鸟瞰图（BEV）中，全部都在复杂的城市环境中。唯一的输入包括单个板载，前瞻性相机图像。我们使用一系列定向的车道曲线及其交互来代表道路拓扑，它们使用它们的交叉点捕获。为了更好地捕获拓扑，我们介绍了\ emph {最小循环}及其封面的概念。最小循环是由指向曲线段（两个交叉点）形成的最小循环。盖子是一组曲线，其段涉及形成最小循环。我们首先表明封面足以唯一代表道路拓扑。然后将封面用于监督深度神经网络，以及车道曲线监控。这些学习从单个输入图像预测道路拓扑。 NUSCENES和协会基准测试的结果明显优于基线获得的结果。我们的源代码将公开可用。

车道检测是许多实际自治系统的重要组成部分。尽管已经提出了各种各样的车道检测方法，但随着时间的推移报告了基准的稳定改善，但车道检测仍然是一个未解决的问题。这是因为大多数现有的车道检测方法要么将车道检测视为密集的预测或检测任务，因此很少有人考虑泳道标记的独特拓扑（Y形，叉形，几乎是水平的车道），该拓扑标记物是该标记的。导致亚最佳溶液。在本文中，我们提出了一种基于继电器链预测的新方法检测。具体而言，我们的模型预测了分割图以对前景和背景区域进行分类。对于前景区域中的每个像素点，我们穿过前向分支和后向分支以恢复整个车道。每个分支都会解码传输图和距离图，以产生移动到下一个点的方向，以及逐步预测继电器站的步骤（下一个点）。因此，我们的模型能够沿车道捕获关键点。尽管它很简单，但我们的策略使我们能够在包括Tusimple，Culane，Curvelanes和Llamas在内的四个主要基准上建立新的最先进。

任意形状的文本检测是一项具有挑战性的任务，这是由于大小和宽高比，任意取向或形状，不准确的注释等各种变化的任务。最近引起了大量关注。但是，文本的准确像素级注释是强大的，现有的场景文本检测数据集仅提供粗粒的边界注释。因此，始终存在大量错误分类的文本像素或背景像素，从而降低基于分割的文本检测方法的性能。一般来说，像素是否属于文本与与相邻注释边界的距离高度相关。通过此观察，在本文中，我们通过概率图提出了一种创新且可靠的基于分割的检测方法，以准确检测文本实例。为了具体，我们采用Sigmoid alpha函数（SAF）将边界及其内部像素之间的距离传输到概率图。但是，由于粗粒度文本边界注释的不确定性，一个概率图无法很好地覆盖复杂的概率分布。因此，我们采用一组由一系列Sigmoid alpha函数计算出的概率图来描述可能的概率分布。此外，我们提出了一个迭代模型，以学习预测和吸收概率图，以提供足够的信息来重建文本实例。最后，采用简单的区域生长算法来汇总概率图以完成文本实例。实验结果表明，我们的方法在几个基准的检测准确性方面实现了最先进的性能。

最近已经提出了3D车道检测的方法，以解决许多自动驾驶场景（上坡/下坡，颠簸等）中不准确的车道布局问题。先前的工作在复杂的情况下苦苦挣扎，因为它们对前视图和鸟类视图（BEV）之间的空间转换以及缺乏现实数据集的简单设计。在这些问题上，我们介绍了Persformer：具有新型基于变压器的空间特征变换模块的端到端单眼3D车道检测器。我们的模型通过参考摄像头参数来参与相关的前视本地区域来生成BEV功能。 Persformer采用统一的2D/3D锚设计和辅助任务，以同时检测2D/3D车道，从而提高功能一致性并分享多任务学习的好处。此外，我们发布了第一个大型现实世界3D车道数据集之一：OpenLane，具有高质量的注释和场景多样性。 OpenLane包含200,000帧，超过880,000个实例级别的车道，14个车道类别，以及场景标签和封闭式对象注释，以鼓励开发车道检测和更多与工业相关的自动驾驶方法。我们表明，在新的OpenLane数据集和Apollo 3D Lane合成数据集中，Persformer在3D车道检测任务中的表现明显优于竞争基线，并且在OpenLane上的2D任务中也与最新的算法相当。该项目页面可在https://github.com/openperceptionx/persformer_3dlane上找到，OpenLane数据集可在https://github.com/openperceptionx/openlane上提供。

分割高度重叠的图像对象是具有挑战性的，因为图像上的真实对象轮廓和遮挡边界之间通常没有区别。与先前的实例分割方法不同，我们将图像形成模拟为两个重叠层的组成，并提出了双层卷积网络（BCNET），其中顶层检测到遮挡对象（遮挡器），而底层则渗透到部分闭塞实例（胶囊）。遮挡关系与双层结构的显式建模自然地将遮挡和遮挡实例的边界解散，并在掩模回归过程中考虑了它们之间的相互作用。我们使用两种流行的卷积网络设计（即完全卷积网络（FCN）和图形卷积网络（GCN））研究了双层结构的功效。此外，我们通过将图像中的实例表示为单独的可学习封闭器和封闭者查询，从而使用视觉变压器（VIT）制定双层解耦。使用一个/两个阶段和基于查询的对象探测器具有各种骨架和网络层选择验证双层解耦合的概括能力，如图像实例分段基准（可可，亲戚，可可）和视频所示实例分割基准（YTVIS，OVIS，BDD100K MOTS），特别是对于重闭塞病例。代码和数据可在https://github.com/lkeab/bcnet上找到。

从空中和卫星图像提取自动化路线图是一个长期存在的挑战。现有算法基于像素级分段，然后是矢量化，或者使用下一个移动预测的迭代图构造。这两种策略都遭受了严重的缺点，特别是高计算资源和不完整的产出。相比之下，我们提出了一种直接在单次通过中缩小最终道路图的方法。关键思想包括组合完全卷积的网络，这些网络负责定位点，例如交叉点，死头和转弯，以及预测这些点之间的链路的图形神经网络。这种策略比迭代方法更有效，并允许我们通过在保持训练端到端的同时消除生成起始位置的需要来简化培训过程。我们评估我们对流行的道路流数据集上现有工作的方法，并实现竞争结果。我们还将速度基准测试，并表明它优于现有的方法。这为嵌入式设备打开了飞行中的可能性。

Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.