大多数图像匹配方法在遇到大规模的图像变化时表现不佳。为了解决这个问题，首先，我们提出了一种规模差异感知图像匹配方法（SDAIM），其通过根据估计比例的尺度比调整图像对的两个图像大小来降低局部特征提取之前的图像比例差异。其次，为了准确估计比例比率，我们提出了一种可执行的加强匹配模块（CVARM），然后设计了一种基于CVARM的新型神经网络，称为Scale-Net。所提出的CVARM可以对图像对内的可释放区域进行更多的压力，并抑制仅在一个图像中可见的那些区域的分散注意力。定量和定性实验证实，与所有现有比例比率估计方法相比，所提出的尺度净净值具有更高的比例估计精度和更好的泛化能力。图像匹配和相对姿势估计任务的进一步实验表明，我们的SDAIM和Scale-Net能够大大提高代表性本地特征的性能和最先进的本地特征匹配方法。

本地图像功能匹配，旨在识别图像对的识别和相应的相似区域，是计算机视觉中的重要概念。大多数现有的图像匹配方法遵循一对一的分配原则，并采用共同最近的邻居来确保跨图像之间本地特征之间的独特对应关系。但是，来自不同条件的图像可能会容纳大规模变化或观点多样性，以便一对一的分配可能在密集匹配中导致模棱两可或丢失的表示形式。在本文中，我们介绍了一种新颖的无探测器本地特征匹配方法Adamatcher，该方法首先通过轻巧的特征交互模块与密集的特征相关联，并估算了配对图像的可见面积，然后执行贴片级多到 - 一个分配可以预测匹配建议，并最终根据一对一的完善模块进行完善。广泛的实验表明，Adamatcher的表现优于固体基线，并在许多下游任务上实现最先进的结果。此外，多对一分配和一对一的完善模块可以用作其他匹配方法（例如Superglue）的改进网络，以进一步提高其性能。代码将在出版时提供。

在本文中，我们解决了估算图像之间尺度因子的问题。我们制定规模估计问题作为对尺度因素的概率分布的预测。我们设计了一种新的架构，ScaleNet，它利用扩张的卷积以及自我和互相关层来预测图像之间的比例。我们展示了具有估计尺度的整流图像导致各种任务和方法的显着性能改进。具体而言，我们展示了ScaleNet如何与稀疏的本地特征和密集的通信网络组合，以改善不同的基准和数据集中的相机姿势估计，3D重建或密集的几何匹配。我们对多项任务提供了广泛的评估，并分析了标准齿的计算开销。代码，评估协议和培训的型号在https://github.com/axelbarroso/scalenet上公开提供。

现有方法以非可分子点检测关键点，因此它们不能直接通过背部传播优化关键点的位置。为解决此问题，我们呈现了一个可差异的关键点检测模块，其输出精确的子像素键点。然后提出了再分断损耗直接优化这些子像素键点，并且呈现了分散峰值损耗以获得准确的关键点正则化。我们还以子像素方式提取描述符，并通过稳定的神经输注误差丢失训练。此外，轻量化网络被设计用于关键点检测和描述符提取，其可以在商业GPU上以每秒95帧运行为95帧。在同性记估计，相机姿态估计和视觉（重新）定位任务中，所提出的方法通过最先进的方法实现了相同的性能，而大大减少了推理时间。

This paper introduces SuperGlue, a neural network that matches two sets of local features by jointly finding correspondences and rejecting non-matchable points. Assignments are estimated by solving a differentiable optimal transport problem, whose costs are predicted by a graph neural network. We introduce a flexible context aggregation mechanism based on attention, enabling SuperGlue to reason about the underlying 3D scene and feature assignments jointly. Compared to traditional, hand-designed heuristics, our technique learns priors over geometric transformations and regularities of the 3D world through end-to-end training from image pairs. SuperGlue outperforms other learned approaches and achieves state-of-the-art results on the task of pose estimation in challenging real-world indoor and outdoor environments. The proposed method performs matching in real-time on a modern GPU and can be readily integrated into modern SfM or SLAM systems. The code and trained weights are publicly available at github.com/magicleap/SuperGluePretrainedNetwork.

在许多计算机视觉管道中，在图像之间建立一组稀疏的关键点相关性是一项基本任务。通常，这转化为一个计算昂贵的最近邻居搜索，必须将一个图像的每个键盘描述符与其他图像的所有描述符进行比较。为了降低匹配阶段的计算成本，我们提出了一个能够检测到每个图像处的互补关键集的深度提取网络。由于仅需要在不同图像上比较同一组中的描述符，因此匹配相计算复杂度随集合数量而降低。我们训练我们的网络以预测关键点并共同计算相应的描述符。特别是，为了学习互补的关键点集，我们引入了一种新颖的无监督损失，对不同集合之间的交叉点进行了惩罚。此外，我们提出了一种基于描述符的新型加权方案，旨在惩罚使用非歧视性描述符的关键点的检测。通过广泛的实验，我们表明，我们的功能提取网络仅在合成的扭曲图像和完全无监督的方式进行训练，以降低匹配的复杂性，在3D重建和重新定位任务上取得了竞争成果。

We introduce a lightweight network to improve descriptors of keypoints within the same image. The network takes the original descriptors and the geometric properties of keypoints as the input, and uses an MLP-based self-boosting stage and a Transformer-based cross-boosting stage to enhance the descriptors. The enhanced descriptors can be either real-valued or binary ones. We use the proposed network to boost both hand-crafted (ORB, SIFT) and the state-of-the-art learning-based descriptors (SuperPoint, ALIKE) and evaluate them on image matching, visual localization, and structure-from-motion tasks. The results show that our method significantly improves the performance of each task, particularly in challenging cases such as large illumination changes or repetitive patterns. Our method requires only 3.2ms on desktop GPU and 27ms on embedded GPU to process 2000 features, which is fast enough to be applied to a practical system.

We present a novel method for local image feature matching. Instead of performing image feature detection, description, and matching sequentially, we propose to first establish pixel-wise dense matches at a coarse level and later refine the good matches at a fine level. In contrast to dense methods that use a cost volume to search correspondences, we use self and cross attention layers in Transformer to obtain feature descriptors that are conditioned on both images. The global receptive field provided by Transformer enables our method to produce dense matches in low-texture areas, where feature detectors usually struggle to produce repeatable interest points. The experiments on indoor and outdoor datasets show that LoFTR outperforms state-of-the-art methods by a large margin. LoFTR also ranks first on two public benchmarks of visual localization among the published methods. Code is available at our project page: https://zju3dv.github.io/loftr/.

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

在许多视觉应用程序中，查找跨图像的对应是一项重要任务。最新的最新方法着重于以粗到精细的方式设计的基于端到端学习的架构。他们使用非常深的CNN或多块变压器来学习强大的表示，这需要高计算能力。此外，这些方法在不理解对象，图像内部形状的情况下学习功能，因此缺乏解释性。在本文中，我们提出了一个用于图像匹配的体系结构，该体系结构高效，健壮且可解释。更具体地说，我们介绍了一个名为toblefm的新型功能匹配模块，该模块可以大致将图像跨图像的空间结构大致组织到一个主题中，然后扩大每个主题内部的功能以进行准确的匹配。为了推断主题，我们首先学习主题的全局嵌入，然后使用潜在变量模型来检测图像结构将图像结构分配到主题中。我们的方法只能在共同可见性区域执行匹配以减少计算。在室外和室内数据集中进行的广泛实验表明，我们的方法在匹配性能和计算效率方面优于最新方法。该代码可在https://github.com/truongkhang/topicfm上找到。

在统一功能对应模型中建模稀疏和致密的图像匹配最近引起了研究的兴趣。但是，现有的努力主要集中于提高匹配的准确性，同时忽略其效率，这对于现实世界的应用至关重要。在本文中，我们提出了一种有效的结构，该结构以粗到精细的方式找到对应关系，从而显着提高了功能对应模型的效率。为了实现这一目标，多个变压器块是阶段范围连接的，以逐步完善共享的多尺度特征提取网络上的预测坐标。给定一对图像和任意查询坐标，所有对应关系均在单个进纸传球内预测。我们进一步提出了一种自适应查询聚类策略和基于不确定性的离群检测模块，以与提出的框架合作，以进行更快，更好的预测。对各种稀疏和密集的匹配任务进行的实验证明了我们方法在效率和有效性上对现有的最新作品的优势。

Sparse local feature extraction is usually believed to be of important significance in typical vision tasks such as simultaneous localization and mapping, image matching and 3D reconstruction. At present, it still has some deficiencies needing further improvement, mainly including the discrimination power of extracted local descriptors, the localization accuracy of detected keypoints, and the efficiency of local feature learning. This paper focuses on promoting the currently popular sparse local feature learning with camera pose supervision. Therefore, it pertinently proposes a Shared Coupling-bridge scheme with four light-weight yet effective improvements for weakly-supervised local feature (SCFeat) learning. It mainly contains: i) the \emph{Feature-Fusion-ResUNet Backbone} (F2R-Backbone) for local descriptors learning, ii) a shared coupling-bridge normalization to improve the decoupling training of description network and detection network, iii) an improved detection network with peakiness measurement to detect keypoints and iv) the fundamental matrix error as a reward factor to further optimize feature detection training. Extensive experiments prove that our SCFeat improvement is effective. It could often obtain a state-of-the-art performance on classic image matching and visual localization. In terms of 3D reconstruction, it could still achieve competitive results. For sharing and communication, our source codes are available at https://github.com/sunjiayuanro/SCFeat.git.

在本文中，我们建议超越建立的基于视觉的本地化方法，该方法依赖于查询图像和3D点云之间的视觉描述符匹配。尽管通过视觉描述符匹配关键点使本地化高度准确，但它具有重大的存储需求，提出了隐私问题，并需要长期对描述符进行更新。为了优雅地应对大规模定位的实用挑战，我们提出了Gomatch，这是基于视觉的匹配的替代方法，仅依靠几何信息来匹配图像键点与地图的匹配，这是轴承矢量集。我们的新型轴承矢量表示3D点，可显着缓解基于几何的匹配中的跨模式挑战，这阻止了先前的工作在现实环境中解决本地化。凭借额外的仔细建筑设计，Gomatch在先前的基于几何的匹配工作中改善了（1067m，95.7升）和（1.43m，34.7摄氏度），平均中位数姿势错误，同时需要7个尺寸，同时需要7片。与最佳基于视觉的匹配方法相比，几乎1.5/1.7％的存储容量。这证实了其对现实世界本地化的潜力和可行性，并为不需要存储视觉描述符的城市规模的视觉定位方法打开了未来努力的大门。

This paper presents a self-supervised framework for training interest point detectors and descriptors suitable for a large number of multiple-view geometry problems in computer vision. As opposed to patch-based neural networks, our fully-convolutional model operates on full-sized images and jointly computes pixel-level interest point locations and associated descriptors in one forward pass. We introduce Homographic Adaptation, a multi-scale, multihomography approach for boosting interest point detection repeatability and performing cross-domain adaptation (e.g., synthetic-to-real). Our model, when trained on the MS-COCO generic image dataset using Homographic Adaptation, is able to repeatedly detect a much richer set of interest points than the initial pre-adapted deep model and any other traditional corner detector. The final system gives rise to state-of-the-art homography estimation results on HPatches when compared to LIFT, SIFT and ORB.

关键点匹配是多个图像相关应用的关键组件，例如图像拼接，视觉同时定位和映射（SLAM）等。基于手工制作和最近出现的深度学习的关键点匹配方法仅依赖于关键点和本地功能，同时在上述应用中丢失其他可用传感器（如惯性测量单元（IMU））的视觉。在本文中，我们证明IMU集成的运动估计可用于利用图像之间的关键点之前的空间分布。为此，提出了一种注意力制剂的概率视角，以自然地将空间分布集成到注意力图神经网络中。在空间分布的帮助下，可以减少用于建模隐藏特征的网络的努力。此外，我们为所提出的关键点匹配网络提出了一个投影损耗，它在匹配和未匹配的关键点之间提供了平滑的边缘。图像匹配在Visual Slam数据集上的实验表明了呈现的方法的有效性和效率。

同性记估计是计算机视觉应用中的一个重要任务，例如图像拼接，视频稳定和相机校准。传统的同性恋估计方法大量取决于特征对应关系的数量和分布，导致低纹理场景中的稳健性差。相反，学习解决方案尝试学习强大的深度特征，但在具有低重叠率的场景中表现出不满意的性能。在本文中，我们通过设计上下文相关层（CCL）同时解决这两个问题。 CCL可以有效地捕获特征映射内的远程相关性，并且可以灵活地用于学习框架。此外，考虑到单位定位不能用视差将复杂的图像中的复杂空间转换表示，我们建议将多网权特征从全局预测到本地。此外，通过引入新的深度感知形状保存的损失，我们将我们的网络配备了深度感知能力。广泛的实验证明了我们在合成基准数据集和现实世界数据集中的最先进解决方案的方法的优越性。代码和模型将在https://github.com/nie-lang/multi-grid-deep-homography上获得。

本地功能匹配是在子像素级别上的计算密集任务。尽管基于检测器的方法和特征描述符在低文本场景中遇到了困难，但具有顺序提取到匹配管道的基于CNN的方法无法使用编码器的匹配能力，并且倾向于覆盖用于匹配的解码器。相比之下，我们提出了一种新型的层次提取和匹配变压器，称为火柴场。在层次编码器的每个阶段，我们将自我注意事项与特征提取和特征匹配的交叉注意相结合，从而产生了人直觉提取和匹配方案。这种匹配感知的编码器释放了过载的解码器，并使该模型高效。此外，将自我交叉注意在分层体系结构中的多尺度特征结合起来，可以提高匹配的鲁棒性，尤其是在低文本室内场景或更少的室外培训数据中。得益于这样的策略，MatchFormer是效率，鲁棒性和精度的多赢解决方案。与以前的室内姿势估计中的最佳方法相比，我们的Lite MatchFormer只有45％的Gflops，但获得了 +1.3％的精度增益和41％的运行速度提升。大型火柴构造器以四个不同的基准达到最新的基准，包括室内姿势估计（SCANNET），室外姿势估计（Megadepth），同型估计和图像匹配（HPATCH）和视觉定位（INLOC）。

In this paper, we propose an end-to-end framework that jointly learns keypoint detection, descriptor representation and cross-frame matching for the task of image-based 3D localization. Prior art has tackled each of these components individually, purportedly aiming to alleviate difficulties in effectively train a holistic network. We design a self-supervised image warping correspondence loss for both feature detection and matching, a weakly-supervised epipolar constraints loss on relative camera pose learning, and a directional matching scheme that detects key-point features in a source image and performs coarse-to-fine correspondence search on the target image. We leverage this framework to enforce cycle consistency in our matching module. In addition, we propose a new loss to robustly handle both definite inlier/outlier matches and less-certain matches. The integration of these learning mechanisms enables end-to-end training of a single network performing all three localization components. Bench-marking our approach on public data-sets, exemplifies how such an end-to-end framework is able to yield more accurate localization that out-performs both traditional methods as well as state-of-the-art weakly supervised methods.

兴趣点检测是计算机视觉和图像处理中最根本，最关键的问题之一。在本文中，我们对图像特征信息（IFI）提取技术进行了全面综述，以进行利益点检测。为了系统地介绍现有的兴趣点检测方法如何从输入图像中提取IFI，我们提出了IFI提取技术的分类学检测。根据该分类法，我们讨论了不同类型的IFI提取技术以进行兴趣点检测。此外，我们确定了与现有的IFI提取技术有关的主要未解决的问题，以及以前尚未讨论过的任何兴趣点检测方法。提供了现有的流行数据集和评估标准，并评估和讨论了18种最先进方法的性能。此外，还详细阐述了有关IFI提取技术的未来研究方向。

由于其对环境变化的鲁棒性，视觉猛感的间接方法是受欢迎的。 ORB-SLAM2 \ CITE {ORBSLM2}是该域中的基准方法，但是，除非选择帧作为关键帧，否则它会消耗从未被重用的描述符。轻量级和高效，因为它跟踪相邻帧之间的关键点而不计算描述符。为此，基于稀疏光流提出了一种两个级粗到微小描述符独立的Keypoint匹配方法。在第一阶段，我们通过简单但有效的运动模型预测初始关键点对应，然后通过基于金字塔的稀疏光流跟踪鲁棒地建立了对应关系。在第二阶段，我们利用运动平滑度和末端几何形状的约束来改进对应关系。特别是，我们的方法仅计算关键帧的描述符。我们在\ texit {tum}和\ texit {icl-nuim} RGB-D数据集上测试Fastorb-Slam，并将其准确性和效率与九种现有的RGB-D SLAM方法进行比较。定性和定量结果表明，我们的方法实现了最先进的准确性，并且大约是ORB-SLAM2的两倍。