有效利用多模式输入以进行准确的RGB-D显着性检测是一个引起人们兴趣的话题。大多数现有作品都利用跨模式的交互来融合RGB-D的两个流以进行中间功能的增强。在此过程中，尚未完全考虑可用深度质量低的实际方面。在这项工作中，我们的目标是RGB-D显着性检测，这对低质量的深度具有鲁棒性，这些深度主要出现在两种形式：由于噪声和对RGB的错位而导致的不准确。为此，我们提出了一种强大的RGB-D融合方法，该方法从（1）层方面受益，以及（2）三叉戟的空间，注意机制。一方面，根据深度精度，层次的注意力（LWA）学习了RGB和深度特征的早期和晚期融合之间的权衡。另一方面，三叉戟的空间注意力（TSA）汇总了更广泛的空间环境中的特征，以解决深度错位问题。所提出的LWA和TSA机制使我们能够有效利用多模式输入以进行显着检测，同时对低质量的深度进行健壮。我们在五个基准数据集上进行的实验表明，所提出的融合方法的性能始终如一要比最先进的融合替代方案更好。

移动对象检测（MOD）是成功实现安全自动驾驶的关键视觉任务。尽管深度学习方法的结果合理，但大多数现有方法仅基于框架，并且在与动态的交通参与者打交道时可能无法达到合理的性能。传感器技术的最新进展，尤其是事件摄像头，可以自然地补充传统的摄像头方法，以更好地模型移动对象。但是，基于事件的作品通常会采用预定义的时间窗口进行事件表示，并简单地将其集成以估算事件的图像强度，从而忽略了可用异步事件的许多丰富时间信息。因此，从新的角度来看，我们提出了一种新型的RGB事件融合网络Renet，该网络共同利用这两种互补方式，以在挑战性的情况下实现更强大的MOD，以实现自主驾驶。具体而言，我们首先设计一个时间多尺度聚合模块，以完全利用RGB曝光时间和较大间隔的事件框架。然后，我们引入一个双向融合模块，以认真校准和融合多模式特征。为了评估网络的性能，我们仔细选择并从常用的DSEC数据集中选择一个子模型数据集。广泛的实验表明，我们提出的方法的性能明显优于最新的RGB事实融合替代方案。

由于从输入方面互补的方式，RGB-D语义细分引发了研究的兴趣。现有作品通常采用两流体系结构，该体系结构并行处理光度法和几何信息，很少有方法明确利用深度线索的贡献来调整RGB图像上的采样位置。在本文中，我们提出了一个新颖的框架，以将深度信息纳入RGB卷积神经网络（CNN），称为Z-ACN（深度适应的CNN）。具体而言，我们的Z-ACN生成了一个2D适应的偏移量，该偏移完全受到低级功能的约束，以指导RGB图像上的特征提取。通过生成的偏移，我们引入了两个直观有效的操作，以取代基本的CNN操作员：深度适应的卷积和深度适应的平均池。对室内和室外语义分割任务的广泛实验证明了我们方法的有效性。

最近，基于CNN的RGB-D显着对象检测（SOD）在检测准确性方面取得了显着提高。但是，现有模型通常在效率和准确性方面表现良好。这阻碍了他们在移动设备以及许多实际问题上的潜在应用。在本文中，为了弥合RGB-D SOD的轻质和大型模型之间的准确性差距，一个有效的模块可以极大地提高准确性，但提出了很少的计算。受深度质量是影响准确性的关键因素的启发，我们提出了有效的深度质量启发的功能操纵（DQFM）过程，该过程可以根据深度质量动态滤波深度特征。提出的DQFM求助于低级RGB和深度特征的对齐，以及深度流的整体注意力，以明确控制和增强交叉模式融合。我们嵌入了DQFM，以获得一个称为DFM-NET的有效的轻质RGB-D SOD模型，此外，我们还设计了一个定制的深度骨架和两阶段解码器作为基本零件。 9个RGB-D数据集的广泛实验结果表明，我们的DFM-NET优于最近的有效型号，在CPU上以约20 fps的速度运行，仅8.5mb型号大小，同时快2.9/2.4倍，比6.7/3.1倍，小于6.7/3.1倍最新的最佳型号A2DELE和手机。与非效率模型相比，它还保持最先进的准确性。有趣的是，进一步的统计数据和分析验证了DQFM在没有任何质量标签的各种品质的深度图中的能力。最后但并非最不重要的一点是，我们进一步应用DFM-NET来处理视频SOD（VSOD），与最近的有效模型相比，相当的性能，而比该领域的先前最佳状态的速度/2.3倍/小2.3倍。我们的代码可在https://github.com/zwbx/dfm-net上找到。

RGB和深度图像上的突出物体检测（SOD）引起了越来越多的研究兴趣，因为它的有效性和现在可以方便地捕获深度线索的事实。现有的RGB-D SOD模型通常采用不同的融合策略来学习来自两个模态（\即RGB和深度）的共享表示，而几个方法明确考虑如何保留特定模态特征。在这项研究中，我们提出了一种新的框架，被称为SPNET}（特异性保存网络），这通过探索共享信息和模态特定属性（例如，特异性）来利益SOD性能。具体地，我们建议采用两个模态特定的网络和共享学习网络来分别生成个体和共享显着性预测映射。为了有效地融合共享学习网络中的跨模型特征，我们提出了一个交叉增强的集成模块（CIM），然后将融合特征传播到下一个层以集成交叉级信息。此外，为了捕获丰富的互补多模态信息，用于提高SOD性能，我们提出了一个多模态特征聚合（MFA）模块，将每个单独解码器的模态特定功能集成到共享解码器中。通过使用跳过连接，可以完全组合编码器和解码器层之间的分层功能。广泛的实验表明我们的〜\我们的〜优于六种流行的RGB-D SOD和三个伪装对象检测基准测试的前沿方法。该项目可在公开提供：https://github.com/taozh2017/spnet。

现有的RGB-D SOD方法主要依赖于对称的两个基于CNN的网络来分别提取RGB和深度通道特征。但是，对称传统网络结构有两个问题：首先，CNN在学习全球环境中的能力是有限的。其次，对称的两流结构忽略了模态之间的固有差异。在本文中，我们提出了一个基于变压器的非对称网络（TANET），以解决上述问题。我们采用了变压器（PVTV2）的强大功能提取能力，从RGB数据中提取全局语义信息，并设计轻巧的CNN骨架（LWDEPTHNET），以从深度数据中提取空间结构信息，而无需预训练。不对称混合编码器（AHE）有效地减少了模型中参数的数量，同时不牺牲性能而增加速度。然后，我们设计了一个跨模式特征融合模块（CMFFM），该模块增强并互相融合了RGB和深度特征。最后，我们将边缘预测添加为辅助任务，并提出一个边缘增强模块（EEM）以生成更清晰的轮廓。广泛的实验表明，我们的方法在六个公共数据集上实现了超过14种最先进的RGB-D方法的卓越性能。我们的代码将在https://github.com/lc012463/tanet上发布。

大多数现有的RGB-D突出物体检测方法利用卷积操作并构建复杂的交织融合结构来实现跨模型信息集成。卷积操作的固有局部连接将基于卷积的方法的性能进行了限制到天花板的性能。在这项工作中，我们从全球信息对齐和转换的角度重新思考此任务。具体地，所提出的方法（Transcmd）级联几个跨模型集成单元来构造基于自上而下的变换器的信息传播路径（TIPP）。 Transcmd将多尺度和多模态特征集成作为序列到序列上下文传播和内置于变压器上的更新过程。此外，考虑到二次复杂性W.R.T.输入令牌的数量，我们设计了具有可接受的计算成本的修补程序令牌重新嵌入策略（Ptre）。七个RGB-D SOD基准数据集上的实验结果表明，在配备TIPP时，简单的两流编码器 - 解码器框架可以超越最先进的基于CNN的方法。

深度可以为显着对象检测（SOD）提供有用的地理线索，并已证明对最近的RGB-D SOD方法有所帮助。但是，现有的视频显着对象检测（VSOD）方法仅利用时空信息，很少利用深度信息进行检测。在本文中，我们提出了一个深度合并的三峰网络，称为VSOD的DCTNet，这是一项开创性的工作，旨在合并深度信息以帮助VSOD。为此，我们首先从RGB框架中生成深度，然后提出一种方法来不平等地处理这三种方式。具体而言，多模式注意模块（MAM）设计为对主模态（RGB）和两个辅助模态（深度，光流）之间的多模式远程依赖性建模。我们还引入了一个细化融合模块（RFM），以抑制每种模式中的噪音，并动态选择有用的信息以进行进一步的优化。最后，在精制特征以实现最终的跨模式融合后采用了渐进式融合策略。五个基准数据集的实验证明了我们的深度合并模型与12种最先进方法的优越性，并且还验证了深度的必要性。

RGB-thermal显着对象检测（RGB-T SOD）旨在定位对齐可见的和热红外图像对的共同突出对象，并准确地分割所有属于这些对象的像素。由于对热图像的照明条件不敏感，它在诸如夜间和复杂背景之类的具有挑战性的场景中很有希望。因此，RGB-T SOD的关键问题是使两种方式的功能相互补充并互相调整，因为不可避免的是，由于极端光条件和诸如极端光条件和诸如极端光明条件和热跨界。在本文中，我们提出了一个针对RGB-T SOD的新型镜子互补变压器网络（MCNET）。具体而言，我们将基于变压器的特征提取模块引入RGB和热图像的有效提取分层特征。然后，通过基于注意力的特征相互作用和基于串行的多尺度扩张卷积（SDC）特征融合模块，提出的模型实现了低级特征的互补相互作用以及深度特征的语义融合。最后，基于镜子互补结构，即使是一种模态也可以准确地提取两种方式的显着区域也是无效的。为了证明在现实世界中具有挑战性的场景下提出的模型的鲁棒性，我们基于自动驾驶域中使用的大型公共语义分段RGB-T数据集建立了一种新颖的RGB-T SOD数据集VT723。基准和VT723数据集上的昂贵实验表明，所提出的方法优于最先进的方法，包括基于CNN的方法和基于变压器的方法。该代码和数据集将在稍后在https://github.com/jxr326/swinmcnet上发布。

显着对象检测是预测给定场景中人类参加区域的任务。融合深度信息已被证明在此任务中有效。该问题的主要挑战是如何从RGB模式和深度模式中汇总互补信息。但是，传统的深层模型在很大程度上依赖CNN特征提取器，并且通常会忽略远距离的依赖性。在这项工作中，我们提出了基于双Swin-Transformer的相互交互式网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器，以模拟视觉输入中的远程依赖性。在将两个特征分支融合到一个分支之前，将应用基于注意力的模块来增强每​​种模式的特征。我们设计了一个基于自我注意力的跨模式交互模块和一个封闭式的模态注意模块，以利用两种方式之间的互补信息。对于显着解码，我们创建了通过密集的连接增强的不同阶段，并保持解码的内存，而多级编码功能则被同时考虑。考虑到不准确的深度图问题，我们将早期阶段的RGB特征收集到跳过卷积模块中，以提供从RGB模式到最终显着性预测的更多指导。此外，我们添加了边缘监督以使功能学习过程正常。对四个评估指标的五个标准RGB-D SOD基准数据集进行了全面的实验，证明了所提出的DTMINET方法的优势。

显着对象检测（SOD）模拟了人类视觉感知系统以在场景中定位最具吸引力的对象，已广泛应用于各种计算机视觉任务。现在，随着深度传感器的出现，可以轻松捕获具有富裕的空间信息的深度图，并有利于提高SOD的性能。尽管在过去几年中提出了各种具有有前途的性能的基于RGB-D的SOD模型，但仍缺乏对这些主题的这些模型和挑战的深入了解。在本文中，我们从各个角度提供了基于RGB-D的SOD模型的全面调查，并详细介绍了相关的基准数据集。此外，考虑到光场还可以提供深度图，我们还从该域中回顾了SOD模型和流行的基准数据集。此外，为了研究现有模型的SOD能力，我们进行了全面的评估，以及基于属性的几种基于RGB-D的SOD模型的评估。最后，我们讨论了基于RGB-D的SOD的几个挑战和开放方向，以供未来的研究。将在https://github.com/taozh2017/rgbdsodsurvey上公开提供所有收集的模型，基准数据集，源代码链接，用于基于属性的评估的数据集以及评估代码

本文通过控制功能级别的RGB图像和深度图之间的消息，介绍了RGB-D显着对象检测的新型深神经网络框架，并探索有关RGB和深度特征的远程语义上下文和几何信息推断出明显的对象。为了实现这一目标，我们通过图神经网络和可变形的卷积制定动态消息传播（DMP）模块，以动态学习上下文信息，并自动预测消息传播控制的过滤权重和亲和力矩阵。我们将该模块进一步嵌入基于暹罗的网络中，分别处理RGB图像和深度图，并设计多级特征融合（MFF）模块，以探索精制的RGB和深度特征之间的跨级信息。与六个基准数据集上用于RGB-D显着对象检测的17种最先进的方法相比，实验结果表明，我们的方法在定量和视觉上都优于其他所有方法。

神经网络的高计算成本阻止了RGB-D突出物体检测（SOD）的最新成功，从受益现实世界应用。因此，本文介绍了一种新颖的网络，Mobily，它专注于使用移动网络进行深度特征提取的高效RGB-D SOD。然而，移动网络在特征表示中的功能较小比麻烦的网络更强大。为此，我们观察到彩色图像的深度信息可以加强与SOD相关的特征表示，如果正确杠杆。因此，我们提出了一种隐式深度恢复（IDR）技术，以加强用于RGB-D SOD的移动网络的特征表示能力。 IDR仅在训练阶段采用并在测试期间省略，因此它是免费的。此外，我们提出了用于有效的多级特征聚合的紧凑金字塔精制（CPR），以获得具有清晰边界的突出对象。与IDR和CPR合并，Mobilesal在六个挑战RGB-D SOD数据集上具有更快的速度（450fps 320 $ 320的输入尺寸为320美元）和更少的参数（6.5米）。代码在https://mmcheng.net/mobilesal发布。

RGB-D显着性检测将来自RGB图像和深度图的信息集成在挑战条件下改善突出区域的预测。 RGB-D显着性检测的关键是在两个模态的多个尺度上完全挖掘和保险丝信息。以前的方法倾向于通过本地操作分开应用多尺度和多模态融合，这不能捕获远程依赖性。在这里，我们提出了一个基于变换器的网络来解决这个问题。我们所提出的架构由两个模块组成：基于变换器的模态功能增强模块（TWFEM）和基于变压器的特征融合模块（TFFM）。 TFFM通过同时将特征与来自多个位置的两个模式集成在所有位置上的特征来进行足够的特征融合。 TWFEM通过在TFFM之前的同一模态中选择和集成来自其他刻度的互补信息来增强每种比例的特征。我们表明，变压器是一种统一的操作，它在特征融合和特征增强中具有良好的功效，并简化了模型设计。六个基准数据集的广泛实验结果表明，我们所提出的网络对最先进的RGB-D显着性检测方法表现出有利。

随着现代建筑倾向于使用大量玻璃面板，玻璃表面变得越来越无处不在。然而，这对机器人，自动驾驶汽车和无人机等自主系统的运营构成了重大挑战，因为玻璃板可能会成为导航的透明障碍。存在的工作试图利用各种线索，包括玻璃边界上下文或反思，例如先验。但是，它们都是基于输入RGB图像的。我们观察到3D深度传感器光线通过玻璃表面的传输通常会在深度图中产生空白区域，这可以提供其他见解以补充RGB图像特征以进行玻璃表面检测。在本文中，我们通过将RGB-D信息合并到两个新型模块中提出了一个新颖的玻璃表面检测框架：（1）一个跨模式环境挖掘（CCM）模块，以适应从RGB和深度学习个人和相互的上下文特征信息，以及（2）深度失误的注意力（DAA）模块，以明确利用空间位置，在这些空间位置存在缺失的深度以帮助检测玻璃表面的存在。此外，我们提出了一个大规模的RGB-D玻璃表面检测数据集，称为\ textit {RGB-D GSD}，用于RGB-D玻璃表面检测。我们的数据集包含3,009个现实世界的RGB-D玻璃表面图像，并具有精确的注释。广泛的实验结果表明，我们提出的模型优于最先进的方法。

Benefiting from color independence, illumination invariance and location discrimination attributed by the depth map, it can provide important supplemental information for extracting salient objects in complex environments. However, high-quality depth sensors are expensive and can not be widely applied. While general depth sensors produce the noisy and sparse depth information, which brings the depth-based networks with irreversible interference. In this paper, we propose a novel multi-task and multi-modal filtered transformer (MMFT) network for RGB-D salient object detection (SOD). Specifically, we unify three complementary tasks: depth estimation, salient object detection and contour estimation. The multi-task mechanism promotes the model to learn the task-aware features from the auxiliary tasks. In this way, the depth information can be completed and purified. Moreover, we introduce a multi-modal filtered transformer (MFT) module, which equips with three modality-specific filters to generate the transformer-enhanced feature for each modality. The proposed model works in a depth-free style during the testing phase. Experiments show that it not only significantly surpasses the depth-based RGB-D SOD methods on multiple datasets, but also precisely predicts a high-quality depth map and salient contour at the same time. And, the resulted depth map can help existing RGB-D SOD methods obtain significant performance gain. The source code will be publicly available at https://github.com/Xiaoqi-Zhao-DLUT/MMFT.

编码器 - 解码器模型已广泛用于RGBD语义分割，并且大多数通过双流网络设计。通常，共同推理RGBD的颜色和几何信息是有益的对语义分割。然而，大多数现有方法都无法全面地利用编码器和解码器中的多模式信息。在本文中，我们提出了一种用于RGBD语义细分的新型关注的双重监督解码器。在编码器中，我们设计一个简单但有效的关注的多模式融合模块，以提取和保险丝深度多级成对的互补信息。要了解更强大的深度表示和丰富的多模态信息，我们介绍了一个双分支解码器，以有效利用不同任务的相关性和互补线。在Nyudv2和Sun-RGBD数据集上的广泛实验表明，我们的方法达到了最先进的方法的卓越性能。

深度完成旨在预测从深度传感器（例如Lidars）中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用，例如自动驾驶，3D重建，增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中，我们首次提供了全面的文献综述，可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议，研究网络体系结构，损失功能，基准数据集和学习策略的设计方面的相关研究。此外，我们在包括室内和室外数据集（包括室内和室外数据集）上进行了三个广泛使用基准测试的模型性能进行定量比较。最后，我们讨论了先前作品的挑战，并为读者提供一些有关未来研究方向的见解。

Salient object detection (SOD) focuses on distinguishing the most conspicuous objects in the scene. However, most related works are based on RGB images, which lose massive useful information. Accordingly, with the maturity of thermal technology, RGB-T (RGB-Thermal) multi-modality tasks attain more and more attention. Thermal infrared images carry important information which can be used to improve the accuracy of SOD prediction. To accomplish it, the methods to integrate multi-modal information and suppress noises are critical. In this paper, we propose a novel network called Interactive Context-Aware Network (ICANet). It contains three modules that can effectively perform the cross-modal and cross-scale fusions. We design a Hybrid Feature Fusion (HFF) module to integrate the features of two modalities, which utilizes two types of feature extraction. The Multi-Scale Attention Reinforcement (MSAR) and Upper Fusion (UF) blocks are responsible for the cross-scale fusion that converges different levels of features and generate the prediction maps. We also raise a novel Context-Aware Multi-Supervised Network (CAMSNet) to calculate the content loss between the prediction and the ground truth (GT). Experiments prove that our network performs favorably against the state-of-the-art RGB-T SOD methods.

RGB-D图像上的突出对象检测（SOD）是计算机视觉中的主动问题。 RGB-D SOD问题的主要挑战是1）提取RGB的准确特征和杂物背景或图像质量差的深度图像数据，2）探索RGB和深度图像数据之间的互补信息。为了解决这些挑战，我们提出了一种用于RGB-D SOD的新型互变融合网络（MTFNET）。 MTFNET包含两个主要模块，$ i. $，焦点特征提取器（FFE）和相互变压器融合（MTF）。 FFE旨在通过引入新的像素级焦点正则化来引导CNN特征提取器来提取RGB和深度图像的更准确的CNN特征。 MTF旨在深入利用RGB与粗略和精细尺度之间的多模态交互。 MTF的主要好处是它同时对模态和模态的学习进行了学习，因此可以更直接且充分地实现不同方式的通信。六个公共基准的综合实验结果展示了我们提出的MTFNET的优越性。