我们提出了SF2SE3，这是一种以分割形式估算场景动态为独立移动的刚体对象及其SE（3）运动的新型方法。 SF2SE3在两个连续的立体声或RGB-D图像上运行。首先，通过应用现有的光流和深度估计算法获得嘈杂的场景流。 SF2SE3然后迭代（1）样本像素集以计算SE（3） - 动作建议，（2）选择最佳的SE（3） - 动作建议，以最大值的覆盖率配方。最后，通过基于与输入场景流量和空间接近的一致性将像素分配给所选的SE（3）动作来形成对象。主要的新颖性是对运动提案采样的更明智的策略，以及提案选择的最大覆盖范围。我们在多个数据集上进行评估，以应用SF2SE3用于场景流估计，对象分割和视觉探光度。 SF2SE3的表现与艺术的状态相同，以进行场景流量估计，并且更准确地进行分割和进程。

This paper proposes a novel model and dataset for 3D scene flow estimation with an application to autonomous driving. Taking advantage of the fact that outdoor scenes often decompose into a small number of independently moving objects, we represent each element in the scene by its rigid motion parameters and each superpixel by a 3D plane as well as an index to the corresponding object. This minimal representation increases robustness and leads to a discrete-continuous CRF where the data term decomposes into pairwise potentials between superpixels and objects. Moreover, our model intrinsically segments the scene into its constituting dynamic components. We demonstrate the performance of our model on existing benchmarks as well as a novel realistic dataset with scene flow ground truth. We obtain this dataset by annotating 400 dynamic scenes from the KITTI raw data collection using detailed 3D CAD models for all vehicles in motion. Our experiments also reveal novel challenges which cannot be handled by existing methods.

场景流表示3D空间中点的运动，这是代表2D图像中像素运动的光流的对应物。但是，很难在真实场景中获得场景流的基础真理，并且最近的研究基于培训的合成数据。因此，如何基于实际数据训练场景流网络具有无监督的方法表现出至关重要的意义。本文提出了一种针对场景流的新颖无监督学习方法，该方法利用了单眼相机连续的两个帧的图像，而没有场景流的地面真相进行训练。我们的方法实现了一个目标，即训练场景流通过现实世界数据弥合了训练数据和测试数据之间的差距，并扩大了可用数据的范围以进行培训。本文无监督的场景流程学习主要由两个部分组成：（i）深度估计和摄像头姿势估计，以及（ii）基于四个不同损失功能的场景流估计。深度估计和相机姿势估计获得了两个连续帧之间的深度图和摄像头，这为下一个场景流估计提供了更多信息。之后，我们使用了深度一致性损失，动态静态一致性损失，倒角损失和拉普拉斯正规化损失来对场景流网络进行无监督的训练。据我们所知，这是第一篇意识到从单眼摄像机流动的3D场景流程的无监督学习的论文。 Kitti上的实验结果表明，与传统方法迭代最接近点（ICP）和快速全球注册（FGR）相比，我们无监督学习场景学习的方法符合表现出色。源代码可在以下网址获得：https：//github.com/irmvlab/3dunmonoflow。

结合同时定位和映射（SLAM）估计和动态场景建模可以高效地在动态环境中获得机器人自主权。机器人路径规划和障碍避免任务依赖于场景中动态对象运动的准确估计。本文介绍了VDO-SLAM，这是一种强大的视觉动态对象感知SLAM系统，用于利用语义信息，使得能够在场景中进行准确的运动估计和跟踪动态刚性物体，而无需任何先前的物体形状或几何模型的知识。所提出的方法识别和跟踪环境中的动态对象和静态结构，并将这些信息集成到统一的SLAM框架中。这导致机器人轨迹的高度准确估计和对象的全部SE（3）运动以及环境的时空地图。该系统能够从对象的SE（3）运动中提取线性速度估计，为复杂的动态环境中的导航提供重要功能。我们展示了所提出的系统对许多真实室内和室外数据集的性能，结果表明了对最先进的算法的一致和实质性的改进。可以使用源代码的开源版本。

Recent work has shown that optical flow estimation can be formulated as a supervised learning task and can be successfully solved with convolutional networks. Training of the so-called FlowNet was enabled by a large synthetically generated dataset. The present paper extends the concept of optical flow estimation via convolutional networks to disparity and scene flow estimation. To this end, we propose three synthetic stereo video datasets with sufficient realism, variation, and size to successfully train large networks. Our datasets are the first large-scale datasets to enable training and evaluating scene flow methods. Besides the datasets, we present a convolutional network for real-time disparity estimation that provides state-of-the-art results. By combining a flow and disparity estimation network and training it jointly, we demonstrate the first scene flow estimation with a convolutional network.

最近，现场流动估计的神经网络在汽车数据（例如Kitti基准测试）上显示出令人印象深刻的结果。但是，尽管使用了复杂的刚性假设和参数化，但此类网络通常仅限于两个帧对，而这些帧对不允许它们利用时间信息。在我们的论文中，我们通过提出一种新型的多帧方法来解决这一缺点，该方法考虑了前一个立体对。为此，我们采取了两个步骤：首先，基于最近的Raft-3D方法，我们通过合并改进的立体声方法来开发高级的两框基线。其次，甚至更重要的是，利用RAFT-3D的特定建模概念，我们提出了一个像U-NET这样的U-NET架构，该体系结构执行了向前和向后流量估计的融合，因此允许按需将时间信息集成。 KITTI基准测试的实验不仅表明了改进的基线和时间融合方法的优势相互补充，而且还证明了计算的场景流非常准确。更确切地说，我们的方法排名第二，对于更具挑战性的前景对象来说，总的来说，总比原始RAFT-3D方法的表现超过16％。代码可从https://github.com/cv-stuttgart/m-fuse获得。

在本文中，我们提出了USEGSCENE，该框架用于使用卷积神经网络对立体声相机图像的深度，光流和自我感动的无监督学习。我们的框架利用语义信息来改善深度和光流图的正则化，多模式融合和遮挡填充考虑动态刚性对象运动作为独立的SE（3）转换。此外，我们与纯照相匹配匹配互补，我们提出了连续图像之间语义特征，像素类别和对象实例边界的匹配。与以前的方法相反，我们提出了一个网络体系结构，该网络体系结构可以使用共享编码器共同预测所有输出，并允许在任务域上传递信息，例如，光流的预测可以从深度的预测中受益。此外，我们明确地了解网络内部的深度和光流遮挡图，这些图被利用，以改善这些区域的预测。我们在流行的Kitti数据集上介绍了结果，并表明我们的方法以大幅度的优于其他方法。

Today, visual recognition systems are still rarely employed in robotics applications. Perhaps one of the main reasons for this is the lack of demanding benchmarks that mimic such scenarios. In this paper, we take advantage of our autonomous driving platform to develop novel challenging benchmarks for the tasks of stereo, optical flow, visual odometry / SLAM and 3D object detection. Our recording platform is equipped with four high resolution video cameras, a Velodyne laser scanner and a state-of-the-art localization system. Our benchmarks comprise 389 stereo and optical flow image pairs, stereo visual odometry sequences of 39.2 km length, and more than 200k 3D object annotations captured in cluttered scenarios (up to 15 cars and 30 pedestrians are visible per image). Results from state-of-the-art algorithms reveal that methods ranking high on established datasets such as Middlebury perform below average when being moved outside the laboratory to the real world. Our goal is to reduce this bias by providing challenging benchmarks with novel difficulties to the computer vision community. Our benchmarks are available online at: www.cvlibs.net/datasets/kitti

动态对象感知的SLAM（DOS）利用对象级信息以在动态环境中启用强大的运动估计。现有方法主要集中于识别和排除优化的动态对象。在本文中，我们表明，基于功能的视觉量大系统也可以通过利用两个观察结果来受益于动态铰接式对象的存在：（1）随着时间的推移，铰接对象的每个刚性部分的3D结构保持一致； （2）同一刚性零件上的点遵循相同的运动。特别是，我们提出了Airdos，这是一种动态的对象感知系统，该系统将刚度和运动限制引入模型铰接对象。通过共同优化相机姿势，对象运动和对象3D结构，我们可以纠正摄像头姿势估计，防止跟踪损失，并为动态对象和静态场景生成4D时空图。实验表明，我们的算法改善了在挑战拥挤的城市环境中的视觉大满贯算法的鲁棒性。据我们所知，Airdos是第一个动态对象感知的大满贯系统，该系统表明可以通过合并动态铰接式对象来改善相机姿势估计。

基于学习的视觉探针计（VO）算法在常见的静态场景上实现了显着的性能，受益于高容量模型和大量注释的数据，但在动态，填充的环境中往往会失败。语义细分在估计摄像机动作之前主要用于丢弃动态关联，但以丢弃静态功能为代价，并且很难扩展到看不见的类别。在本文中，我们利用相机自我运动和运动分割之间的相互依赖性，并表明两者都可以在单个基于学习的框架中共同完善。特别是，我们提出了Dytanvo，这是第一个涉及动态环境的基于学习的VO方法。它需要实时两个连续的单眼帧，并以迭代方式预测相机的自我运动。我们的方法在现实世界动态环境中的最先进的VOUTESS的平均提高27.7％，甚至在动态视觉SLAM系统中进行竞争性，从而优化了后端的轨迹。在很多看不见的环境上进行的实验也证明了我们的方法的普遍性。

本文介绍了一种新颖的体系结构，用于同时估算高度准确的光流和刚性场景转换，以实现困难的场景，在这种情况下，亮度假设因强烈的阴影变化而违反了亮度假设。如果是旋转物体或移动的光源（例如在黑暗中驾驶汽车遇到的光源），场景的外观通常从一个视图到下一个视图都发生了很大变化。不幸的是，用于计算光学流或姿势的标准方法是基于这样的期望，即场景中特征在视图之间保持恒定。在调查的情况下，这些方法可能经常失败。提出的方法通过组合图像，顶点和正常数据来融合纹理和几何信息，以计算照明不变的光流。通过使用粗到最新的策略，可以学习全球锚定的光流，从而减少了基于伪造的伪相应的影响。基于学习的光学流，提出了第二个体系结构，该体系结构可预测扭曲的顶点和正常地图的稳健刚性变换。特别注意具有强烈旋转的情况，这通常会导致这种阴影变化。因此，提出了一个三步程序，该程序可以利用正态和顶点之间的相关性。该方法已在新创建的数据集上进行了评估，该数据集包含具有强烈旋转和阴影效果的合成数据和真实数据。该数据代表了3D重建中的典型用例，其中该对象通常在部分重建之间以很大的步骤旋转。此外，我们将该方法应用于众所周知的Kitti Odometry数据集。即使由于实现了Brighness的假设，这不是该方法的典型用例，因此，还建立了对标准情况和与其他方法的关系的适用性。

时间一致的深度估计对于诸如增强现实之类的实时应用至关重要。虽然立体声深度估计已经接受了显着的注意，导致逐帧的改进，虽然相对较少的工作集中在跨越帧的时间一致性。实际上，基于我们的分析，当前立体声深度估计技术仍然遭受不良时间一致性。由于并发对象和摄像机运动，在动态场景中稳定深度是挑战。在在线设置中，此过程进一步加剧，因为只有过去的帧可用。在本文中，我们介绍了一种技术，在线设置中的动态场景中产生时间一致的深度估计。我们的网络增强了具有新颖运动和融合网络的当前每帧立体声网络。通过预测每个像素SE3变换，运动网络占对象和相机运动。融合网络通过用回归权重聚合当前和先前预测来提高预测的一致性。我们在各种数据集中进行广泛的实验（合成，户外，室内和医疗）。在零射泛化和域微调中，我们证明我们所提出的方法在数量和定性的时间稳定和每个帧精度方面优于竞争方法。我们的代码将在线提供。

3D场景流动表征了当前时间的点如何流到3D欧几里得空间中的下一次，该空间具有自主推断场景中所有对象的非刚性运动的能力。从图像估算场景流的先前方法具有局限性，该方法通过分别估计光流和差异来划分3D场景流的整体性质。学习3D场景从点云流动也面临着综合数据和真实数据与LIDAR点云的稀疏性之间差距的困难。在本文中，利用生成的密集深度图来获得显式的3D坐标，该坐标可直接从2D图像中学习3D场景流。通过将2D像素的密度性质引入3D空间，可以改善预测场景流的稳定性。通过统计方法消除了生成的3D点云中的离群值，以削弱噪声点对3D场景流估计任务的影响。提出了差异一致性损失，以实现3D场景流的更有效的无监督学习。比较了现实世界图像上3D场景流的自我监督学习方法与在综合数据集中学习的多种方法和在LIDAR点云上学习的方法。显示多个场景流量指标的比较可以证明引入伪LIDAR点云到场景流量估计的有效性和优势。

在接受高质量的地面真相（如LiDAR数据）培训时，监督的学习深度估计方法可以实现良好的性能。但是，LIDAR只能生成稀疏的3D地图，从而导致信息丢失。每个像素获得高质量的地面深度数据很难获取。为了克服这一限制，我们提出了一种新颖的方法，将有前途的平面和视差几何管道与深度信息与U-NET监督学习网络相结合的结构信息结合在一起，与现有的基于流行的学习方法相比，这会导致定量和定性的改进。特别是，该模型在两个大规模且具有挑战性的数据集上进行了评估：Kitti Vision Benchmark和CityScapes数据集，并在相对错误方面取得了最佳性能。与纯深度监督模型相比，我们的模型在薄物体和边缘的深度预测上具有令人印象深刻的性能，并且与结构预测基线相比，我们的模型的性能更加强大。

我们介绍从单个视频帧预测的问题，从单个视频帧，包括实际瞬时光流的光流量的低维子空间。我们展示了几种自然场景假设如何通过差异和对象实例的表示，通过一组基流字段来识别适当的流子空间。流量子空间与新颖的丢失函数一起可用于预测单眼深度或预测深度加上对象实例嵌入的任务。这提供了一种新方法，可以使用单眼输入视频以无监督的方式学习这些任务，而无需相机内在或姿势。

本文提出了一个自我监督的单眼图像对深度预测框架，该框架经过端到端光度损失的训练，不仅可以处理6-DOF摄像机运动，还可以处理6-DOF移动对象实例。自学是通过使用深度和场景运动（包括对象实例）在视频序列上扭曲图像来执行的。提出方法的一种新颖性是使用变压器网络的多头注意力，该注意与随时间匹配移动对象并建模其相互作用和动力学。这可以为每个对象实例实现准确稳健的姿势估计。大多数图像到深度的谓词框架都可以假设刚性场景，从而在很大程度上降低了它们相对于动态对象的性能。只有少数SOTA论文说明了动态对象。所提出的方法显示出在标准基准上胜过这些方法，而动态运动对这些基准测试的影响也暴露出来。此外，所提出的图像到深度预测框架也被证明与SOTA视频对深度预测框架具有竞争力。

真正的场景流量估计对于3D计算机视觉越来越重要。有些作品成功估计了LIDAR的真实3D场景流。然而，这些无处不在的和昂贵的传感器仍然不太可能被广泛配备用于真实应用。其他作品使用单眼图像来估计场景流，但它们的场景流量估计与比例模糊性归一化，其中需要额外的深度或点云原始事实来恢复实际规模。即使它们在2D中表现良好，这些作品也不提供准确可靠的3D估计。我们在Permutohedral格子上展示了深度学习的建筑 - Monoplflownet。与以前的所有作品不同，我们的monoplflown是第一个工作，其中仅使用两个连续的单眼图像作为输入，而深度和3D场景流程估计是实际规模的。我们的实际场景流量估计优于基于基于尺度的所有最先进的单眼图像基础的作品，并与Lidar方法相媲美。作为副产品，我们的实际深度估计也优于其他最先进的工作。

在现有方法中，LIDAR的探测器显示出卓越的性能，但视觉探测器仍被广泛用于其价格优势。从惯例上讲，视觉检验的任务主要依赖于连续图像的输入。但是，探测器网络学习图像提供的异性几何信息非常复杂。在本文中，将伪LIDAR的概念引入了探测器中以解决此问题。伪LIDAR点云背面项目由图像生成的深度图中的3D点云，这改变了图像表示的方式。与立体声图像相比，立体声匹配网络生成的伪lidar点云可以得到显式的3D坐标。由于在3D空间中发生了6个自由度（DOF）姿势转换，因此伪宽点云提供的3D结构信息比图像更直接。与稀疏的激光雷达相比，伪驱动器具有较密集的点云。为了充分利用伪LIDAR提供的丰富点云信息，采用了投射感知的探测管道。以前的大多数基于激光雷达的算法从点云中采样了8192点，作为探视网络的输入。投影感知的密集探测管道采用从图像产生的所有伪lidar点云，除了误差点作为网络的输入。在图像中充分利用3D几何信息时，图像中的语义信息也用于探视任务中。 2D-3D的融合是在仅基于图像的进程中实现的。 Kitti数据集的实验证明了我们方法的有效性。据我们所知，这是使用伪LIDAR的第一种视觉探光法。

在本文中，我们研究了从同步2D和3D数据共同估计光流量和场景流的问题。以前的方法使用复杂的管道，将联合任务分成独立阶段，或以“早期融合”或“迟到的”方式“的熔断器2D和3D信息。这种单尺寸适合的方法遭受了未能充分利用每个模态的特征的困境，或者最大化模态互补性。为了解决这个问题，我们提出了一个新的端到端框架，称为Camliflow。它由2D和3D分支组成，在特定层之间具有多个双向连接。与以前的工作不同，我们应用基于点的3D分支以更好地提取几何特征，并设计一个对称的学习操作员以保险熔断致密图像特征和稀疏点特征。我们还提出了一种转换，以解决3D-2D投影的非线性问题。实验表明，Camliflow以更少的参数实现了更好的性能。我们的方法在Kitti场景流基准上排名第一，表现出以1/7参数的前一篇文章。代码将可用。

Simultaneous Localization & Mapping (SLAM) is the process of building a mutual relationship between localization and mapping of the subject in its surrounding environment. With the help of different sensors, various types of SLAM systems have developed to deal with the problem of building the relationship between localization and mapping. A limitation in the SLAM process is the lack of consideration of dynamic objects in the mapping of the environment. We propose the Dynamic Object Tracking SLAM (DyOb-SLAM), which is a Visual SLAM system that can localize and map the surrounding dynamic objects in the environment as well as track the dynamic objects in each frame. With the help of a neural network and a dense optical flow algorithm, dynamic objects and static objects in an environment can be differentiated. DyOb-SLAM creates two separate maps for both static and dynamic contents. For the static features, a sparse map is obtained. For the dynamic contents, a trajectory global map is created as output. As a result, a frame to frame real-time based dynamic object tracking system is obtained. With the pose calculation of the dynamic objects and camera, DyOb-SLAM can estimate the speed of the dynamic objects with time. The performance of DyOb-SLAM is observed by comparing it with a similar Visual SLAM system, VDO-SLAM and the performance is measured by calculating the camera and object pose errors as well as the object speed error.