单视点云完成旨在仅基于有限的观察结果来恢复对象的完整几何形状，这由于数据稀疏性和遮挡而非常困难。核心挑战是生成合理的几何形状，以基于部分扫描的局部扫描填充对象的未观察到的部分，该部分受限制不足，并且具有巨大的解决方案空间。受计算机图形中经典的影子音量技术的启发，我们提出了一种有效减少解决方案空间的新方法。我们的方法认为摄像机是向物体投射射线的光源。这样的光线建立了一个合理的约束但表达式的基础，以完成。然后将完成过程作为点位移优化问题进行配制。点在部分扫描处初始化，然后将每个点的两种运动类型移至目标位置：沿光线射线的方向运动和限制局部运动以进行形状细化。我们设计神经网络以预测理想点运动以获得完成结果。我们证明，通过详尽的评估和比较，我们的方法是准确，健壮和可推广的。此外，在MVP数据集上，它在定性和定量上优于最先进的方法。

您将如何通过一些错过来修复物理物体？您可能会想象它的原始形状从先前捕获的图像中，首先恢复其整体（全局）但粗大的形状，然后完善其本地细节。我们有动力模仿物理维修程序以解决点云完成。为此，我们提出了一个跨模式的形状转移双转化网络（称为CSDN），这是一种带有全循环参与图像的粗到精细范式，以完成优质的点云完成。 CSDN主要由“ Shape Fusion”和“ Dual-Refinect”模块组成，以应对跨模式挑战。第一个模块将固有的形状特性从单个图像传输，以指导点云缺失区域的几何形状生成，在其中，我们建议iPadain嵌入图像的全局特征和部分点云的完成。第二个模块通过调整生成点的位置来完善粗糙输出，其中本地改进单元通过图卷积利用了小说和输入点之间的几何关系，而全局约束单元则利用输入图像来微调生成的偏移。与大多数现有方法不同，CSDN不仅探讨了图像中的互补信息，而且还可以在整个粗到精细的完成过程中有效利用跨模式数据。实验结果表明，CSDN对十个跨模式基准的竞争对手表现出色。

Point cloud completion is a generation and estimation issue derived from the partial point clouds, which plays a vital role in the applications in 3D computer vision. The progress of deep learning (DL) has impressively improved the capability and robustness of point cloud completion. However, the quality of completed point clouds is still needed to be further enhanced to meet the practical utilization. Therefore, this work aims to conduct a comprehensive survey on various methods, including point-based, convolution-based, graph-based, and generative model-based approaches, etc. And this survey summarizes the comparisons among these methods to provoke further research insights. Besides, this review sums up the commonly used datasets and illustrates the applications of point cloud completion. Eventually, we also discussed possible research trends in this promptly expanding field.

Point clouds captured by scanning devices are often incomplete due to occlusion. Point cloud completion aims to predict the complete shape based on its partial input. Existing methods can be classified into supervised and unsupervised methods. However, both of them require a large number of 3D complete point clouds, which are difficult to capture. In this paper, we propose Cross-PCC, an unsupervised point cloud completion method without requiring any 3D complete point clouds. We only utilize 2D images of the complete objects, which are easier to capture than 3D complete and clean point clouds. Specifically, to take advantage of the complementary information from 2D images, we use a single-view RGB image to extract 2D features and design a fusion module to fuse the 2D and 3D features extracted from the partial point cloud. To guide the shape of predicted point clouds, we project the predicted points of the object to the 2D plane and use the foreground pixels of its silhouette maps to constrain the position of the projected points. To reduce the outliers of the predicted point clouds, we propose a view calibrator to move the points projected to the background into the foreground by the single-view silhouette image. To the best of our knowledge, our approach is the first point cloud completion method that does not require any 3D supervision. The experimental results of our method are superior to those of the state-of-the-art unsupervised methods by a large margin. Moreover, compared to some supervised methods, our method achieves similar performance. We will make the source code publicly available at https://github.com/ltwu6/cross-pcc.

近年来，目睹了直接建立在点云上的学识渊博的代表。尽管变得越来越表现力，但大多数现有的表示仍然很难产生有序的点集。受到球形多视图扫描仪的启发，我们提出了一种称为Spotlights的新型采样模型，代表3D形状作为深度值的紧凑型1D阵列。它模拟了均匀分布在球体上的摄像机的配置，在该球体上，每个虚拟摄像机都会通过小同心球形盖上的样品点从主要点施放光线，以探测可能与球体包围的物体的相交。因此，结构化点云被隐式地作为深度的函数。我们提供了该新样本方案的详细几何分析，并在点云完成任务的背景下证明了其有效性。合成数据和真实数据的实验结果表明，我们的方法可以达到竞争精度和一致性，同时显着降低了计算成本。此外，我们在下游点云注册任务上显示出优于最新完成方法的性能。

您将如何修复大量错过的物理物体？您可能首先恢复其全球且粗糙的形状，并逐步增加其本地细节。我们有动力模仿上述物理维修程序，以解决点云完成任务。我们为各种3D模型提出了一个新颖的逐步点云完成网络（SPCNET）。 SPCNET具有层次的底部网络体系结构。它以迭代方式实现形状完成，1）首先扩展了粗糙结果的全局特征； 2）然后在全球功能的帮助下注入本地功能； 3）最终借助局部特征和粗糙的结果来渗透详细的结果。除了模拟物理修复的智慧之外，我们还新设计了基于周期损失％的训练策略，以增强SPCNET的概括和鲁棒性。广泛的实验清楚地表明了我们的SPCNET优于3D点云上最先进的方法，但错过了很大。

完成无序部分点云是一个具有挑战性的任务。依赖于解码潜在特征来恢复完整形状的现有方法，通常导致完成的点云过度平滑，丢失细节和嘈杂。我们建议首先解码和优化低分辨率（低res）点云，而不是一次性地解码和优化低分辨率（低分辨率）点云，而不是一次性地插入整个稀疏点云，这趋于失去细节。关于缺乏最初解码的低res点云的细节的可能性，我们提出了一种迭代细化，以恢复几何细节和对称化过程，以保护来自输入部分点云的值得信赖的信息。获得稀疏和完整的点云后，我们提出了一种补丁设计的上采样策略。基于补丁的上采样允许更好地恢复精细细节与整个形状不同，然而，由于数据差异（即，这里的输入稀疏数据不是来自地面真理的输入稀疏数据，现有的上采样方法不适用于完成任务。因此，我们提出了一种补丁提取方法，在稀疏和地面 - 真值云之间生成训练补丁对，以及抑制来自稀疏点云的噪声点的异常删除步骤。我们的整个方法都能实现高保真点云完成。提供综合评估以证明所提出的方法及其各个组件的有效性。

在城市环境中导航时，许多需要跟踪和避免的对象严重封闭。使用这些部分扫描的规划和跟踪可能具有挑战性。这项工作的目的是学习完成这些部分点云，让我们仅仅使用部分观测全面了解对象的几何。以前的方法在目标对象的完整地面注释的帮助下实现了此目的，这些方法仅适用于模拟数据集。但是，真实的真相对于现实世界的LIDAR数据不可用。在这项工作中，我们介绍了一个自我监督的点云完成算法，Pointpncnet，仅在部分扫描上培训，而无需采取完整的地面说明注释。我们的方法通过修正来实现这一目标。我们删除了一部分输入数据并培训网络以完成丢失的区域。由于难以确定在初始云中被封闭的区域并且综合地删除了哪些区域，我们的网络了解完成完整的云，包括初始部分云中的缺失区域。我们展示我们的方法优于以前在合成数据集，ShoceEnet和现实世界Lidar DataSet，语义基提上的未经监督和弱监督的方法。

在本文中，我们从功能学习的角度解决了点云完成的具有挑战性的问题。我们的主要观察结果是，要恢复基础结构以及表面细节，给定部分输入，基本组件是一个很好的特征表示，可以同时捕获全球结构和局部几何细节。因此，我们首先提出了FSNET，这是一个功能结构模块，可以通过从本地区域学习多个潜在图案来适应汇总点的点功能。然后，我们将FSNET集成到粗线管道中，以完成点云完成。具体而言，采用2D卷积神经网络将特征图从FSNET解码为粗且完整的点云。接下来，使用一个点云UP抽样网络来从部分输入和粗糙的中间输出中生成密集的点云。为了有效利用局部结构并增强点分布均匀性，我们提出了IFNET，该点具有自校正机制的点提升模块，该模块可以逐步完善生成的密集点云的细节。我们已经在Shapenet，MVP和Kitti数据集上进行了定性和定量实验，这些实验表明我们的方法优于最先进的点云完成方法。

本文介绍了一种数据驱动的形状完成方法，该方法着重于完成3D形状缺失区域的几何细节。我们观察到，现有的生成方法缺乏训练数据和表示能力，可以通过复杂的几何形状和拓扑合成合理的，细粒度的细节。我们的关键见解是从部分输入复制和变形补丁以完成缺失区域。这使我们能够保留本地几何特征的风格，即使它与培训数据有很大不同。我们的全自动方法分为两个阶段。首先，我们学会从输入形状检索候选补丁。其次，我们选择并变形了一些检索到的候选者，以无缝将它们融合到完整的形状中。该方法结合了两种最常见的完成方法的优点：基于相似性的单稳定性完成，以及通过学习形状空间来完成。我们通过从部分输入中检索贴片来利用重复模式，并通过使用神经网络来指导检索和变形步骤来学习全球结构先验。实验结果表明，我们的方法在多个数据集和形状类别上的表现非常优于基线。代码和数据可在https://github.com/gitbosun/patchrd上找到。

我们引入了一个可扩展的框架，用于从RGB-D图像中具有很大不完整的场景覆盖率的新型视图合成。尽管生成的神经方法在2D图像上表现出了惊人的结果，但它们尚未达到相似的影像学结果，并结合了场景完成，在这种情况下，空间3D场景的理解是必不可少的。为此，我们提出了一条在基于网格的神经场景表示上执行的生成管道，通过以2.5D-3D-2.5D方式进行场景的分布来完成未观察到的场景部分。我们在3D空间中处理编码的图像特征，并具有几何完整网络和随后的纹理镶嵌网络，以推断缺失区域。最终可以通过与一致性的可区分渲染获得感性图像序列。全面的实验表明，我们方法的图形输出优于最新技术，尤其是在未观察到的场景部分中。

Shape completion, the problem of estimating the complete geometry of objects from partial observations, lies at the core of many vision and robotics applications. In this work, we propose Point Completion Network (PCN), a novel learning-based approach for shape completion. Unlike existing shape completion methods, PCN directly operates on raw point clouds without any structural assumption (e.g. symmetry) or annotation (e.g. semantic class) about the underlying shape. It features a decoder design that enables the generation of fine-grained completions while maintaining a small number of parameters. Our experiments show that PCN produces dense, complete point clouds with realistic structures in the missing regions on inputs with various levels of incompleteness and noise, including cars from LiDAR scans in the KITTI dataset. Code, data and trained models are available at https://wentaoyuan.github.io/pcn.

在3D点云的一代任务中，点云完成越来越流行，因为从其部分观察结果中恢复了3D对象的完整形状是一个具有挑战性但必不可少的问题。在本文中，我们提出了一种新型的种子形式，以提高点云完成中细节保存和恢复的能力。与以前的基于全局特征向量的方法不同，我们引入了一种新的形状表示形式，即补丁种子，不仅可以从部分输入中捕获一般结构，而且还保留了本地模式的区域信息。然后，通过将种子特征集成到生成过程中，我们可以以粗到精细的方式恢复忠实的细节，以获取完整的点云。此外，我们通过将变压器结构扩展到点发生器的基本操作来设计上样本变压器，该结构有效地结合了相邻点之间的空间和语义关系。定性和定量评估表明，我们的方法在多个基准数据集上优于最先进的完成网络。我们的代码可从https://github.com/hrzhou2/seedformer获得。

点云完成旨在从部分观察结果中预测完整的形状。当前的方法主要包括以粗到精细的方式组成的生成和精炼阶段。但是，一代阶段通常缺乏解决不同不完整变化的强大性，而精炼阶段则盲目地恢复了没有语义意识的点云。为了应对这些挑战，我们通过通用预处理预测的范式（即CP3）统一点云完成。受NLP提示方法的启发，我们创造性地重新解释了Point Cloud的生成和改进，分别为提示和预测阶段。然后，我们在提示之前引入了一个简洁的自我监督预定阶段。通过不完整（IOI）借口任务，它可以有效地提高点云生成的鲁棒性。此外，我们在预测阶段开发了一种新颖的语义条件细化（SCR）网络。它可以通过语义的指导来区分调节多尺度改进。最后，广泛的实验表明，我们的CP3优于较大边缘的最先进方法。

我们引入了一个新的隐式形状表示，称为基于射线的隐式函数（PRIF）。与基于处理空间位置的签名距离函数（SDF）的大多数现有方法相反，我们的表示形式在定向射线上运行。具体而言，PRIF的配制是直接产生给定输入射线的表面命中点，而无需昂贵的球体跟踪操作，因此可以有效地提取形状提取和可区分的渲染。我们证明，经过编码PRIF的神经网络在各种任务中取得了成功，包括单个形状表示，类别形状的生成，从稀疏或嘈杂的观察到形状完成，相机姿势估计的逆渲染以及带有颜色的神经渲染。

Our method completes a partial 3D scan using a 3D Encoder-Predictor network that leverages semantic features from a 3D classification network. The predictions are correlated with a shape database, which we use in a multi-resolution 3D shape synthesis step. We obtain completed high-resolution meshes that are inferred from partial, low-resolution input scans.

3D点云是捕获真实世界3D对象的重要3D表示。但是，真正扫描的3D点云通常不完整，并且对于恢复下游应用程序的完整点云非常重要。大多数现有点云完成方法使用倒角距离（CD）训练丢失。通过搜索最近的邻居，CD损耗估计两个点云之间的对应关系，该邻居不会捕获所生成的形状上的总点密度分布，因此可能导致非均匀的点云生成。为了解决这个问题，我们提出了一个新的点扩散细化（PDR）范例，用于点云完成。 PDR包括条件生成网络（CGNET）和细化网络（RFNET）。 CGNET使用称为去噪扩散概率模型（DDPM）的条件生成模型，以在部分观察中产生粗略完成。 DDPM在生成的点云和统一的地面真理之间建立一对一的映射，然后优化平均平方误差损耗以实现均匀生成。 RFNET精制CGNet的粗输出，并进一步提高完成点云的质量。此外，我们开发了两个网络的新型双路架构。该体系结构可以（1）有效且有效地从部分观察到的点云提取多级特征以指导完成，并且（2）精确地操纵3D点的空间位置以获得平滑的表面和尖锐的细节。各种基准数据集上的广泛实验结果表明，我们的PDR范例优于以前的最先进的方法，用于点云完成。值得注意的是，在RFNET的帮助下，我们可以在没有太多的性能下降的情况下加速DDPM的迭代生成过程。

3D扫描是一种复杂的多级进程，它产生了由于遮挡，反射，阴影，扫描仪运动，物体表面的特定属性，对象曲线的特定属性，Imperfect重建算法等指向云完成而产生损坏部件的对象的点云。填写对象的缺失部分并获得其高质量的3D表示。现有的完成方法在学术数据集中表现良好，具有预定义的对象类和非常特定的缺陷类型;然而，它们的性能在真实的环境中下降，并在以前看不见的对象类上进一步降低。我们提出了一种在对称物体上表现良好的新颖框架，这些框架在人造环境中普遍存在。与基于学习的方法不同，所提出的框架不需要培训数据，并且能够使用例如在客户3D扫描过程中完成非关键损坏。 kinect，飞行时间或结构化光扫描仪。通过彻底的实验，我们表明拟议的框架在云完成现实世界客户扫描的点云完成时实现了最先进的效率。我们在两种类型的数据集中基准框架性能：正确增强现有的学术数据集和各种对象的实际3D扫描。

倒角距离（CD）和地球移动器的距离（EMD）是两个广泛采用的度量标准，用于测量两点集之间的相似性。然而，CD通常对不匹配的局部密度不敏感，EMD通常由全球分配主导，而忽略了详细结构的保真度。此外，他们的无限值范围从异常值引起沉重的影响。这些缺陷可防止它们提供一致的评估。为了解决这些问题，我们提出了一个名为密度感知倒角距离（DCD）的新的相似度量。它来自CD的源自来自若干所需性质的效果：1）它可以检测密度分布的差异，因此与CD相比更加强烈的相似性。 2）更严格，具有详细的结构，比EMD明显更加计算; 3）界限值范围促进整个测试集更稳定和合理的评估。我们采用DCD来评估点云完成任务，实验结果表明，DCD关注整体结构和本地几何细节，即使CD和EMD相互矛盾，也能提供更可靠的评估。我们还可以使用DCD作为培训损失，这胜过与所有三个指标上的CD损失培训的相同模型。此外，我们提出了一种新的点鉴别器模块，其估计另一个引导的下采样步骤的优先级，并且它在DCD下实现了明显的改进以及CD和EMD的竞争结果。我们希望我们的工作可以为更全面而实用的点云相似性评估铺平道路。我们的代码将可用：https://github.com/wutong16/dentions_aware_Chamfer_distance。

从单视图重建3D形状是一个长期的研究问题。在本文中，我们展示了深度隐式地面网络，其可以通过预测底层符号距离场来从2D图像产生高质量的细节的3D网格。除了利用全局图像特征之外，禁止2D图像上的每个3D点的投影位置，并从图像特征映射中提取本地特征。结合全球和局部特征显着提高了符合距离场预测的准确性，特别是对于富含细节的区域。据我们所知，伪装是一种不断捕获从单视图图像中存在于3D形状中存在的孔和薄结构等细节的方法。 Disn在从合成和真实图像重建的各种形状类别上实现最先进的单视性重建性能。代码可在https://github.com/xharlie/disn提供补充可以在https://xharlie.github.io/images/neUrips_2019_Supp.pdf中找到补充