点云降级旨在从噪音和异常值损坏的原始观察结果中恢复清洁点云，同时保留细粒细节。我们提出了一种新型的基于深度学习的DeNoising模型，该模型结合了正常的流量和噪声解散技术，以实现高降解精度。与提取点云特征以进行点校正的现有作品不同，我们从分布学习和特征分离的角度制定了denoising过程。通过将嘈杂的点云视为清洁点和噪声的联合分布，可以从将噪声对应物从潜在点表示中解散出来，而欧几里得和潜在空间之间的映射是通过标准化流量来建模的。我们评估了具有各种噪声设置的合成3D模型和现实世界数据集的方法。定性和定量结果表明，我们的方法表现优于先前的最先进的基于深度学习的方法。
translated by 谷歌翻译
Point Cloud升级旨在从给定的稀疏中产生密集的点云，这是一项具有挑战性的任务，这是由于点集的不规则和无序的性质。为了解决这个问题，我们提出了一种新型的基于深度学习的模型，称为PU-Flow，该模型结合了正常的流量和权重预测技术，以产生均匀分布在基础表面上的致密点。具体而言，我们利用标准化流的可逆特征来转换欧几里得和潜在空间之间的点，并将UPSMPLING过程作为潜在空间中相邻点的集合，从本地几何环境中自适应地学习。广泛的实验表明，我们的方法具有竞争力，并且在大多数测试用例中，它在重建质量，近距到表面的准确性和计算效率方面的表现优于最先进的方法。源代码将在https://github.com/unknownue/pu-flow上公开获得。
translated by 谷歌翻译
通过扫描真实世界对象或场景采集的3D点云人已经发现了广泛的应用，包括融入式远程呈现，自动驾驶，监视等。它们通常是由噪声扰动或由低密度，这妨碍下游的任务，如表面重建遭受和理解。在本文中，我们提出了点集的二次采样恢复，这获知会聚点朝向下方的表面的点云的连续梯度场的新型范例。特别是，我们表示经由其梯度场点云 - 对数概率密度函数的梯度，和执行梯度场是连续的，这样就保证了模型可解优化的连续性。基于经由提出的神经网络估计出的连续梯度场，重新采样点云量对输入噪声或稀疏的点云执行基于梯度的马尔可夫链蒙特卡洛（MCMC）。此外，我们提出了点云恢复，基本上迭代地细化中间重采样点云，并在重采样过程容纳各种先验期间引入正则化到基于梯度的MCMC。大量的实验结果表明，该点集重采样实现了代表恢复工作，包括点云去噪和采样的国家的最先进的性能。
translated by 谷歌翻译
从扫描设备获得的点云通常受到噪声的扰动，这会影响下游任务，例如表面重建和分析。嘈杂的点云的分布可以看作是一组无噪声样品的分布$ p（x）$与某些噪声模型$ n $卷积，导致$（p * n）（x）$，其模式是基础干净的表面。为了确定嘈杂的点云，我们建议通过梯度上升将每个点的日志样本从$ p * n $增加 - 迭代更新每个点的位置。由于$ p * n $在测试时间是未知的，因此我们只需要分数（即对数概率函数的梯度）来执行梯度上升，因此我们提出了一个神经网络体系结构来估计分数$ P *。 n $仅给出嘈杂的点云作为输入。我们得出了训练网络并开发估计分数利用的非授权算法的目标函数。实验表明，所提出的模型在各种噪声模型下都优于最先进的方法，并显示了应用于其他任务（例如点云上采样）的潜力。该代码可在\ url {https://github.com/luost26/score-denoise}中获得。
translated by 谷歌翻译
通过深度传感器捕获的点云通常被噪音污染，阻碍了进一步的分析和应用。在本文中，我们强调了点分布均匀性对下游任务的重要性。我们证明了现有基于梯度的DeNoiser产生的点云尽管取得了有希望的定量结果，但仍缺乏统一性。为此，我们提出了GPCD ++，这是一种基于梯度的DeNoiser，其超轻质网络名为UNINET，以解决均匀性。与以前的最先进方法相比，我们的方法不仅会产生竞争性甚至更好地降解结果，而且还显着改善了统一性，这在很大程度上使诸如表面重建之类的应用受益。
translated by 谷歌翻译
本文解决了从给定稀疏点云生成密集点云的问题，以模拟物体/场景的底层几何结构。为了解决这一具有挑战性的问题，我们提出了一种新的基于端到端学习的框架。具体地，通过利用线性近似定理，我们首先明确地制定问题，这逐到确定内插权和高阶近似误差。然后，我们设计轻量级神经网络，通过分析输入点云的局部几何体，自适应地学习统一和分类的插值权重以及高阶改进。所提出的方法可以通过显式制定来解释，因此比现有的更高的内存效率。与仅用于预定义和固定的上采样因子的现有方法的鲜明对比，所提出的框架仅需要一个单一的神经网络，一次性训练可以在典型范围内处理各种上采样因子，这是真实的-world应用程序。此外，我们提出了一种简单但有效的培训策略来推动这种灵活的能力。此外，我们的方法可以很好地处理非均匀分布和嘈杂的数据。合成和现实世界数据的广泛实验证明了所提出的方法在定量和定性的最先进方法上的优越性。
translated by 谷歌翻译
从嘈杂的点云中恢复高质量的表面，称为点云降级，是几何处理中的一个基本而又具有挑战性的问题。大多数现有方法要么直接将嘈杂的输入或过滤器原始正态变为更新点位置。由点云降解和正常过滤之间的基本相互作用的动机，我们从多任务的角度重新访问点云，并提出一个名为PCDNF的端到端网络，以通过关节正常滤波来denoise点云。特别是，我们引入了一项辅助正常过滤任务，以帮助整体网络更有效地消除噪声，同时更准确地保留几何特征。除了整体体系结构外，我们的网络还具有两个新型模块。一方面，为了提高降噪性能，我们设计了一种形状感知的选择器，以全面考虑学习点，正常特征和几何学先验，以构建特定点的潜在切线空间表示。另一方面，点特征更适合描述几何细节，正常特征更有利于表示几何结构（例如，边缘和角落）。结合点和正常特征使我们能够克服它们的弱点。因此，我们设计一个功能改进模块，以融合点和正常功能，以更好地恢复几何信息。广泛的评估，比较和消融研究表明，所提出的方法在点云降解和正常过滤方面优于最先进的方法。
translated by 谷歌翻译
从稀疏的原始数据中生成密集的点云使下游3D理解任务，但现有模型仅限于固定的上采样率或短范围的整数值。在本文中，我们提出了APU-SMOG，这是一种基于变压器的模型，用于任意点云上采样（APU）。首先将稀疏输入映射到高斯（烟雾）分布的球形混合物，从中可以采样任意数量的点。然后，将这些样品作为查询馈送到变压器解码器，将它们映射回目标表面。广泛的定性和定量评估表明，APU-SMOG的表现优于最先进的固定比例方法，同时使用任何缩放因子（包括非直觉值）有效地启用了以单个训练有素的模型来提高采样。该代码将可用。
translated by 谷歌翻译
点云上采样是为了使从3D传感器获得的稀疏点集致密，从而为基础表面提供了密度的表示。现有方法将输入点划分为小贴片，并分别对每个贴片进行整理，但是，忽略了补丁之间的全局空间一致性。在本文中，我们提出了一种新颖的方法PC $^2 $ -PU，该方法探讨了贴片对点和点对点相关性，以实现更有效和强大的点云上采样。具体而言，我们的网络有两个吸引人的设计：（i）我们将相邻的补丁作为补充输入来补偿单个补丁中的损失结构信息，并引入一个补丁相关模块以捕获补丁之间的差异和相似性。 （ii）在增强每个贴片的几何形状后，我们进一步引入了一个点相关模块，以揭示每个贴片内部的关系以维持局部空间一致性。对合成和真实扫描数据集进行的广泛实验表明，我们的方法超过了以前的上采样方法，尤其是在嘈杂的输入中。代码和数据位于\ url {https://github.com/chenlongwhu/pc2-pu.git}。
translated by 谷歌翻译
最近归一化流量（NFS）在建模3D点云上已经证明了最先进的性能，同时允许在推理时间以任意分辨率进行采样。然而，这些基于流的模型仍然需要长期训练时间和大型模型来代表复杂的几何形状。这项工作通过将NFS的混合物应用于点云来增强它们的代表性。我们展示在更普遍的框架中，每个组件都学会专门以完全无监督的方式专门化对象的特定子区域。通过将每个混合组件与相对小的NF实例化，我们通过更好的细节生成点云，而与基于单流量的模型相比，使用较少的参数，并且大大减少推理运行时。我们进一步证明通过添加数据增强，各个混合组件可以学习以语义有意义的方式专注。基于ShapEnet DataSet评估NFS对生成，自动编码和单视重建的混合物。
translated by 谷歌翻译
在本文中，我们提出了一种新的点云表示。与传统点云表示不同，其中每个点仅表示3D空间中的位置或局部平面，神经点中的每个点通过神经领域表示局部连续几何形状。因此，神经点可以表达更复杂的细节，因此具有更强的表示能力。具有含有丰富的几何细节的高分辨率表面培训神经点，使得训练模型具有足够的各种形状的表达能力。具体地，我们通过2D参数域和3D本地补丁之间的局部同构来提取点上的深度局部特征并通过局部同构构造神经字段。在决赛中，局部神经领域集成在一起以形成全局表面。实验结果表明，神经点具有强大的代表能力，展示了优异的鲁棒性和泛化能力。通过神经点，我们可以用任意分辨率重新采样点云，并优于最先进的点云上采样方法，通过大边距。
translated by 谷歌翻译
3D表面的复杂性通常会导致表面降解中的尖端点云降解（PCD）模型，包括残余噪声，错误地被错误的几何细节。尽管使用多尺度贴片来编码点的几何形状已成为PCD中的共同智慧，但我们发现，根据有关嘈杂点的几何信息，提取的多尺度特征的简单聚合无法自适应地利用适当的比例信息。它导致表面降解，尤其是对于接近边缘和复杂曲面上的点的点。我们提出了一个有趣的问题 - 如果采用多尺度的几何感知信息来指导网络利用多尺度信息，可以消除严重的表面降解问题吗？为了回答它，我们提出了一个为多尺度补丁定制的多关型denoising网络（MODNET）。首先，我们通过补丁功能编码器提取三个量表补丁的低级特征。其次，一个多尺度感知模块设计用于嵌入每个刻度功能的多尺度几何信息，并回归多尺度权重，以指导多关机deoising位移。第三，一个多偏移解码器会回归三个比例偏移，这些缩放量偏移以多尺度权重为指导，以通过适应性加权来预测最终位移。实验表明，我们的方法在合成和实范围的数据集上都实现了新的最新性能。
translated by 谷歌翻译
3D点云的卷积经过广泛研究，但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系，这是对差的独特特征学习的内在限制。在本文中，我们提出了自适应图卷积（AGCONV），以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比，AGCONV提高了点云卷积的灵活性，有效，精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同，AGCONV实现了卷积操作内部的适应性，而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明，我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时，AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性，我们探索了基于AGCONV的完成，DeNoing，Upsmpling，注册和圆圈提取的范式，它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
标准化流（NFS）是灵活的显式生成模型，已被证明可以准确地对复杂的现实世界数据分布进行建模。但是，它们的可逆性限制对存在于嵌入较高维空间中的较低维歧管上的数据分布施加局限性。实际上，这种缺点通常通过在影响生成样品质量的数据中添加噪声来绕过。与先前的工作相反，我们通过从原始数据分布中生成样品来解决此问题，并有有关扰动分布和噪声模型的全部知识。为此，我们确定对受扰动数据训练的NFS隐式表示最大可能性区域中的歧管。然后，我们提出了一个优化目标，该目标从扰动分布中恢复了歧管上最有可能的点。最后，我们专注于我们利用NFS的明确性质的3D点云，即从对数似然梯度中提取的表面正态和对数类样本本身，将Poisson表面重建应用于精炼生成的点集。
translated by 谷歌翻译
点云过滤和正常估计是3D场中的两个基本研究问题。现有方法通常会单独执行正常的估计和过滤，并且经常表现出对噪声和/或无法保留尖锐几何特征（例如角和边缘）的敏感性。在本文中，我们提出了一种新颖的深度学习方法，以共同估计正态和过滤点云。我们首先引入了一个基于3D补丁的对比学习框架，并以噪声损坏为增强，以训练能够生成点云斑块的忠实表示的功能编码器，同时保持噪音的强大功能。这些表示由简单的回归网络消耗，并通过新的关节损失进行监督，同时估算用于过滤贴片中心的点正常和位移。实验结果表明，我们的方法同时支持这两个任务，并保留尖锐的功能和细节。通常，它在这两个任务上都胜过最先进的技术。
translated by 谷歌翻译
从嘈杂，不均匀和无知点云中的表面重建是计算机视觉和图形中的一个令人迷人但具有挑战性的问题。随着3D扫描技术的创新，强烈希望直接转换原始扫描数据，通常具有严重噪声，进入歧管三角网格。现有的基于学习的方法旨在学习零级曲面对底层形状进行的隐式功能。然而，大多数人都无法获得嘈杂和稀疏点云的理想结果，限制在实践中。在本文中，我们介绍了神经IML，一种新的方法，它直接从未引起的原始点云学习抗噪声符号距离功能（SDF）。通过最大限度地减少由隐式移动最小二乘函数获得的损耗，我们的方法通过最小化了自我监督的方式，从原始点云中从原始点云中的底层SDF，而不是明确地学习前提。 （IML）和我们的神经网络另一个，我们的预测器的梯度定义了便于计算IML的切线束。我们证明，当几个SDFS重合时，我们的神经网络可以预测符号隐式功能，其零电平集用作底层表面的良好近似。我们对各种基准进行广泛的实验，包括合成扫描和现实世界扫描，以表现出从各种投入重建忠实形状的能力，特别是对于具有噪音或间隙的点云。
translated by 谷歌翻译
近年来，由于其表达力和灵活性，神经隐式表示在3D重建中获得了普及。然而，神经隐式表示的隐式性质导致缓慢的推理时间并且需要仔细初始化。在本文中，我们重新审视经典且无处不在的点云表示，并使用泊松表面重建（PSR）的可分辨率配方引入可分化的点对网格层，其允许给予定向的GPU加速的指示灯的快速解决方案点云。可微分的PSR层允许我们通过隐式指示器字段有效地和分散地桥接与3D网格的显式3D点表示，从而实现诸如倒角距离的表面重建度量的端到端优化。因此，点和网格之间的这种二元性允许我们以面向点云表示形状，这是显式，轻量级和富有表现力的。与神经内隐式表示相比，我们的形状 - 点（SAP）模型更具可解释，轻量级，并通过一个级别加速推理时间。与其他显式表示相比，如点，补丁和网格，SAP产生拓扑无关的水密歧管表面。我们展示了SAP对无知点云和基于学习的重建的表面重建任务的有效性。
translated by 谷歌翻译
点云的任务上采样的旨在从稀疏和不规则的点集获取密集和统一的点集。尽管通过深度学习模型取得了重大进展，但最先进的方法需要基于地面的密集点集作为监督，这使得它们有限地受到合成配对训练数据的培训，并且不适合进行现实。扫描稀疏数据。但是，获得大量的配对稀疏点集作为来自实际扫描的稀疏数据的监督，这是昂贵且乏味的。为了解决这个问题，我们提出了一个名为spu-net的自我监督点云上采样网络，以捕获位于基础对象表面上的固有的上采样模式。具体而言，我们提出了一个粗到精细的重建框架，该框架分别包含两个主要组成部分：点特征提取和点特征扩展。在点特征提取中，我们将自我发项模块与图形卷积网络（GCN）集成在一起，以同时捕获本地区域内部和之间的上下文信息。在点功能扩展中，我们引入了一种可学习的折叠策略，以生成具有可学习的2D网格的上采样点集。此外，为了进一步优化生成点集中的嘈杂点，我们提出了一种与统一和重建项相关的新颖的自预测优化，作为促进自我监督点云的关节损失。我们对合成数据集进行了各种实验，结果表明，我们实现了与最先进的监督方法相当的性能。
translated by 谷歌翻译
图像恢复中的一个根本挑战是去噪，目标是从其嘈杂的测量中估计清洁图像。为了解决这种不良反对问题，现有的去噪方法通常专注于利用有效的自然图像前提。噪声模型的利用和分析通常被忽略，尽管噪声模型可以向去噪算法提供互补信息。在本文中，我们提出了一种新的流基的联合图像和噪声模型（Fino），其明显地与潜在空间中的图像和噪声分离，并且无损地通过一系列可逆的转换来重建它们。我们进一步提出了一种可变交换策略，以对准图像的结构信息和噪声相关矩阵，以基于空间最小化相关信息来限制噪声。实验结果表明，Fino去除合成添加剂白高斯噪声（AWGN）和真实噪音的能力。此外，铜的概括到除去空间变体噪声和具有不准确估计的噪声的噪声超越了大幅边缘的流行和最先进的方法。
translated by 谷歌翻译
点云是3D内容的至关重要表示，在虚拟现实，混合现实，自动驾驶等许多领域已广泛使用，随着数据中点数的增加，如何有效地压缩点云变为一个具有挑战性的问题。在本文中，我们提出了一组基于贴片的点云压缩的重大改进，即用于熵编码的可学习上下文模型，用于采样质心点的OCTREE编码以及集成的压缩和训练过程。此外，我们提出了一个对抗网络，以改善重建过程中点的均匀性。我们的实验表明，改进的基于斑块的自动编码器在稀疏和大规模点云上的速率延伸性能方面优于最先进的。更重要的是，我们的方法可以在确保重建质量的同时保持短时间的压缩时间。
translated by 谷歌翻译