尽管基于3D点云表示的基于自我监督的对比度学习模型最近取得了成功，但此类预训练模型的对抗性鲁棒性引起了人们的关注。对抗性对比学习（ACL）被认为是改善预训练模型的鲁棒性的有效方法。相比之下，投影仪被认为是在对比度预处理过程中删除不必要的特征信息的有效组成部分，并且大多数ACL作品还使用对比度损失，与预测的功能表示形式相比损失，在预处理中产生对抗性示例，而“未转移”的功能表征用于发电的对抗性输入。在推理期间。由于投影和“未投影”功能之间的分布差距，其模型受到限制，以获取下游任务的可靠特征表示。我们介绍了一种新方法，通过利用虚拟对抗性损失在对比度学习框架中使用“未重新注射”功能表示，以生成高质量的3D对抗示例，以进行对抗训练。我们介绍了强大的意识损失功能，以对抗自我监督对比度学习框架。此外，我们发现选择具有正常操作员（DON）操作员差异的高差异作为对抗性自学对比度学习的附加输入，可以显着提高预训练模型的对抗性鲁棒性。我们在下游任务上验证我们的方法，包括3D分类和使用多个数据集的3D分割。它在最先进的对抗性学习方法上获得了可比的鲁棒精度。

对比度学习（CL）可以通过在其顶部的线性分类器上学习更广泛的特征表示并实现下游任务的最先进的性能。然而，由于对抗性稳健性在图像分类中变得至关重要，但仍然不清楚CL是否能够为下游任务保留鲁棒性。主要挑战是，在自我监督的预押率+监督的FineTuning范式中，由于学习任务不匹配从预先追溯到Fineetuning，对抗性鲁棒性很容易被遗忘。我们称之为挑战“跨任务稳健性转移性”。为了解决上述问题，在本文中，我们通过稳健性增强的镜头重新审视并提前CL原理。我们展示了（1）对比视图的设计事项：图像的高频分量有利于提高模型鲁棒性; （2）使用伪监督刺激（例如，诉诸特征聚类）增强CL，有助于保持稳健性而不会忘记。配备了我们的新设计，我们提出了一种新的对抗对比预制框架的advcl。我们表明Advcl能够增强跨任务稳健性转移性，而不会损失模型精度和芬降效率。通过彻底的实验研究，我们展示了Advcl优于跨多个数据集（CiFar-10，CiFar-100和STL-10）和FineTuning方案的最先进的自我监督的自我监督学习方法（线性评估和满模型fineetuning）。

在本文中，我们引入了一个新型的神经网络训练框架，该框架增加了模型对对抗性攻击的对抗性鲁棒性，同时通过将对比度学习（CL）与对抗性训练（AT）结合在一起，以保持高清洁精度。我们建议通过学习在数据增强和对抗性扰动下保持一致的特征表示来提高对对抗性攻击的模型鲁棒性。我们利用对比的学习来通过将对抗性示例视为另一个积极的例子来提高对抗性的鲁棒性，并旨在最大化数据样本的随机增强及其对抗性示例之间的相似性，同时不断更新分类头，以避免在认知解离之间分类头和嵌入空间。这种分离是由于CL将网络更新到嵌入空间的事实引起的，同时冻结用于生成新的积极对抗示例的分类头。我们在CIFAR-10数据集上验证了我们的方法，具有对抗性特征（CLAF）的对比度学习，在该数据集上，它在替代监督和自我监督的对抗学习方法上均优于强大的精度和清洁精度。

自我监督的学习方法，如对比学习，在自然语言处理中非常重视。它使用对培训数据增强对具有良好表示能力的编码器构建分类任务。然而，在对比学习的学习成对的构建在NLP任务中更难。以前的作品生成单词级更改以形成对，但小变换可能会导致句子含义的显着变化作为自然语言的离散和稀疏性质。在本文中，对对抗的训练在NLP的嵌入空间中产生了挑战性和更难的学习对抗性示例作为学习对。使用对比学学习提高了对抗性培训的泛化能力，因为对比损失可以使样品分布均匀。同时，对抗性培训也提高了对比学习的稳健性。提出了两种小说框架，监督对比对抗学习（SCAS）和无监督的SCAS（USCAL），通过利用对比学习的对抗性培训来产生学习成对。利用基于标签的监督任务丢失，以产生对抗性示例，而无监督的任务会带来对比损失。为了验证所提出的框架的有效性，我们将其雇用到基于变换器的模型，用于自然语言理解，句子语义文本相似性和对抗学习任务。胶水基准任务的实验结果表明，我们的微调监督方法优于BERT $ _ {基础} $超过1.75 \％。我们还评估我们对语义文本相似性（STS）任务的无监督方法，并且我们的方法获得77.29 \％with bert $ _ {base} $。我们方法的稳健性在NLI任务的多个对抗性数据集下进行最先进的结果。

虽然近年来，在2D图像领域的攻击和防御中，许多努力已经探讨了3D模型的脆弱性。现有的3D攻击者通常在点云上执行点明智的扰动，从而导致变形的结构或异常值，这很容易被人类察觉。此外，它们的对抗示例是在白盒设置下产生的，当转移到攻击远程黑匣子型号时经常遭受低成功率。在本文中，我们通过提出一种新的难以察觉的转移攻击（ITA）：1）难以察觉的3D点云攻击来自两个新的和具有挑战性的观点：1）难以察觉：沿着邻域表面的正常向量限制每个点的扰动方向，导致产生具有类似几何特性的示例，从而增强了难以察觉。 2）可转移性：我们开发了一个对抗性转变模型，以产生最有害的扭曲，并强制实施对抗性示例来抵抗它，从而提高其对未知黑匣子型号的可转移性。此外，我们建议通过学习更辨别的点云表示来培训更强大的黑盒3D模型来防御此类ITA攻击。广泛的评估表明，我们的ITA攻击比最先进的人更令人无法察觉和可转让，并验证我们的国防战略的优势。

对比自我监督学习（CSL）已设法匹配或超过图像和视频分类中监督学习的表现。但是，仍然未知两个学习范式引起的表示的性质是否相似。我们在对抗性鲁棒性的角度下对此进行了研究。我们对该问题的分析治疗揭示了CSL对监督学习的内在更高灵敏度。它将数据表示形式在CSL表示空间中的单位过球上的统一分布是这种现象的关键因素。我们确定这会增加模型对输入扰动的敏感性，而在培训数据中存在假阴性的情况下。我们的发现得到了对对抗性扰动和其他输入损坏的图像和视频分类的广泛实验的支持。在洞察力的基础上，我们制定了简单但有效地通过CSL培训改善模型鲁棒性的策略。我们证明，对抗攻击的CSL及其受监督的对手之间的性能差距最高可下降68％。最后，我们通过将我们的发现纳入对抗性的自我监督学习中，为强大的CSL范式做出了贡献。我们证明，在该域中的两种不同的最新方法中，平均增益约为5％。

Deep learning has attained remarkable success in many 3D visual recognition tasks, including shape classification, object detection, and semantic segmentation. However, many of these results rely on manually collecting densely annotated real-world 3D data, which is highly time-consuming and expensive to obtain, limiting the scalability of 3D recognition tasks. Thus, we study unsupervised 3D recognition and propose a Self-supervised-Self-Labeled 3D Recognition (SL3D) framework. SL3D simultaneously solves two coupled objectives, i.e., clustering and learning feature representation to generate pseudo-labeled data for unsupervised 3D recognition. SL3D is a generic framework and can be applied to solve different 3D recognition tasks, including classification, object detection, and semantic segmentation. Extensive experiments demonstrate its effectiveness. Code is available at https://github.com/fcendra/sl3d.

颅内动脉瘤现在是常见的，以及如何智能地检测它们在数字健康方面具有重要意义。虽然大多数现有的深度学习研究专注于医学图像的监督方式，但我们介绍了基于3D点云数据检测颅内动脉瘤的无监督方法。特别是，我们的方法由两个阶段组成：无监督的预训练和下游任务。至于前者，主要思想是将每个点云与其抖动的对应物配对并最大化它们的对应关系。然后，我们设计具有每个分支的编码器和后续公共投影头的双分支对比度网络。至于后者，我们为监督分类和分割培训设计简单网络。公共数据集（内部）的实验表明，我们的无监督方法比某些最先进的监督技术实现了可比或甚至更好的性能，并且在检测动脉瘤血管中最为突出。 ModelNet40上的实验还表明，我们的方法实现了90.79 \％的准确性，这优于现有的最先进的无监督模型。

Arguably one of the top success stories of deep learning is transfer learning. The finding that pre-training a network on a rich source set (e.g., ImageNet) can help boost performance once fine-tuned on a usually much smaller target set, has been instrumental to many applications in language and vision. Yet, very little is known about its usefulness in 3D point cloud understanding. We see this as an opportunity considering the effort required for annotating data in 3D. In this work, we aim at facilitating research on 3D representation learning. Different from previous works, we focus on high-level scene understanding tasks. To this end, we select a suite of diverse datasets and tasks to measure the effect of unsupervised pre-training on a large source set of 3D scenes. Our findings are extremely encouraging: using a unified triplet of architecture, source dataset, and contrastive loss for pre-training, we achieve improvement over recent best results in segmentation and detection across 6 different benchmarks for indoor and outdoor, real and synthetic datasets -demonstrating that the learned representation can generalize across domains. Furthermore, the improvement was similar to supervised pre-training, suggesting that future efforts should favor scaling data collection over more detailed annotation. We hope these findings will encourage more research on unsupervised pretext task design for 3D deep learning. Our code is publicly available at https://github.com/facebookresearch/PointContrast

尽管在各种应用中取得了突出的性能，但点云识别模型经常遭受自然腐败和对抗性扰动的困扰。在本文中，我们深入研究了点云识别模型的一般鲁棒性，并提出了点云对比对抗训练（PointCat）。 PointCat的主要直觉是鼓励目标识别模型缩小清洁点云和损坏点云之间的决策差距。具体而言，我们利用有监督的对比损失来促进识别模型提取的超晶体特征的对齐和均匀性，并设计一对带有动态原型指南的集中式损失，以避免这些特征与其属于其属于其归属类别群的偏离。为了提供更具挑战性的损坏点云，我们对噪声生成器以及从头开始的识别模型进行了对手训练，而不是将基于梯度的攻击用作内部循环，例如以前的对手训练方法。全面的实验表明，在包括各种损坏的情况下，所提出的PointCat优于基线方法，并显着提高不同点云识别模型的稳健性，包括各向同性点噪声，LIDAR模拟的噪声，随机点掉落和对抗性扰动。

利用3D点云数据已经成为在面部识别和自动驾驶等许多领域部署人工智能的迫切需要。然而，3D点云的深度学习仍然容易受到对抗的攻击，例如迭代攻击，点转换攻击和生成攻击。这些攻击需要在严格的界限内限制对抗性示例的扰动，导致不切实际的逆势3D点云。在本文中，我们提出了对普遍的图形 - 卷积生成的对抗网络（ADVGCGAN）从头开始产生视觉上现实的对抗3D点云。具体地，我们使用图形卷积发电机和带有辅助分类器的鉴别器来生成现实点云，从真实3D数据学习潜在分布。不受限制的对抗性攻击损失纳入GaN的特殊逆势训练中，使得发电机能够产生对抗实例来欺骗目标网络。与现有的最先进的攻击方法相比，实验结果表明了我们不受限制的对抗性攻击方法的有效性，具有更高的攻击成功率和视觉质量。此外，拟议的Advgcan可以实现更好的防御模型和比具有强烈伪装的现有攻击方法更好的转移性能。

最近，对抗性训练已被纳入自我监督的对比预训练中，以增强标签效率，并具有令人兴奋的对抗性鲁棒性。但是，鲁棒性是经过昂贵的对抗训练的代价。在本文中，我们表明了一个令人惊讶的事实，即对比的预训练与稳健性具有有趣而隐含的联系，并且在经过训练的代表中如此自然的鲁棒性使我们能够设计出一种强大的鲁棒算法，以防止对抗性攻击，Rush，将标准组合在一起。对比的预训练和随机平滑。它提高了标准准确性和强大的精度，并且与对抗训练相比，培训成本大大降低了。我们使用广泛的经验研究表明，拟议中的Rush在一阶攻击下的共同基准（CIFAR-10，CIFAR-100和STL-10）的大幅度优于对抗性训练的强大分类器。特别是，在$ \ ell _ {\ infty} $下 - 大小为8/255 PGD攻击CIFAR-10的标准扰动，我们使用RESNET-18作为骨架达到77.8％的型号达到77.8％稳健精度和87.9％的标准精度。与最先进的工作相比，我们的工作的鲁棒精度提高了15％以上，标准准确性略有提高。

无人监督的学习目睹了自然语言理解和最近的2D图像领域的巨大成功。如何利用无监督学习的3D点云分析的力量仍然是开放的。大多数现有方法只是简单地适应2D域中使用的技术到3D域，同时不完全利用3D数据的特殊性。在这项工作中，我们提出了一种对3D点云的无监督代表学习的点辨别学习方法，该方法专门为点云数据设计，可以学习本地和全局形状特征。我们通过对骨干网络产生的中间级别和全球层面特征进行新的点歧视损失来实现这一目标。该点歧视损失强制执行与属于相应局部形状区域的点，并且与随机采样的嘈杂点不一致。我们的方法简单，设计简单，通过添加额外的适配模块和用于骨干编码器的无监督培训的点一致性模块。培训后，可以在对下游任务的分类器或解码器的监督培训期间丢弃这两个模块。我们在各种设置中对3D对象分类，3D语义和部分分割进行了广泛的实验，实现了新的最先进的结果。我们还对我们的方法进行了详细的分析，目视证明我们所学到的无监督特征的重建本地形状与地面真理形状高度一致。

大规模点云的注释仍然耗时，并且对于许多真实世界任务不可用。点云预训练是用于获得快速适配的可扩展模型的一个潜在解决方案。因此，在本文中，我们调查了一种新的自我监督学习方法，称为混合和解除戒（MD），用于点云预培训。顾名思义，我们探索如何将原始点云与混合点云分开，并利用这一具有挑战的任务作为模型培训的借口优化目标。考虑到原始数据集中的有限培训数据，这远低于普遍的想象，混合过程可以有效地产生更高质量的样本。我们构建一个基线网络以验证我们的直觉，只包含两个模块，编码器和解码器。给定混合点云，首先预先训练编码器以提取语义嵌入。然后，利用实例 - 自适应解码器根据嵌入来解除点云。尽管简单，编码器本质上是能够在训练后捕获点云关键点，并且可以快速适应下游任务，包括预先训练和微调范例的分类和分割。在两个数据集上的广泛实验表明编码器+我们的（MD）显着超越了从头划痕培训的编码器和快速收敛的编码器。在消融研究中，我们进一步研究了每个部件的效果，并讨论了拟议的自我监督学习策略的优势。我们希望这种自我监督的学习尝试点云可以铺平了减少对大规模标记数据的深度学习模型依赖的方式，并在将来节省了大量的注释成本。

最近提出的对抗自我监督的学习方法通常需要大批和长期训练时期提取强大的功能，在实际应用中是不友好的。在本文中，我们提出了一种新的对抗动力对比学习方法，它利用两个存储体来跟踪不同迷你批次的不变特征。这些存储体可以有效地结合到每次迭代中，并帮助网络学习具有较小批次的更强大的特征表示，并且较少的时期。此外，在对分类任务进行微调后，所提出的方法可以满足或超过现实世界数据集上一些最先进的监督基线的性能。我们的代码可用于\ url {https:/github.com/mtandhj/amoc}。

最近，3D深度学习模型已被证明易于对其2D对应物的对抗性攻击影响。大多数最先进的（SOTA）3D对抗性攻击对3D点云进行扰动。为了在物理场景中再现这些攻击，需要重建生成的对抗3D点云以网状，这导致其对抗效果显着下降。在本文中，我们提出了一个名为Mesh攻击的强烈的3D对抗性攻击，通过直接对3D对象的网格进行扰动来解决这个问题。为了利用最有效的基于梯度的攻击，介绍了一种可差异化的样本模块，其反向传播点云梯度以网格传播。为了进一步确保没有异常值和3D可打印的对抗性网状示例，采用了三种网格损耗。广泛的实验表明，所提出的方案优于SOTA 3D攻击，通过显着的保证金。我们还在各种防御下实现了SOTA表现。我们的代码可用于：https：//github.com/cuge1995/mesh-attack。

尽管最近在不同的应用程序方案中广泛部署了3D点云分类，但它仍然非常容易受到对抗攻击的影响。面对对抗性攻击，这增加了对3D模型的强大训练的重要性。基于我们对现有对抗性攻击的性能的分析，在输入数据的中和高频组件中发现了更多的对抗性扰动。因此，通过抑制训练阶段的高频含量，改善了针对对抗性示例的模型。实验表明，提出的防御方法降低了对PointNet，PointNet ++和DGCNN模型的六次攻击的成功率。特别是，与最先进的方法相比，Drop100攻击的平均分类精度在Drop100攻击中平均提高3.8％，而Drop200攻击的平均分类精度提高了3.8％。与其他可用方法相比，该方法还提高了原始数据集的模型精度。

Deep learning-based 3D object detectors have made significant progress in recent years and have been deployed in a wide range of applications. It is crucial to understand the robustness of detectors against adversarial attacks when employing detectors in security-critical applications. In this paper, we make the first attempt to conduct a thorough evaluation and analysis of the robustness of 3D detectors under adversarial attacks. Specifically, we first extend three kinds of adversarial attacks to the 3D object detection task to benchmark the robustness of state-of-the-art 3D object detectors against attacks on KITTI and Waymo datasets, subsequently followed by the analysis of the relationship between robustness and properties of detectors. Then, we explore the transferability of cross-model, cross-task, and cross-data attacks. We finally conduct comprehensive experiments of defense for 3D detectors, demonstrating that simple transformations like flipping are of little help in improving robustness when the strategy of transformation imposed on input point cloud data is exposed to attackers. Our findings will facilitate investigations in understanding and defending the adversarial attacks against 3D object detectors to advance this field.

随着各种3D安全关键应用的关注，点云学习模型已被证明容易受到对抗性攻击的影响。尽管现有的3D攻击方法达到了很高的成功率，但它们会以明显的扰动来深入研究数据空间，这可能会忽略几何特征。取而代之的是，我们从新的角度提出了点云攻击 - 图谱域攻击，旨在在光谱域中扰动图形转换系数，该系数对应于改变某些几何结构。具体而言，利用图形信号处理，我们首先通过图形傅立叶变换（GFT）自适应地将点的坐标转换为光谱域，以进行紧凑的表示。然后，我们基于我们建议通过可学习的图形光谱滤波器扰动GFT系数的几何结构的影响。考虑到低频组件主要有助于3D对象的粗糙形状，我们进一步引入了低频约束，以限制不察觉到的高频组件中的扰动。最后，通过将扰动的光谱表示形式转换回数据域，从而生成对抗点云。实验结果证明了拟议攻击的有效性，这些攻击既有易经性和攻击成功率。

We integrate contrastive learning (CL) with adversarial learning to co-optimize the robustness and accuracy of code models. Different from existing works, we show that code obfuscation, a standard code transformation operation, provides novel means to generate complementary `views' of a code that enable us to achieve both robust and accurate code models. To the best of our knowledge, this is the first systematic study to explore and exploit the robustness and accuracy benefits of (multi-view) code obfuscations in code models. Specifically, we first adopt adversarial codes as robustness-promoting views in CL at the self-supervised pre-training phase. This yields improved robustness and transferability for downstream tasks. Next, at the supervised fine-tuning stage, we show that adversarial training with a proper temporally-staggered schedule of adversarial code generation can further improve robustness and accuracy of the pre-trained code model. Built on the above two modules, we develop CLAWSAT, a novel self-supervised learning (SSL) framework for code by integrating $\underline{\textrm{CL}}$ with $\underline{\textrm{a}}$dversarial vie$\underline{\textrm{w}}$s (CLAW) with $\underline{\textrm{s}}$taggered $\underline{\textrm{a}}$dversarial $\underline{\textrm{t}}$raining (SAT). On evaluating three downstream tasks across Python and Java, we show that CLAWSAT consistently yields the best robustness and accuracy ($\textit{e.g.}$ 11$\%$ in robustness and 6$\%$ in accuracy on the code summarization task in Python). We additionally demonstrate the effectiveness of adversarial learning in CLAW by analyzing the characteristics of the loss landscape and interpretability of the pre-trained models.