主要包含基于灵敏度的鲁棒性和空间稳健性的对抗鲁棒性，在鲁棒的广泛化中起不可或缺的部分。在本文中，我们努力设计策略以实现普遍的对抗性鲁棒性。为了达到这个目标，我们首先通过将本地和全球空间漏洞结合到一种空间攻击和对抗训练来实现现有的空间鲁棒性方法的较少研究的空间鲁棒性。基于这一探索，我们进一步提出了自然准确性，敏感性和不同的空间稳健性之间的全面关系，从强大的表现的角度支持的强大证据支持。更重要的是，为了将不同稳健性的相互影响平衡到一个统一的框架中，我们将\ Textit {Pareto标准}纳入对抗的鲁棒性分析，产生了一种称为\ Texit {Pareto对抗性培训}的新策略。由此产生的Pareto Front，这组最佳解决方案，在天然精度和不同的对抗鲁棒性中提供了最佳平衡，在未来普遍鲁棒性的解决方案中脱落。据我们所知，我们是第一个通过多目标优化考虑普遍对抗的鲁棒性。

（非）神经网络到小，对抗像素明智的扰动的鲁棒性，并且最近示出了甚至是随机空间转换（例如，翻译，旋转）恳求理论和经验理解。通过等级模型（例如，STDCNNS，GCNN）和训练增强，通常实现了随机翻译和旋转的空间鲁棒性，而普遍鲁棒性通常通过对抗性训练来实现。在本文中，我们在简单的统计环境中证明了空间和对抗性鲁棒性之间的定量折衷。我们通过展示：（a）随着等效模型的空间稳健性通过逐步培训更大的转化来改善，它们的对抗鲁棒性逐渐恶化，并且（b）随着最先进的强大模型是对抗的具有较大的像素明智的扰动训练，它们的空间鲁棒性逐渐下降。在此权衡中实现帕累托 - 最优性，我们提出了一种基于课程学习的方法，该方法逐步列举更加困难的扰动（空间和对抗性），以同时改善空间和对抗鲁棒性。

Recent work has demonstrated that deep neural networks are vulnerable to adversarial examples-inputs that are almost indistinguishable from natural data and yet classified incorrectly by the network. In fact, some of the latest findings suggest that the existence of adversarial attacks may be an inherent weakness of deep learning models. To address this problem, we study the adversarial robustness of neural networks through the lens of robust optimization. This approach provides us with a broad and unifying view on much of the prior work on this topic. Its principled nature also enables us to identify methods for both training and attacking neural networks that are reliable and, in a certain sense, universal. In particular, they specify a concrete security guarantee that would protect against any adversary. These methods let us train networks with significantly improved resistance to a wide range of adversarial attacks. They also suggest the notion of security against a first-order adversary as a natural and broad security guarantee. We believe that robustness against such well-defined classes of adversaries is an important stepping stone towards fully resistant deep learning models. 1

最近的研究表明，深度神经网络（DNNS）极易受到精心设计的对抗例子的影响。对那些对抗性例子的对抗性学习已被证明是防御这种攻击的最有效方法之一。目前，大多数现有的对抗示例生成方法基于一阶梯度，这几乎无法进一步改善模型的鲁棒性，尤其是在面对二阶对抗攻击时。与一阶梯度相比，二阶梯度提供了相对于自然示例的损失格局的更准确近似。受此启发的启发，我们的工作制作了二阶的对抗示例，并使用它们来训练DNNS。然而，二阶优化涉及Hessian Inverse的耗时计算。我们通过将问题转换为Krylov子空间中的优化，提出了一种近似方法，该方法显着降低了计算复杂性以加快训练过程。在矿工和CIFAR-10数据集上进行的广泛实验表明，我们使用二阶对抗示例的对抗性学习优于其他FISRT-阶方法，这可以改善针对广泛攻击的模型稳健性。

最大限度的训练原则，最大限度地减少最大的对抗性损失，也称为对抗性培训（AT），已被证明是一种提高对抗性鲁棒性的最先进的方法。尽管如此，超出了在对抗环境中尚未经过严格探索的最小最大优化。在本文中，我们展示了如何利用多个领域的最小最大优化的一般框架，以推进不同类型的对抗性攻击的设计。特别是，给定一组风险源，最小化最坏情况攻击损失可以通过引入在域集的概率单纯x上最大化的域权重来重新重整为最小最大问题。我们在三次攻击生成问题中展示了这个统一的框架 - 攻击模型集合，在多个输入下设计了通用扰动，并制作攻击对数据转换的弹性。广泛的实验表明，我们的方法导致对现有的启发式策略以及对培训的最先进的防御方法而言，鲁棒性改善，培训对多种扰动类型具有稳健。此外，我们发现，从我们的MIN-MAX框架中学到的自调整域权重可以提供整体工具来解释跨域攻击难度的攻击水平。代码可在https://github.com/wangjksjtu/minmaxsod中获得。

已知深度神经网络（DNN）容易受到用不可察觉的扰动制作的对抗性示例的影响，即，输入图像的微小变化会引起错误的分类，从而威胁着基于深度学习的部署系统的可靠性。经常采用对抗训练（AT）来通过训练损坏和干净的数据的混合物来提高DNN的鲁棒性。但是，大多数基于AT的方法在处理\ textit {转移的对抗示例}方面是无效的，这些方法是生成以欺骗各种防御模型的生成的，因此无法满足现实情况下提出的概括要求。此外，对抗性训练一般的国防模型不能对具有扰动的输入产生可解释的预测，而不同的领域专家则需要一个高度可解释的强大模型才能了解DNN的行为。在这项工作中，我们提出了一种基于Jacobian规范和选择性输入梯度正则化（J-SIGR）的方法，该方法通过Jacobian归一化提出了线性化的鲁棒性，还将基于扰动的显着性图正规化，以模仿模型的可解释预测。因此，我们既可以提高DNN的防御能力和高解释性。最后，我们评估了跨不同体系结构的方法，以针对强大的对抗性攻击。实验表明，提出的J-Sigr赋予了针对转移的对抗攻击的鲁棒性，我们还表明，来自神经网络的预测易于解释。

The study on improving the robustness of deep neural networks against adversarial examples grows rapidly in recent years. Among them, adversarial training is the most promising one, which flattens the input loss landscape (loss change with respect to input) via training on adversarially perturbed examples. However, how the widely used weight loss landscape (loss change with respect to weight) performs in adversarial training is rarely explored. In this paper, we investigate the weight loss landscape from a new perspective, and identify a clear correlation between the flatness of weight loss landscape and robust generalization gap. Several well-recognized adversarial training improvements, such as early stopping, designing new objective functions, or leveraging unlabeled data, all implicitly flatten the weight loss landscape. Based on these observations, we propose a simple yet effective Adversarial Weight Perturbation (AWP) to explicitly regularize the flatness of weight loss landscape, forming a double-perturbation mechanism in the adversarial training framework that adversarially perturbs both inputs and weights. Extensive experiments demonstrate that AWP indeed brings flatter weight loss landscape and can be easily incorporated into various existing adversarial training methods to further boost their adversarial robustness.

改善深度神经网络（DNN）对抗对抗示例的鲁棒性是安全深度学习的重要而挑战性问题。跨越现有的防御技术，具有预计梯度体面（PGD）的对抗培训是最有效的。对手训练通过最大化分类丢失，通过最大限度地减少从内在最大化生成的逆势示例的丢失来解决\ excepitient {内部最大化}生成侵略性示例的初始最大优化问题。 。因此，衡量内部最大化的衡量标准是如何对对抗性培训至关重要的。在本文中，我们提出了这种标准，即限制优化（FOSC）的一阶静止条件，以定量评估内部最大化中发现的对抗性实例的收敛质量。通过FOSC，我们发现，为了确保更好的稳健性，必须在培训的\ Texit {稍后的阶段}中具有更好的收敛质量的对抗性示例。然而，在早期阶段，高收敛质量的对抗例子不是必需的，甚至可能导致稳健性差。基于这些观察，我们提出了一种\ Texit {动态}培训策略，逐步提高产生的对抗性实例的收敛质量，这显着提高了对抗性培训的鲁棒性。我们的理论和经验结果表明了该方法的有效性。

对抗性例子的现象说明了深神经网络最基本的漏洞之一。在推出这一固有的弱点的各种技术中，对抗性训练已成为学习健壮模型的最有效策略。通常，这是通过平衡强大和自然目标来实现的。在这项工作中，我们旨在通过执行域不变的功能表示，进一步优化鲁棒和标准准确性之间的权衡。我们提出了一种新的对抗训练方法，域不变的对手学习（DIAL），该方法学习了一个既健壮又不变的功能表示形式。拨盘使用自然域及其相应的对抗域上的域对抗神经网络（DANN）的变体。在源域由自然示例组成和目标域组成的情况下，是对抗性扰动的示例，我们的方法学习了一个被限制的特征表示，以免区分自然和对抗性示例，因此可以实现更强大的表示。拨盘是一种通用和模块化技术，可以轻松地将其纳入任何对抗训练方法中。我们的实验表明，将拨号纳入对抗训练过程中可以提高鲁棒性和标准精度。

深度神经网络很容易被称为对抗攻击的小扰动都愚弄。对抗性培训（AT）是一种近似解决了稳健的优化问题，以最大限度地减少最坏情况损失，并且被广泛认为是对这种攻击的最有效的防御。由于产生了强大的对抗性示例的高计算时间，已经提出了单步方法来减少培训时间。然而，这些方法遭受灾难性的过度装备，在训练期间侵犯准确度下降。虽然提出了改进，但它们增加了培训时间和稳健性远非多步骤。我们为FW优化（FW-AT）开发了对抗的对抗培训的理论框架，揭示了损失景观与$ \ ell_2 $失真之间的几何连接。我们分析地表明FW攻击的高变形相当于沿攻击路径的小梯度变化。然后在各种深度神经网络架构上进行实验证明，$ \ ell \ infty $攻击对抗强大的模型实现近乎最大的$ \ ell_2 $失真，而标准网络具有较低的失真。此外，实验表明，灾难性的过度拟合与FW攻击的低变形强烈相关。为了展示我们理论框架的效用，我们开发FW-AT-Adap，这是一种新的逆势训练算法，它使用简单的失真度量来调整攻击步骤的数量，以提高效率而不会影响鲁棒性。 FW-AT-Adapt提供培训时间以单步快速分配方法，并改善了在白色盒子和黑匣子设置中的普发内精度的最小损失和多步PGD之间的差距。

神经网络容易受到对抗性攻击的影响：为其输入添加良好的难以察觉的扰动可以修改它们的输出。对抗性培训是针对这种攻击训练强大模型的最有效的方法之一。然而，它比Vanilla训练的神经网络训练慢得多，因为它需要在每次迭代时构建整个训练数据的对抗性示例，这阻碍了其有效性。最近，提出了快速的对抗培训，可以有效地获得强大的模型。然而，其成功背后的原因尚未完全理解，更重要的是，它只能为$ \ ell_ \ infty $ -bounded攻击培训强大的模型，因为它在训练期间使用FGSM。在本文中，通过利用Coreset选择理论，我们展示了如何选择小型培训数据的子集，以减少强大培训的时间复杂性提供更原则的方法。与现有方法不同，我们的方法可以适应各种各样的培训目标，包括交易，$ \ ell_p $ -pgd和感知对抗培训。我们的实验结果表明，我们的方法将对抗性训练速度升高2-3次，同时经历清洁和稳健的准确性的少量减少。

对抗性培训（AT）已成为一种广泛认可的防御机制，以提高深度神经网络对抗对抗攻击的鲁棒性。它解决了最小的最大优化问题，其中最小化器（即，后卫）寻求稳健的模型，以最小化由最大化器（即，攻击者）制成的对抗示例存在的最坏情况训练损失。然而，Min-Max的性质在计算密集并因此难以扩展。同时，快速算法，实际上，许多最近改进的算法，通过替换基于简单的单次梯度标志的攻击生成步骤来简化基于最大化步骤的最小值。虽然易于实施，快速缺乏理论保证，其实际表现可能是不令人满意的，患有强大的对手训练时的鲁棒性灾难性过度。在本文中，我们从双级优化（BLO）的角度来看，旨在快速设计。首先，首先进行关键观察，即快速at的最常用的算法规范等同于使用一些梯度下降型算法来解决涉及符号操作的双级问题。然而，标志操作的离散性使得难以理解算法的性能。基于上述观察，我们提出了一种新的遗传性双层优化问题，设计和分析了一组新的算法（快速蝙蝠）。 FAST-BAT能够捍卫基于符号的投影梯度下降（PGD）攻击，而无需调用任何渐变标志方法和明确的鲁棒正则化。此外，我们经验证明，通过在不诱导鲁棒性灾难性过度的情况下实现卓越的模型稳健性，或患有任何标准精度损失的稳健性，我们的方法优于最先进的快速基线。

深度神经网络的图像分类容易受到对抗性扰动的影响。图像分类可以通过在输入图像中添加人造小且不可察觉的扰动来轻松愚弄。作为最有效的防御策略之一，提出了对抗性训练，以解决分类模型的脆弱性，其中创建了对抗性示例并在培训期间注入培训数据中。在过去的几年中，对分类模型的攻击和防御进行了深入研究。语义细分作为分类的扩展，最近也受到了极大的关注。最近的工作表明，需要大量的攻击迭代来创建有效的对抗性示例来欺骗分割模型。该观察结果既可以使鲁棒性评估和对分割模型的对抗性培训具有挑战性。在这项工作中，我们提出了一种称为SEGPGD的有效有效的分割攻击方法。此外，我们提供了收敛分析，以表明在相同数量的攻击迭代下，提出的SEGPGD可以创建比PGD更有效的对抗示例。此外，我们建议将SEGPGD应用于分割对抗训练的基础攻击方法。由于SEGPGD可以创建更有效的对抗性示例，因此使用SEGPGD的对抗训练可以提高分割模型的鲁棒性。我们的建议还通过对流行分割模型体系结构和标准分段数据集进行了验证。

We present a new algorithm to learn a deep neural network model robust against adversarial attacks. Previous algorithms demonstrate an adversarially trained Bayesian Neural Network (BNN) provides improved robustness. We recognize the adversarial learning approach for approximating the multi-modal posterior distribution of a Bayesian model can lead to mode collapse; consequently, the model's achievements in robustness and performance are sub-optimal. Instead, we first propose preventing mode collapse to better approximate the multi-modal posterior distribution. Second, based on the intuition that a robust model should ignore perturbations and only consider the informative content of the input, we conceptualize and formulate an information gain objective to measure and force the information learned from both benign and adversarial training instances to be similar. Importantly. we prove and demonstrate that minimizing the information gain objective allows the adversarial risk to approach the conventional empirical risk. We believe our efforts provide a step toward a basis for a principled method of adversarially training BNNs. Our model demonstrate significantly improved robustness--up to 20%--compared with adversarial training and Adv-BNN under PGD attacks with 0.035 distortion on both CIFAR-10 and STL-10 datasets.

We propose the Square Attack, a score-based black-box l2and l∞-adversarial attack that does not rely on local gradient information and thus is not affected by gradient masking. Square Attack is based on a randomized search scheme which selects localized squareshaped updates at random positions so that at each iteration the perturbation is situated approximately at the boundary of the feasible set. Our method is significantly more query efficient and achieves a higher success rate compared to the state-of-the-art methods, especially in the untargeted setting. In particular, on ImageNet we improve the average query efficiency in the untargeted setting for various deep networks by a factor of at least 1.8 and up to 3 compared to the recent state-ofthe-art l∞-attack of Al-Dujaili & OReilly (2020). Moreover, although our attack is black-box, it can also outperform gradient-based white-box attacks on the standard benchmarks achieving a new state-of-the-art in terms of the success rate. The code of our attack is available at https://github.com/max-andr/square-attack.

有必要提高某些特殊班级的表现，或者特别保护它们免受对抗学习的攻击。本文提出了一个将成本敏感分类和对抗性学习结合在一起的框架，以训练可以区分受保护和未受保护的类的模型，以使受保护的类别不太容易受到对抗性示例的影响。在此框架中，我们发现在训练深神经网络（称为Min-Max属性）期间，一个有趣的现象，即卷积层中大多数参数的绝对值。基于这种最小的最大属性，该属性是在随机分布的角度制定和分析的，我们进一步建立了一个针对对抗性示例的新防御模型，以改善对抗性鲁棒性。构建模型的一个优点是，它的性能比标准模型更好，并且可以与对抗性训练相结合，以提高性能。在实验上证实，对于所有类别的平均准确性，我们的模型在没有发生攻击时几乎与现有模型一样，并且在发生攻击时比现有模型更好。具体而言，关于受保护类的准确性，提议的模型比发生攻击时的现有模型要好得多。

由于机器学习（ML）系统变得普遍存在，因此保护其安全性至关重要。然而，最近已经证明，动机的对手能够通过使用语义转换扰乱测试数据来误导ML系统。虽然存在丰富的研究机构，但为ML模型提供了可提供的稳健性保证，以防止$ \ ell_p $ norm界限对抗对抗扰动，抵御语义扰动的保证仍然很广泛。在本文中，我们提供了TSS - 一种统一的框架，用于针对一般对抗性语义转换的鲁棒性认证。首先，根据每个转换的性质，我们将常见的变换划分为两类，即可解决的（例如，高斯模糊）和差异可解的（例如，旋转）变换。对于前者，我们提出了特定于转型的随机平滑策略并获得强大的稳健性认证。后者类别涵盖涉及插值错误的变换，我们提出了一种基于分层采样的新方法，以证明稳健性。我们的框架TSS利用这些认证策略并结合了一致性增强的培训，以提供严谨的鲁棒性认证。我们对十种挑战性语义转化进行了广泛的实验，并表明TSS显着优于现有技术。此外，据我们所知，TSS是第一种在大规模想象数据集上实现非竞争认证稳健性的方法。例如，我们的框架在ImageNet上实现了旋转攻击的30.4％认证的稳健准确性（在$ \ PM 30 ^ \ CIC $）。此外，要考虑更广泛的转换，我们展示了TSS对自适应攻击和不可预见的图像损坏，例如CIFAR-10-C和Imagenet-C。

对抗性训练（AT）是针对对抗分类系统的对抗性攻击的简单而有效的防御，这是基于增强训练设置的攻击，从而最大程度地提高了损失。但是，AT作为视频分类的辩护的有效性尚未得到彻底研究。我们的第一个贡献是表明，为视频生成最佳攻击需要仔细调整攻击参数，尤其是步骤大小。值得注意的是，我们证明最佳步长随攻击预算线性变化。我们的第二个贡献是表明，在训练时间使用较小（次优的）攻击预算会导致测试时的性能更加强大。根据这些发现，我们提出了三个防御攻击预算的攻击的防御。自适应AT的第一个技术是一种技术，该技术是从随着训练迭代进行的。第二个课程是一项技术，随着训练的迭代进行，攻击预算的增加。第三个生成的AT，与deno的生成对抗网络一起，以提高稳健的性能。 UCF101数据集上的实验表明，所提出的方法改善了针对多种攻击类型的对抗性鲁棒性。

对抗性的鲁棒性已成为机器学习越来越兴趣的话题，因为观察到神经网络往往会变得脆弱。我们提出了对逆转防御的信息几何表述，并引入Fire，这是一种针对分类跨透明镜损失的新的Fisher-Rao正则化，这基于对应于自然和受扰动输入特征的软磁输出之间的测量距离。基于SoftMax分布类的信息几何特性，我们为二进制和多类案例提供了Fisher-Rao距离（FRD）的明确表征，并绘制了一些有趣的属性以及与标准正则化指标的连接。此外，对于一个简单的线性和高斯模型，我们表明，在精度 - 舒适性区域中的所有帕累托最佳点都可以通过火力达到，而其他最先进的方法则可以通过火灾。从经验上讲，我们评估了经过标准数据集拟议损失的各种分类器的性能，在清洁和健壮的表现方面同时提高了1 \％的改进，同时将培训时间降低了20 \％，而不是表现最好的方法。

Adversarial examples have attracted significant attention in machine learning, but the reasons for their existence and pervasiveness remain unclear. We demonstrate that adversarial examples can be directly attributed to the presence of non-robust features: features (derived from patterns in the data distribution) that are highly predictive, yet brittle and (thus) incomprehensible to humans. After capturing these features within a theoretical framework, we establish their widespread existence in standard datasets. Finally, we present a simple setting where we can rigorously tie the phenomena we observe in practice to a misalignment between the (human-specified) notion of robustness and the inherent geometry of the data.