对抗性训练已被证明是捍卫对抗性例子的最有效的补救措施之一,但通常会遭受在看不见的测试对手身上巨大的稳定性概括差距,被认为是\ emph {对抗性强大的概括性问题}。尽管最初是针对对抗性强大的概括的初步理解,但从建筑的角度来看,知之甚少。因此,本文试图通过系统地检查最具代表性的体系结构(例如,视觉变压器和CNN)来弥合差距。特别是,我们首先对Imagenette和CIFAR-10数据集进行了对抗训练的架构\ Emph {20}对几个对手(多个$ \ ell_p $ -norm -norm对照攻击)的架构,并发现视觉变形金刚(例如,PVT,Coatnet)经常产生更好的对抗性稳定性。为了进一步了解哪种建筑成分有利于对抗性的强大概括,我们深入研究了几个关键的构建块,并通过Rademacher复杂性的镜头揭示了这一事实,即更高的重量稀疏性对更好的对手的视觉变形金刚的强大良好概括有很大贡献,这通常可以实现这一目标,这是可以实现的。通过注意层。我们的广泛研究发现了建筑设计与对抗性稳定的概括之间的密切关系,并实例化了一些重要的见解。我们希望我们的发现可以帮助更好地理解设计强大的深度学习体系结构的机制。
translated by 谷歌翻译