在本文中提出了两种基于学习的新基于学习的可解释的AI（XAI）方法，用于深卷积神经网络（DCNN）图像分类器，称为L-CAM-FM和L-CAM-IMG。两种方法都使用了一种注意机制，该机制插入了原始（冷冻）DCNN中，并经过训练以从最后一个卷积层的特征图中得出类激活图（CAM）。在训练过程中，将CAM应用于特征图（L-CAM-FM）或输入图像（L-CAM-IMG），迫使注意机制学习了解释DCNN结果的图像区域。对成像网的实验评估表明，所提出的方法获得竞争结果，同时需要在推理阶段进行一次前进。此外，根据派生的解释，进行了全面的定性分析，为了解分类错误背后的原因，包括影响训练有素的分类器的可能数据集偏见。

在本文中，一种称为VigAt的纯粹发行的自下而上的方法，该方法将对象检测器与视觉变压器（VIT）骨干网络一起得出对象和框架功能，以及一个头网络来处理这些功能，以处理事件的任务提出了视频中的识别和解释。VIGAT头由沿空间和时间维度分解的图形注意网络（GAT）组成，以便有效捕获对象或帧之间的局部和长期依赖性。此外，使用从各个GAT块的邻接矩阵得出的加权内（wids），我们表明所提出的体系结构可以识别解释网络决策的最显着对象和框架。进行了全面的评估研究，表明所提出的方法在三个大型公开视频数据集（FCVID，Mini-Kinetics，ActivityNet）上提供了最先进的结果。

Recently, increasing attention has been drawn to the internal mechanisms of convolutional neural networks, and the reason why the network makes specific decisions. In this paper, we develop a novel post-hoc visual explanation method called Score-CAM based on class activation mapping. Unlike previous class activation mapping based approaches, Score-CAM gets rid of the dependence on gradients by obtaining the weight of each activation map through its forward passing score on target class, the final result is obtained by a linear combination of weights and activation maps. We demonstrate that Score-CAM achieves better visual performance and fairness for interpreting the decision making process. Our approach outperforms previous methods on both recognition and localization tasks, it also passes the sanity check. We also indicate its application as debugging tools. The implementation is available 1 .

卷积神经网络（CNN）成为计算机视觉最受欢迎和最突出的深度学习体系结构之一，但其黑匣子功能隐藏了内部预测过程。因此，AI从业者阐明了可解释的AI，以提供模型行为的解释性。特别是，基于类的激活图（CAM）和基于GRAD-CAM的方法已显示出希望结果，但它们具有架构限制或梯度计算负担。为了解决这些问题，已建议将得分摄像机作为一种无梯度方法，但是，与基于CAM或GRAD-CAM的方法相比，它需要更多的执行时间。因此，我们通过空间掩盖提取的特征图来利用激活图和网络输出之间的相关性，提出了一个轻巧的体系结构和无梯度的互惠凸轮（配克CAM）。通过提出的方法，与平均跌落 - 相干 - 复杂性（ADCC）度量相比，Resnet家族中的1：78-3：72％的收益不包括VGG-16（1：39％）（1：39％） ）。此外，配置摄像头表现出与Grad-CAM相似的显着性图生成速率，并且比Score-CAM快于148倍。

类激活图（CAM）已被广泛研究，用于视觉解释卷积神经网络的内部工作机理。现有基于CAM的方法的关键是计算有效的权重以在目标卷积层中结合激活图。现有的基于梯度和得分的加权方案在确保CAM的可区分性或忠诚度方面表现出了优越性，但它们通常在这两种属性中都无法表现出色。在本文中，我们提出了一种名为FD-CAM的新型CAM加权方案，以提高基于CAM的CNN视觉解释的忠诚和可区分性。首先，我们通过执行分组的通道切换操作来提高基于分数的权重的忠诚和可区分性。具体而言，对于每个通道，我们计算其相似性组，并同时打开或关闭一组通道以计算类预测评分的变化为权重。然后，我们将改进的基于得分的权重与常规梯度的权重相结合，以便可以进一步提高最终CAM的可区分性。我们与最新的CAM算法进行了广泛的比较。定量和定性的结果表明，我们的FD-CAM可以对CNN产生更忠实，更具歧视性的视觉解释。我们还进行实验，以验证提出的分组通道切换和重量组合方案在改善结果方面的有效性。我们的代码可在https://github.com/crishhhhh1998/fd-cam上找到。

解释方法有助于开发学习有意义的概念的模型，并避免利用杂散相关性。我们说明了对流行神经网络的先前未被识别的限制解释方法GRAC-CAM：作为梯度平均步骤的副作用，Grad-Cam有时突出显示模型实际使用的位置。为了解决这个问题，我们提出了一种新颖的类特定的解释方法，保证只能突出显示用于制作每个预测的模型的位置。我们证明了亨克斯姆是凸轮的泛化，探索赫什罕与基于梯度的解释方法之间的关系。 Pascal VOC 2012的实验，包括人群源评级，阐述了虽然亨克斯姆的解释忠实地反映了该模型，但Grad-Cam往往会扩大注意力创造更大和更平滑的可视化。总体而言，这项工作进展了卷积神经网络的解释方法，可以帮助开发敏感应用的可靠性模型。

近年来，可解释的人工智能（XAI）已成为一个非常适合的框架，可以生成人类对“黑盒”模型的可理解解释。在本文中，一种新颖的XAI视觉解释算法称为相似性差异和唯一性（SIDU）方法，该方法可以有效地定位负责预测的整个对象区域。通过各种计算和人类主题实验分析了SIDU算法的鲁棒性和有效性。特别是，使用三种不同类型的评估（应用，人类和功能地面）评估SIDU算法以证明其出色的性能。在对“黑匣子”模型的对抗性攻击的情况下，进一步研究了Sidu的鲁棒性，以更好地了解其性能。我们的代码可在：https：//github.com/satyamahesh84/sidu_xai_code上找到。

We propose a technique for producing 'visual explanations' for decisions from a large class of Convolutional Neural Network (CNN)-based models, making them more transparent and explainable.Our approach -Gradient-weighted Class Activation Mapping (Grad-CAM), uses the gradients of any target concept (say 'dog' in a classification network or a sequence of words in captioning network) flowing into the final convolutional layer to produce a coarse localization map highlighting the important regions in the image for predicting the concept.Unlike previous approaches, Grad-CAM is applicable to a wide variety of CNN model-families: (1) CNNs with fullyconnected layers (e.g. VGG), (2) CNNs used for structured outputs (e.g. captioning), (3) CNNs used in tasks with multimodal inputs (e.g. visual question answering) or reinforcement learning, all without architectural changes or re-training. We combine Grad-CAM with existing fine-grained visualizations to create a high-resolution class-discriminative vi-

深神经网络（DNN）的黑盒性质严重阻碍了其在特定场景中的性能改善和应用。近年来，基于类激活映射的方法已被广泛用于解释计算机视觉任务中模型的内部决策。但是，当此方法使用反向传播获得梯度时，它将在显着图中引起噪声，甚至找到与决策无关的特征。在本文中，我们提出了一个基于绝对价值类激活映射（ABS-CAM）方法，该方法优化了从反向传播中得出的梯度，并将所有这些梯度变成正梯度，以增强输出神经元激活的视觉特征，并改善。显着图的本地化能力。 ABS-CAM的框架分为两个阶段：生成初始显着性图并生成最终显着图。第一阶段通过优化梯度来提高显着性图的定位能力，第二阶段将初始显着性图与原始图像线性结合在一起，以增强显着性图的语义信息。我们对拟议方法进行定性和定量评估，包括删除，插入和指向游戏。实验结果表明，ABS-CAM显然可以消除显着性图中的噪声，并且可以更好地定位与决策相关的功能，并且优于以前的识别和定位任务中的方法。

Deep neural networks are being used increasingly to automate data analysis and decision making, yet their decision-making process is largely unclear and is difficult to explain to the end users. In this paper, we address the problem of Explainable AI for deep neural networks that take images as input and output a class probability. We propose an approach called RISE that generates an importance map indicating how salient each pixel is for the model's prediction. In contrast to white-box approaches that estimate pixel importance using gradients or other internal network state, RISE works on blackbox models. It estimates importance empirically by probing the model with randomly masked versions of the input image and obtaining the corresponding outputs. We compare our approach to state-of-the-art importance extraction methods using both an automatic deletion/insertion metric and a pointing metric based on human-annotated object segments. Extensive experiments on several benchmark datasets show that our approach matches or exceeds the performance of other methods, including white-box approaches.

解释深度卷积神经网络最近引起了人们的关注，因为它有助于了解网络的内部操作以及为什么它们做出某些决定。显着地图强调了与网络决策的主要连接的显着区域，是可视化和分析计算机视觉社区深层网络的最常见方法之一。但是，由于未经证实的激活图权重的建议，这些图像没有稳固的理论基础，并且未能考虑每个像素之间的关系，因此现有方法生成的显着图不能表示图像中的真实信息。在本文中，我们开发了一种基于类激活映射的新型事后视觉解释方法，称为Shap-Cam。与以前的基于梯度的方法不同，Shap-Cam通过通过Shapley值获得每个像素的重要性来摆脱对梯度的依赖。我们证明，Shap-Cam可以在解释决策过程中获得更好的视觉性能和公平性。我们的方法在识别和本地化任务方面的表现优于以前的方法。

无法解释的黑框模型创建场景，使异常引起有害响应，从而造成不可接受的风险。这些风险促使可解释的人工智能（XAI）领域通过评估黑盒神经网络中的局部解释性来改善信任。不幸的是，基本真理对于模型的决定不可用，因此评估仅限于定性评估。此外，可解释性可能导致有关模型或错误信任感的不准确结论。我们建议通过探索Black-Box模型的潜在特征空间来从用户信任的有利位置提高XAI。我们提出了一种使用典型的几弹网络的Protoshotxai方法，该方法探索了不同类别的非线性特征之间的对比歧管。用户通过扰动查询示例的输入功能并记录任何类的示例子集的响应来探索多种多样。我们的方法是第一个可以将其扩展到很少的网络的本地解释的XAI模型。我们将ProtoShotxai与MNIST，Omniglot和Imagenet的最新XAI方法进行了比较，以进行定量和定性，Protoshotxai为模型探索提供了更大的灵活性。最后，Protoshotxai还展示了对抗样品的新颖解释和检测。

卷积神经网络（CNN）以其出色的功能提取能力而闻名，可以从数据中学习模型，但被用作黑匣子。对卷积滤液和相关特征的解释可以帮助建立对CNN的理解，以区分各种类别。在这项工作中，我们关注的是CNN模型的解释性，称为CNNexplain，该模型用于COVID-19和非CoVID-19分类，重点是卷积过滤器的特征解释性，以及这些功能如何有助于分类。具体而言，我们使用了各种可解释的人工智能（XAI）方法，例如可视化，SmoothGrad，Grad-Cam和Lime来提供卷积滤液的解释及相关特征及其在分类中的作用。我们已经分析了使用干咳嗽光谱图的这些方法的解释。从石灰，光滑果实和GRAD-CAM获得的解释结果突出了不同频谱图的重要特征及其与分类的相关性。

细粒度视觉识别的挑战通常在于发现关键的歧视区域。虽然可以从大规模标记的数据集中自动识别此类区域，但是当仅提供少量注释时，类似的方法可能会降低效率。在低数据制度中，网络通常很难选择正确的区域以识别识别，并且倾向于从培训数据中过度拟合虚假的相关模式。为了解决这个问题，本文提出了一种自我提升的注意机制，这是一种新颖的方法，可以使网络正规化关注跨样本和类共享的关键区域。具体而言，提出的方法首先为每个训练图像生成一个注意图，突出显示用于识别地面真实对象类别的判别零件。然后将生成的注意图用作伪通量。该网络被执行以适合它们作为辅助任务。我们将这种方法称为自我增强注意机制（SAM）。我们还通过使用SAM创建多个注意地图来开发一个变体，以泳池卷积图的样式，以双线性合并，称为SAM双线性。通过广泛的实验研究，我们表明两种方法都可以显着提高低数据状态上的细粒度视觉识别性能，并可以纳入现有的网络体系结构中。源代码可公开可用：https：//github.com/ganperf/sam

In this work we develop a fast saliency detection method that can be applied to any differentiable image classifier. We train a masking model to manipulate the scores of the classifier by masking salient parts of the input image. Our model generalises well to unseen images and requires a single forward pass to perform saliency detection, therefore suitable for use in real-time systems. We test our approach on CIFAR-10 and ImageNet datasets and show that the produced saliency maps are easily interpretable, sharp, and free of artifacts. We suggest a new metric for saliency and test our method on the ImageNet object localisation task. We achieve results outperforming other weakly supervised methods.

在几个机器学习应用领域，包括可解释的AI和弱监督的对象检测和细分，高质量的显着性图至关重要。已经开发了许多技术来使用神经网络提高显着性。但是，它们通常仅限于特定的显着性可视化方法或显着性问题。我们提出了一种新型的显着性增强方法，称为SESS（通过缩放和滑动增强显着性）。这是对现有显着性图生成方法的方法和模型不可或缺的扩展。借助SESS，现有的显着性方法变得稳健，可在尺度差异，目标对象的多次出现，分散器的存在以及产生较少的嘈杂和更具歧视性显着性图。 SESS通过从不同区域的不同尺度上从多个斑块中提取的显着图来提高显着性，并使用新型的融合方案结合了这些单独的地图，该方案结合了通道的重量和空间加权平均值。为了提高效率，我们引入了一个预过滤步骤，该步骤可以排除非信息显着图以提高效率，同时仍提高整体结果。我们在对象识别和检测基准上评估SESS可以取得重大改进。该守则公开发布以使研究人员能够验证绩效和进一步发展。代码可用：https：//github.com/neouyghur/sess

自我监督的视觉学习彻底改变了深度学习，成为域中的下一个重大挑战，并通过大型计算机视觉基准的监督方法迅速缩小了差距。随着当前的模型和培训数据成倍增长，解释和理解这些模型变得关键。我们研究了视力任务的自我监督学习领域中可解释的人工智能的问题，并提出了了解经过自学训练的网络及其内部工作的方法。鉴于自我监督的视觉借口任务的巨大多样性，我们缩小了对理解范式的关注，这些范式从同一图像的两种观点中学习，主要是旨在了解借口任务。我们的工作重点是解释相似性学习，并且很容易扩展到所有其他借口任务。我们研究了两个流行的自我监督视觉模型：Simclr和Barlow Twins。我们总共开发了六种可视化和理解这些模型的方法：基于扰动的方法（条件闭塞，上下文无形的条件闭塞和成对的闭塞），相互作用-CAM，特征可视化，模型差异可视化，平均变换和像素无形。最后，我们通过将涉及单个图像的监督图像分类系统量身定制的众所周知的评估指标来评估这些解释，并将其涉及两个图像的自我监督学习领域。代码为：https：//github.com/fawazsammani/xai-ssl

最近，卷积神经网络（CNN）在分类任务中取得了良好的性能。众所周知，CNN被认为是“黑匣子”，这很难理解预测机制并调试错误的预测。开发了一些模型调试和解释工作，用于解决上述缺点。然而，这些方法专注于解释和诊断模型预测的可能原因，基于研究人员手动处理以下模型优化的模型预测。在本文中，我们提出了第一个完全自动模型诊断和治疗工具，称为模型医生。基于两个发现，每个类别只与稀疏和特定的卷积核相关，而2）在特征空间中逐次地隔离2）对逆势样本，设计了一个简单的聚合梯度约束，以便有效地诊断和优化CNN分类器。聚合渐变策略是用于主流CNN分类器的多功能模块。广泛的实验表明，拟议的模型医生适用于所有现有的CNN分类器，并提高16美元主流CNN分类器的准确性1％-5％。

Black-Box AI模型的广泛使用增加了对解释这些模型做出决定的算法和方法的需求。近年来，AI研究界对模型的解释性越来越感兴趣，因为Black-Box模型接管了越来越复杂和具有挑战性的任务。考虑到深度学习技术在广泛应用中的主导地位，包括但不限于计算机视觉，解释性变得至关重要。在理解深度学习模型的推理过程的指导下，已经开发了许多为人工智能模型决策提供人类可理解证据的方法，因为绝大多数人都依靠他们的操作来访问这些模型的内部体系结构和参数（例如，神经网络的权重）。我们提出了一种模型 - 不足的方法，用于生成仅访问模型输出的显着性图，并且不需要其他信息，例如梯度。我们使用差分进化（DE）来确定哪些图像像素在模型的决策过程中最有影响力，并产生类激活图（CAM），其质量与使用模型特异性算法创建的CAM质量相当。 DE-CAM可以实现良好的性能，而无需以更高的计算复杂性来访问模型体系结构的内部细节。

我们描述了一种新颖的归因方法，它基于敏感性分析并使用Sobol指数。除了模拟图像区域的个人贡献之外，索尔索尔指标提供了一种有效的方法来通过方差镜头捕获图像区域与其对神经网络的预测的贡献之间的高阶相互作用。我们描述了一种通过使用扰动掩模与有效估计器耦合的扰动掩模来计算用于高维问题的这些指标的方法，以处理图像的高维度。重要的是，我们表明，与其他黑盒方法相比，该方法对视觉（和语言模型）的标准基准测试的标准基准有利地导致了有利的分数 - 甚至超过最先进的白色的准确性 - 需要访问内部表示的箱方法。我们的代码是免费的：https://github.com/fel-thomas/sobol-attribution-method