We propose an empirical measure of the approximate accuracy of feature importance estimates in deep neural networks. Our results across several large-scale image classification datasets show that many popular interpretability methods produce estimates of feature importance that are not better than a random designation of feature importance. Only certain ensemble based approaches-VarGrad and SmoothGrad-Squared-outperform such a random assignment of importance. The manner of ensembling remains critical, we show that some approaches do no better then the underlying method but carry a far higher computational burden.

近年来提出了各种本地特征归因方法，后续工作提出了几种评估策略。为了评估不同归因技术的归因质量，在图像域中这些评估策略中最流行的是使用像素扰动。但是，最近的进步发现，不同的评估策略会产生归因方法的冲突排名，并且计算的昂贵。在这项工作中，我们介绍了基于像素扰动的评估策略的信息理论分析。我们的发现表明，与其实际值相比，通过删除像素的形状而不是信息泄漏的结果。使用我们的理论见解，我们提出了一个新的评估框架，称为“删除和Debias”（ROAD），该框架提供了两种贡献：首先，它减轻了混杂因素的影响，这需要在评估策略之间更高的一致性。其次，与最先进的时间相比，道路不需要计算昂贵的重新训练步骤，并节省了高达99％的计算成本。我们在https://github.com/tleemann/road_evaluation上发布源代码。

Saliency methods compute heat maps that highlight portions of an input that were most {\em important} for the label assigned to it by a deep net. Evaluations of saliency methods convert this heat map into a new {\em masked input} by retaining the $k$ highest-ranked pixels of the original input and replacing the rest with \textquotedblleft uninformative\textquotedblright\ pixels, and checking if the net's output is mostly unchanged. This is usually seen as an {\em explanation} of the output, but the current paper highlights reasons why this inference of causality may be suspect. Inspired by logic concepts of {\em completeness \& soundness}, it observes that the above type of evaluation focuses on completeness of the explanation, but ignores soundness. New evaluation metrics are introduced to capture both notions, while staying in an {\em intrinsic} framework -- i.e., using the dataset and the net, but no separately trained nets, human evaluations, etc. A simple saliency method is described that matches or outperforms prior methods in the evaluations. Experiments also suggest new intrinsic justifications, based on soundness, for popular heuristic tricks such as TV regularization and upsampling.

显着的方法已被广泛用于突出模型预测中的重要输入功能。大多数现有方法在修改的渐变函数上使用BackPropagation来生成显着性图。因此，嘈杂的渐变可能会导致不忠的特征属性。在本文中，我们解决了这个问题，并为神经网络引入了一个{\ IT显着指导训练}程序，以减少预测中使用的嘈杂渐变，同时保留了模型的预测性能。我们的显着指导训练程序迭代地掩盖小型和潜在的嘈杂渐变的功能，同时最大化模型输出的相似性，对于屏蔽和揭示的输入。我们将显着的指导培训程序从计算机视觉，自然语言处理和时间序列中的各种合成和实际数据集应用于各种神经结构，包括经常性神经网络，卷积网络和变压器。通过定性和定量评估，我们表明，在保留其预测性能的同时，显着的导向培训程序显着提高了各个领域的模型解释性。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

随着深度神经网络的兴起，解释这些网络预测的挑战已经越来越识别。虽然存在许多用于解释深度神经网络的决策的方法，但目前没有关于如何评估它们的共识。另一方面，鲁棒性是深度学习研究的热门话题;但是，在最近，几乎没有谈论解释性。在本教程中，我们首先呈现基于梯度的可解释性方法。这些技术使用梯度信号来分配对输入特征的决定的负担。后来，我们讨论如何为其鲁棒性和对抗性的鲁棒性在具有有意义的解释中扮演的作用来评估基于梯度的方法。我们还讨论了基于梯度的方法的局限性。最后，我们提出了在选择解释性方法之前应检查的最佳实践和属性。我们结束了未来在稳健性和解释性融合的地区研究的研究。

我们描述了一种新颖的归因方法，它基于敏感性分析并使用Sobol指数。除了模拟图像区域的个人贡献之外，索尔索尔指标提供了一种有效的方法来通过方差镜头捕获图像区域与其对神经网络的预测的贡献之间的高阶相互作用。我们描述了一种通过使用扰动掩模与有效估计器耦合的扰动掩模来计算用于高维问题的这些指标的方法，以处理图像的高维度。重要的是，我们表明，与其他黑盒方法相比，该方法对视觉（和语言模型）的标准基准测试的标准基准有利地导致了有利的分数 - 甚至超过最先进的白色的准确性 - 需要访问内部表示的箱方法。我们的代码是免费的：https://github.com/fel-thomas/sobol-attribution-method

Explainable AI transforms opaque decision strategies of ML models into explanations that are interpretable by the user, for example, identifying the contribution of each input feature to the prediction at hand. Such explanations, however, entangle the potentially multiple factors that enter into the overall complex decision strategy. We propose to disentangle explanations by finding relevant subspaces in activation space that can be mapped to more abstract human-understandable concepts and enable a joint attribution on concepts and input features. To automatically extract the desired representation, we propose new subspace analysis formulations that extend the principle of PCA and subspace analysis to explanations. These novel analyses, which we call principal relevant component analysis (PRCA) and disentangled relevant subspace analysis (DRSA), optimize relevance of projected activations rather than the more traditional variance or kurtosis. This enables a much stronger focus on subspaces that are truly relevant for the prediction and the explanation, in particular, ignoring activations or concepts to which the prediction model is invariant. Our approach is general enough to work alongside common attribution techniques such as Shapley Value, Integrated Gradients, or LRP. Our proposed methods show to be practically useful and compare favorably to the state of the art as demonstrated on benchmarks and three use cases.

归因方法已成为基于输入功能的相关性来解释模型预测的流行方法。尽管功能重要性排名可以提供有关模型如何从原始输入中得出预测的见解，但它们并未对模型用于预测的关键特征使用明确定义。在本文中，我们提出了一种称为WHEACHA的新方法，用于解释代码模型的预测。尽管Wheacha采用追踪模型预测回到输入特征的相同机制，但它与所有现有归因方法的不同之处在于至关重要的方式。具体而言，WHEACHA将输入程序分为“小麦”（即，定义功能是模型预测其预测标签的原因）和其余的“ CHAFF”，以预测学习代码模型的任何预测。我们在工具中意识到WHEACHA，并使用它来解释四个突出的代码模型：Code2Vec，Seq-GNN，GGNN和Codebert。结果表明（1）Huoyan是有效的 - 平均以二十秒的速度服用以端到端方式计算输入程序的小麦（即包括模型预测时间）； （2）所有模型用于预测输入程序的小麦均由简单的句法甚至词汇属性（即标识符名称）制成； （3）基于小麦，我们提出了一种新颖的方法，可以通过培训数据的镜头来解释代码模型的预测。

基于Shapley值的功能归因在解释机器学习模型中很受欢迎。但是，从理论和计算的角度来看，它们的估计是复杂的。我们将这种复杂性分解为两个因素：（1）〜删除特征信息的方法，以及（2）〜可拖动估计策略。这两个因素提供了一种天然镜头，我们可以更好地理解和比较24种不同的算法。基于各种特征删除方法，我们描述了多种类型的Shapley值特征属性和计算每个类型的方法。然后，基于可进行的估计策略，我们表征了两个不同的方法家族：模型 - 不合时宜的和模型特定的近似值。对于模型 - 不合稳定的近似值，我们基准了广泛的估计方法，并将其与Shapley值的替代性但等效的特征联系起来。对于特定于模型的近似值，我们阐明了对每种方法的线性，树和深模型的障碍至关重要的假设。最后，我们确定了文献中的差距以及有希望的未来研究方向。

了解深度神经网络的结果是朝着更广泛接受深度学习算法的重要步骤。许多方法解决了解释人工神经网络的问题，但通常提供不同的解释。此外，不同的解释方法的超级公路可能导致互相冲突。在本文中，我们提出了一种使用受限制的Boltzmann机器（RBMS）来聚合不同解释算法的特征归属的技术，以实现对深神经网络的更可靠和坚固的解释。关于现实世界数据集的几个具有挑战性的实验表明，所提出的RBM方法优于流行的特征归因方法和基本集合技术。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

显着性方法是一种流行的特征归因说明方法，旨在通过识别输入图像中的“重要”像素来捕获模型的预测推理。但是，由于缺乏获得地面模型推理的访问，这些方法的开发和采用受到阻碍，从而阻止了准确的评估。在这项工作中，我们设计了一个合成的基准测试框架SMERF，该框架使我们能够在控制模型推理的复杂性的同时进行基于基础真相的评估。在实验上，SMERF揭示了现有的显着性方法的重大局限性，因此代表了开发新显着性方法的有用工具。

We build new test sets for the CIFAR-10 and ImageNet datasets. Both benchmarks have been the focus of intense research for almost a decade, raising the danger of overfitting to excessively re-used test sets. By closely following the original dataset creation processes, we test to what extent current classification models generalize to new data. We evaluate a broad range of models and find accuracy drops of 3% -15% on CIFAR-10 and 11% -14% on ImageNet. However, accuracy gains on the original test sets translate to larger gains on the new test sets. Our results suggest that the accuracy drops are not caused by adaptivity, but by the models' inability to generalize to slightly "harder" images than those found in the original test sets.

Saliency methods have emerged as a popular tool to highlight features in an input deemed relevant for the prediction of a learned model. Several saliency methods have been proposed, often guided by visual appeal on image data. In this work, we propose an actionable methodology to evaluate what kinds of explanations a given method can and cannot provide. We find that reliance, solely, on visual assessment can be misleading. Through extensive experiments we show that some existing saliency methods are independent both of the model and of the data generating process. Consequently, methods that fail the proposed tests are inadequate for tasks that are sensitive to either data or model, such as, finding outliers in the data, explaining the relationship between inputs and outputs that the model learned, and debugging the model. We interpret our findings through an analogy with edge detection in images, a technique that requires neither training data nor model. Theory in the case of a linear model and a single-layer convolutional neural network supports our experimental findings 2 . * Work done during the Google AI Residency Program. 2 All code to replicate our findings will be available here: https://goo.gl/hBmhDt 3 We refer here to the broad category of visualization and attribution methods aimed at interpreting trained models. These methods are often used for interpreting deep neural networks particularly on image data.

可解释的人工智能（XAI）方法缺乏地面真理。代替方法，方法开发人员依靠公理来确定其解释行为的理想特性。对于需要解释性的机器学习的高利益使用，因此依靠公理作为实现或使用不足是不足以实现理想的。结果，对验证XAI方法的性能进行了积极的研究。在依赖XAI的域中，对验证的需求特别放大。一项消融研究，经常用于评估其效用并在某种程度上评估其效用的程序。通过在重要性等级顺序上扰动输入变量，目标是评估模型性能的敏感性。扰动重要变量应与模型能力度量的降低相关，而不是扰动不太重要的特征。尽管意图很明确，但实际实施细节尚未针对表格数据进行严格研究。使用五个数据集，三种XAI方法，四个基线和三个扰动，我们的目的是表明1）不同的扰动和添加简单的护栏如何有助于避免可能有缺陷的结论，2）分类变量的处理是如何在两个帖子中都重要的考虑因素。 - HOC解释性和消融研究，以及3）如何识别XAI方法的有用基准，以及用于消融研究的可行扰动。

在我们与正在使用当今汽车系统的领域专家合作的经验中，我们遇到的一个常见问题是我们所说的“不切实际的期望” - 当用户通过嘈杂的数据获取过程面临非常具有挑战性的任务时，同时被期望实现机器学习（ML）的精度非常高。其中许多是从一开始就失败的。在传统的软件工程中，通过可行性研究解决了此问题，这是开发任何软件系统之前必不可少的一步。在本文中，我们介绍了Snoopy，目的是支持数据科学家和机器学习工程师在构建ML应用之前进行系统和理论上建立的可行性研究。我们通过估计基本任务的不可还原错误（也称为贝叶斯错误率（BER））来解决此问题，这源于用于训练或评估ML模型工件的数据集中的数据质量问题。我们设计了一个实用的贝叶斯误差估计器，该估计值与计算机视觉和自然语言处理中的6个数据集（具有不同级别的其他实际和合成噪声）上的基线可行性研究候选者进行了比较。此外，通过将我们的系统可行性研究和其他信号包括在迭代标签清洁过程中，我们在端到端实验中证明了用户如何能够节省大量的标签时间和货币努力。

已经提出了多种解释性方法和理论评价分数。然而，尚不清楚：（1）这些方法有多有用的现实情景和（2）理论措施如何预测人类实际使用方法的有用性。为了填补这一差距，我们在规模中进行了人类的心理物理学实验，以评估人类参与者（n = 1,150）以利用代表性归因方法学习预测不同图像分类器的决定的能力。我们的结果表明，用于得分的理论措施可解释方法的反映在现实世界方案中的个人归因方法的实际实用性不佳。此外，个人归因方法帮助人类参与者预测分类器的决策的程度在分类任务和数据集中广泛变化。总体而言，我们的结果突出了该领域的根本挑战 - 建议致力于开发更好的解释方法和部署人以人为本的评估方法。我们将制定框架的代码可用于缓解新颖解释性方法的系统评估。

深度神经网络的可解释性方法主要集中于类得分相对于原始或扰动输入的敏感性，通常使用实际或修改的梯度测量。某些方法还使用模型不足的方法来理解每个预测背后的基本原理。在本文中，我们争论并证明了模型参数空间相对于输入的局部几何形状也可以有益于改善事后解释。为了实现这一目标，我们引入了一种称为“几何引导的集成梯度”的可解释性方法，该方法沿线性路径的梯度计算以传统上用于集成梯度方法中的方式构建。但是，我们的方法没有集成梯度信息，而是从输入的多个缩放版本中探索了模型的动态行为，并捕获了每个输入的最佳归因。我们通过广泛的实验证明，所提出的方法在主观和定量评估中的表现优于香草和综合梯度。我们还提出了“模型扰动”理智检查，以补充传统使用的“模型随机化”测试。

除了机器学习（ML）模型的令人印象深刻的预测力外，最近还出现了解释方法，使得能够解释诸如深神经网络的复杂非线性学习模型。获得更好的理解尤其重要。对于安全 - 关键的ML应用或医学诊断等。虽然这种可解释的AI（XAI）技术对分类器达到了重大普及，但到目前为止对XAI的重点进行了很少的关注（Xair）。在这篇综述中，我们澄清了XAI对回归和分类任务的基本概念差异，为Xair建立了新的理论见解和分析，为Xair提供了真正的实际回归问题的示范，最后讨论了该领域仍然存在的挑战。