变压器已成为机器学习的重要主力，并具有许多应用。这需要开发可靠的方法来提高其透明度。已经提出了多种基于梯度信息的多种可解释性方法。我们表明，变压器中的梯度仅在本地反映该函数，因此无法可靠地确定输入特征对预测的贡献。我们将注意力头和分层确定为这种不可靠的解释的主要原因，并提出了通过这些层传播的一种更稳定的方式。我们的建议在理论上和经验上都显示出良好的LRP方法的适当扩展，以克服简单基于梯度的方法的缺乏，并实现先进的解释绩效在广泛的变压器模型和数据集上。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

除了机器学习（ML）模型的令人印象深刻的预测力外，最近还出现了解释方法，使得能够解释诸如深神经网络的复杂非线性学习模型。获得更好的理解尤其重要。对于安全 - 关键的ML应用或医学诊断等。虽然这种可解释的AI（XAI）技术对分类器达到了重大普及，但到目前为止对XAI的重点进行了很少的关注（Xair）。在这篇综述中，我们澄清了XAI对回归和分类任务的基本概念差异，为Xair建立了新的理论见解和分析，为Xair提供了真正的实际回归问题的示范，最后讨论了该领域仍然存在的挑战。

Explainable AI transforms opaque decision strategies of ML models into explanations that are interpretable by the user, for example, identifying the contribution of each input feature to the prediction at hand. Such explanations, however, entangle the potentially multiple factors that enter into the overall complex decision strategy. We propose to disentangle explanations by finding relevant subspaces in activation space that can be mapped to more abstract human-understandable concepts and enable a joint attribution on concepts and input features. To automatically extract the desired representation, we propose new subspace analysis formulations that extend the principle of PCA and subspace analysis to explanations. These novel analyses, which we call principal relevant component analysis (PRCA) and disentangled relevant subspace analysis (DRSA), optimize relevance of projected activations rather than the more traditional variance or kurtosis. This enables a much stronger focus on subspaces that are truly relevant for the prediction and the explanation, in particular, ignoring activations or concepts to which the prediction model is invariant. Our approach is general enough to work alongside common attribution techniques such as Shapley Value, Integrated Gradients, or LRP. Our proposed methods show to be practically useful and compare favorably to the state of the art as demonstrated on benchmarks and three use cases.

变形金刚在NLP中广泛使用，它们始终如一地实现最先进的性能。这是由于他们基于注意力的架构，这使他们能够对单词之间的丰富语言关系进行建模。但是，变压器很难解释。能够为其决策提供推理是人类生命受影响的领域（例如仇恨言论检测和生物医学）的模型的重要特性。随着变压器在这些领域中发现广泛使用，因此需要为其量身定制的可解释性技术。在这项工作中研究了基于注意力的可解释性技术对文本分类中的有效性。尽管担心文献中的基于注意力的解释，但我们表明，通过适当的设置，可以将注意力用于此类任务，结果与最先进的技术相当，同时也更快，更友好。我们通过采用新功能重要性指标的一系列实验来验证我们的主张。

注意机制主导着深层模型的解释性。它们在输入上产生概率分布，该输入被广泛认为是特征对重要指标。但是，在本文中，我们发现注意力解释中的一个关键局限性：识别特征影响的极性的弱点。这将是一种误导性 - 注意力较高的特征可能不会忠实地促进模型预测；相反，它们可以施加抑制作用。有了这一发现，我们反思了当前基于注意力的技术的解释性，例如Attentio $ \ odot $梯度和基于LRP的注意解释。我们首先提出了一种可操作的诊断方法（此后忠实违规测试），以衡量解释权重与影响极性之间的一致性。通过广泛的实验，我们表明大多数经过测试的解释方法出乎意料地受到违反忠诚问题的阻碍，尤其是原始关注。对影响违规问题的因素的经验分析进一步为采用注意模型中采用解释方法提供了有用的观察。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

去年的特征是不透明的自动决策支持系统（例如深神经网络（DNNS））激增。尽管它们具有出色的概括和预测技能，但其功能不允许对其行为获得详细的解释。由于不透明的机器学习模型越来越多地用于在关键环境中做出重要的预测，因此危险是创建和使用不合理或合法的决策。因此，关于赋予机器学习模型具有解释性的重要性有一个普遍的共识。可解释的人工智能（XAI）技术可以用来验证和认证模型输出，并以可信赖，问责制，透明度和公平等理想的概念来增强它们。本指南旨在成为任何具有计算机科学背景的受众的首选手册，旨在获得对机器学习模型的直观见解，并伴随着笔直，快速和直观的解释。本文旨在通过在其特定的日常型号，数据集和用例中应用XAI技术来填补缺乏引人注目的XAI指南。图1充当读者的流程图/地图，应帮助他根据自己的数据类型找到理想的使用方法。在每章中，读者将找到所提出的方法的描述，以及在生物医学应用程序和Python笔记本上使用的示例。它可以轻松修改以应用于特定应用程序。

Nonlinear methods such as Deep Neural Networks (DNNs) are the gold standard for various challenging machine learning problems, e.g., image classification, natural language processing or human action recognition. Although these methods perform impressively well, they have a significant disadvantage, the lack of transparency, limiting the interpretability of the solution and thus the scope of application in practice. Especially DNNs act as black boxes due to their multilayer nonlinear structure. In this paper we introduce a novel methodology for interpreting generic multilayer neural networks by decomposing the network classification decision into contributions of its input elements. Although our focus is on image classification, the method is applicable to a broad set of input data, learning tasks and network architectures. Our method is based on deep Taylor decomposition and efficiently utilizes the structure of the network by backpropagating the explanations from the output to the input layer. We evaluate the proposed method empirically on the MNIST and ILSVRC data sets.

最近的机器学习趋势一直是通过解释自己的预测的能力来丰富学习模式。到目前为止，迄今为止，可解释的AI（XAI）的新兴领域主要集中在监督学习，特别是深度神经网络分类器。然而，在许多实际问题中，未给出标签信息，并且目标是发现数据的基础结构，例如，其群集。虽然存在强大的方法来提取数据中的群集结构，但它们通常不会回答为什么已分配给给定群集的某些数据点的原因。我们提出了一种新的框架，它首次以有效可靠的方式在输入特征方面解释群集分配。它基于小说洞察力，即聚类模型可以被重写为神经网络 - 或“神经化”。然后，所获得的网络的集群预测可以快速准确地归因于输入特征。几个陈列室展示了我们的方法评估学习集群质量的能力，并从分析的数据和表示中提取新颖的见解。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

Deep Neural Networks (DNNs) have demonstrated impressive performance in complex machine learning tasks such as image classification or speech recognition. However, due to their multi-layer nonlinear structure, they are not transparent, i.e., it is hard to grasp what makes them arrive at a particular classification or recognition decision given a new unseen data sample. Recently, several approaches have been proposed enabling one to understand and interpret the reasoning embodied in a DNN for a single test image. These methods quantify the "importance" of individual pixels wrt the classification decision and allow a visualization in terms of a heatmap in pixel/input space. While the usefulness of heatmaps can be judged subjectively by a human, an objective quality measure is missing. In this paper we present a general methodology based on region perturbation for evaluating ordered collections of pixels such as heatmaps. We compare heatmaps computed by three different methods on the SUN397, ILSVRC2012 and MIT Places data sets. Our main result is that the recently proposed Layer-wise Relevance Propagation (LRP) algorithm qualitatively and quantitatively provides a better explanation of what made a DNN arrive at a particular classification decision than the sensitivity-based approach or the deconvolution method. We provide theoretical arguments to explain this result and discuss its practical implications. Finally, we investigate the use of heatmaps for unsupervised assessment of neural network performance.

将机器学习模型整合在医学中的关键问题是解释其推理的能力。流行的解释性方法表明了自然图像识别的令人满意的结果，但是在医学图像分析中，其中许多方法提供了部分和嘈杂的解释。最近，注意机制在预测性能和可解释的质量方面都表现出了令人信服的结果。关注的基本特征是，它利用输入的显着部分，这有助于模型的预测。为此，我们的工作着重于注意力分布的解释价值。我们提出了一种多层注意机制，该机制可以使用凸优化在卷积层之间实施一致的解释。我们应用二元性来分解层之间的一致性约束，通过重新聚集其注意力概率分布。我们进一步建议通过优化我们的目标来学习双重见证。因此，我们的实施使用标准的背部传播，因此非常有效。在保留预测性能的同时，我们提出的方法利用了弱注释的医学成像数据，并为模型的预测提供了完整而忠实的解释。

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

近年来，人们对开发自然语言处理（NLP）中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能，例如对于模型预测而言重要的单词或短语。然而，在NLP中开发的神经模型通常以层次结构的方式构成单词语义，文本分类需要层次建模来汇总本地信息，以便处理主题和标签更有效地转移。因此，单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器，称为提示，该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别，而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明，我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果，并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。

卷积神经网络（CNN）最近由于捕获非线性系统行为并提取预测性时空模式而引起了地球科学的极大关注。然而，鉴于其黑盒的性质以及预测性的重要性，可解释的人工智能方法（XAI）已成为解释CNN决策策略的一种手段。在这里，我们建立了一些最受欢迎的XAI方法的比较，并研究了它们在解释CNN的地球科学应用决策方面的保真度。我们的目标是提高对这些方法的理论局限性的认识，并深入了解相对优势和缺点，以帮助指导最佳实践。所考虑的XAI方法首先应用于理想化的归因基准，在该基准中，该网络解释的基础真实是先验，以帮助客观地评估其性能。其次，我们将XAI应用于与气候相关的预测设置，即解释CNN，该CNN经过训练，可以预测气候模拟每日快照中的大气河流数量。我们的结果突出了XAI方法的几个重要问题（例如，梯度破碎，无法区分归因的迹象，对零输入的无知），这些迹象以前在我们的领域被忽略了，如果不谨慎地考虑，可能会导致扭曲的图片CNN决策策略。我们设想，我们的分析将激发对XAI保真度的进一步调查，并将有助于在地球科学中谨慎地实施XAI，这可能导致进一步剥削CNN和深入学习预测问题。

我们描述了一种新颖的归因方法，它基于敏感性分析并使用Sobol指数。除了模拟图像区域的个人贡献之外，索尔索尔指标提供了一种有效的方法来通过方差镜头捕获图像区域与其对神经网络的预测的贡献之间的高阶相互作用。我们描述了一种通过使用扰动掩模与有效估计器耦合的扰动掩模来计算用于高维问题的这些指标的方法，以处理图像的高维度。重要的是，我们表明，与其他黑盒方法相比，该方法对视觉（和语言模型）的标准基准测试的标准基准有利地导致了有利的分数 - 甚至超过最先进的白色的准确性 - 需要访问内部表示的箱方法。我们的代码是免费的：https://github.com/fel-thomas/sobol-attribution-method

我们提出了一种可解释的关系提取方法，通过共同训练这两个目标来减轻概括和解释性之间的张力。我们的方法使用多任务学习体系结构，该体系结构共同训练分类器以进行关系提取，并在解释关系分类器的决策的关系中标记单词的序列模型。我们还将模型输出转换为规则，以将全局解释带入这种方法。使用混合策略对此序列模型进行训练：有监督，当可获得预先存在的模式的监督时，另外还要半监督。在后一种情况下，我们将序列模型的标签视为潜在变量，并学习最大化关系分类器性能的最佳分配。我们评估了两个数据集中的提议方法，并表明序列模型提供了标签，可作为关系分类器决策的准确解释，并且重要的是，联合培训通常可以改善关系分类器的性能。我们还评估了生成的规则的性能，并表明新规则是手动规则的重要附加功能，并使基于规则的系统更接近神经模型。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。