复杂的机器学习算法在涉及文本数据的关键任务中越来越多地使用，从而导致开发可解释性方法。在本地方法中，已经出现了两个家庭：那些计算每个功能的重要性得分以及那些提取简单逻辑规则的人。在本文中，我们表明，即使应用于我们期望定性巧合的简单模型，使用不同的方法也会导致出乎意料的不同解释。为了量化这种效果，我们提出了一种新方法来比较不同方法产生的解释。

Despite widespread adoption, machine learning models remain mostly black boxes. Understanding the reasons behind predictions is, however, quite important in assessing trust, which is fundamental if one plans to take action based on a prediction, or when choosing whether to deploy a new model. Such understanding also provides insights into the model, which can be used to transform an untrustworthy model or prediction into a trustworthy one.In this work, we propose LIME, a novel explanation technique that explains the predictions of any classifier in an interpretable and faithful manner, by learning an interpretable model locally around the prediction. We also propose a method to explain models by presenting representative individual predictions and their explanations in a non-redundant way, framing the task as a submodular optimization problem. We demonstrate the flexibility of these methods by explaining different models for text (e.g. random forests) and image classification (e.g. neural networks). We show the utility of explanations via novel experiments, both simulated and with human subjects, on various scenarios that require trust: deciding if one should trust a prediction, choosing between models, improving an untrustworthy classifier, and identifying why a classifier should not be trusted.

在本文中，我们对在表格数据的情况下进行了详尽的理论分析。我们证明，在较大的样本限制中，可以按照算法参数的函数以及与黑框模型相关的一些期望计算来计算表格石灰提供的可解释系数。当要解释的函数具有一些不错的代数结构（根据坐标的子集，线性，乘法或稀疏）时，我们的分析提供了对Lime提供的解释的有趣见解。这些可以应用于一系列机器学习模型，包括高斯内核或卡车随机森林。例如，对于线性函数，我们表明Lime具有理想的属性，可以提供与函数系数成正比的解释，以解释并忽略该函数未使用的坐标来解释。对于基于分区的回归器，另一方面，我们表明石灰会产生可能提供误导性解释的不希望的人工制品。

解释性是决策系统的压迫问题。已经提出了许多后的HOC方法来解释任何机器学习模型的预测。但是，业务流程和决策系统很少归属于单个独立的模型。这些系统组合了产生关键预测的多个模型，然后应用决策规则以生成最终决定。为了解释此类决定，我们呈现SMACE，半模型 - 不可知论式解释器，一种新的解释方法，该方法将决策规则与现有的机器学习模型进行决策规则，以生成对最终用户身份定制的直观特征排名。我们表明，建立的模型 - 无可止境方法在这一框架中产生了不良的结果。

最先进的实体匹配（EM）方法很难解释，并且为EM带来可解释的AI具有重要的价值。不幸的是，大多数流行的解释性方法无法开箱即用，需要适应。在本文中，我们确定了将本地事后特征归因方法应用于实体匹配的三个挑战：跨记录的交互作用，不匹配的解释和灵敏度变化。我们提出了新颖的模型 - 静态和模式 - 富含模型的方法柠檬柠檬，该方法通过（i）产生双重解释来避免交叉记录的互动效果来应对所有三个挑战，（ii）介绍了归因潜力的新颖概念，以解释两个记录如何能够拥有如何具有匹配，（iii）自动选择解释粒度以匹配匹配器和记录对的灵敏度。公共数据集上的实验表明，所提出的方法更忠实于匹配器，并且在帮助用户了解匹配器的决策边界的工作中比以前的工作更具忠诚度。此外，用户研究表明，与标准的解释相比石灰的适应。

Automated Machine Learning-based systems' integration into a wide range of tasks has expanded as a result of their performance and speed. Although there are numerous advantages to employing ML-based systems, if they are not interpretable, they should not be used in critical, high-risk applications where human lives are at risk. To address this issue, researchers and businesses have been focusing on finding ways to improve the interpretability of complex ML systems, and several such methods have been developed. Indeed, there are so many developed techniques that it is difficult for practitioners to choose the best among them for their applications, even when using evaluation metrics. As a result, the demand for a selection tool, a meta-explanation technique based on a high-quality evaluation metric, is apparent. In this paper, we present a local meta-explanation technique which builds on top of the truthfulness metric, which is a faithfulness-based metric. We demonstrate the effectiveness of both the technique and the metric by concretely defining all the concepts and through experimentation.

局部性的好处是石灰的主要前提之一，这是解释黑盒机器学习模型的最突出方法之一。这种强调依赖于一个假设，即我们在本地观察实例附近的越多，黑框模型变得越简单，并且我们可以用线性替代物模拟它越准确。尽管如此，我们的发现似乎是合乎逻辑的，表明，借助石灰的当前设计，当解释过于本地时，即当带宽参数$ \ sigma $趋于零时，替代模型可能会退化。基于此观察，本文的贡献是双重的。首先，我们研究带宽和培训附近对石灰解释的忠诚度和语义的影响。其次，基于我们的发现，我们提出了\史莱姆，这是一种调和忠诚度和位置的石灰的扩展。

由于它们在建模复杂的问题和处理高维数据集的有效性，因此已显示深神网络（DNN）在广泛的应用领域中的传统机器学习算法优于传统的机器学习算法。但是，许多现实生活数据集具有越来越高的维度，其中大量功能可能与手头的任务无关。包含此类功能不仅会引入不必要的噪声，还会提高计算复杂性。此外，由于许多特征之间的非线性和依赖性高，DNN模型往往不可避免地是不透明的，并且被视为黑盒方法，因为它们的内部功能不佳。解释良好的模型可以识别具有统计学意义的特征，并解释其影响模型结果的方式。在本文中，我们提出了一种有效的方法，可以在高维数据集的情况下提高黑框模型的分类任务。为此，我们首先在高维数据集上训练黑框模型，以了解执行分类的嵌入。为了分解黑框模型的内部工作原理并确定TOP-K重要特征，我们采用了不同的探测和扰动技术。然后，我们通过在TOP-K特征空间上通过可解释的替代模型来近似黑框模型的行为。最后，我们从替代模型中得出决策规则和本地解释，以解释个人决策。当在不同数据集上测试，尺寸在50到20,000之间的不同数据集上进行测试时，我们的方法优于最先进的方法，例如TABNET，XGBOOST和基于Shap的可解释性技术。

Understanding why a model makes certain predictions is crucial when adapting it for real world decision making. LIME is a popular model-agnostic feature attribution method for the tasks of classification and regression. However, the task of learning to rank in information retrieval is more complex in comparison with either classification or regression. In this work, we extend LIME to propose Rank-LIME, a model-agnostic, local, post-hoc linear feature attribution method for the task of learning to rank that generates explanations for ranked lists. We employ novel correlation-based perturbations, differentiable ranking loss functions and introduce new metrics to evaluate ranking based additive feature attribution models. We compare Rank-LIME with a variety of competing systems, with models trained on the MS MARCO datasets and observe that Rank-LIME outperforms existing explanation algorithms in terms of Model Fidelity and Explain-NDCG. With this we propose one of the first algorithms to generate additive feature attributions for explaining ranked lists.

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

Interpretability provides a means for humans to verify aspects of machine learning (ML) models and empower human+ML teaming in situations where the task cannot be fully automated. Different contexts require explanations with different properties. For example, the kind of explanation required to determine if an early cardiac arrest warning system is ready to be integrated into a care setting is very different from the type of explanation required for a loan applicant to help determine the actions they might need to take to make their application successful. Unfortunately, there is a lack of standardization when it comes to properties of explanations: different papers may use the same term to mean different quantities, and different terms to mean the same quantity. This lack of a standardized terminology and categorization of the properties of ML explanations prevents us from both rigorously comparing interpretable machine learning methods and identifying what properties are needed in what contexts. In this work, we survey properties defined in interpretable machine learning papers, synthesize them based on what they actually measure, and describe the trade-offs between different formulations of these properties. In doing so, we enable more informed selection of task-appropriate formulations of explanation properties as well as standardization for future work in interpretable machine learning.

The majority of existing post-hoc explanation approaches for machine learning models produce independent per-variable feature attribution scores, ignoring a critical characteristic, such as the inter-variable relationship between features that naturally occurs in visual and textual data. In response, we develop a novel model-agnostic and permutation-based feature attribution algorithm based on the relational analysis between input variables. As a result, we are able to gain a broader insight into machine learning model decisions and data. This type of local explanation measures the effects of interrelationships between local features, which provides another critical aspect of explanations. Experimental evaluations of our framework using setups involving both image and text data modalities demonstrate its effectiveness and validity.

Explainability of a classification model is crucial when deployed in real-world decision support systems. Explanations make predictions actionable to the user and should inform about the capabilities and limitations of the system. Existing explanation methods, however, typically only provide explanations for individual predictions. Information about conditions under which the classifier is able to support the decision maker is not available, while for instance information about when the system is not able to differentiate classes can be very helpful. In the development phase it can support the search for new features or combining models, and in the operational phase it supports decision makers in deciding e.g. not to use the system. This paper presents a method to explain the qualities of a trained base classifier, called PERFormance EXplainer (PERFEX). Our method consists of a meta tree learning algorithm that is able to predict and explain under which conditions the base classifier has a high or low error or any other classification performance metric. We evaluate PERFEX using several classifiers and datasets, including a case study with urban mobility data. It turns out that PERFEX typically has high meta prediction performance even if the base classifier is hardly able to differentiate classes, while giving compact performance explanations.

可解释的机器学习提供了有关哪些因素推动了黑盒系统的一定预测以及是否信任高风险决策或大规模部署的洞察力。现有方法主要集中于选择解释性输入功能，这些功能遵循本地添加剂或实例方法。加性模型使用启发式采样扰动来依次学习实例特定解释器。因此，该过程效率低下，并且容易受到条件较差的样品的影响。同时，实例技术直接学习本地采样分布，并可以从其他输入中利用全球信息。但是，由于严格依赖预定义的功能，他们只能解释单一级预测并在不同设置上遇到不一致的情况。这项工作利用了这两种方法的优势，并提出了一个全球框架，用于同时学习多个目标类别的本地解释。我们还提出了一种自适应推理策略，以确定特定实例的最佳功能数量。我们的模型解释器极大地超过了忠诚的添加和实例的对应物，而在各种数据集和Black-box模型体系结构上获得了高水平的简洁性。

为了解释任何模型的决定，我们延长了概率充分解释（P-SE）的概念。对于每个实例，该方法选择足以产生具有高概率的相同预测的最小特征子集，同时删除其他特征。 P-SE的关键是计算保持相同预测的条件概率。因此，我们通过随机林为任何数据$（\ boldsymbol {x}，y）$，并通过理论分析来介绍这种概率的准确和快速估计器，并通过理论分析来展示其一致性的理论分析。结果，我们将P-SE扩展到回归问题。此外，我们处理非二进制特征，而无需学习$ x $的分发，也不会使模型进行预测。最后，我们基于P-SE介绍基于数分的回归/分类的解释，并比较我们的方法W.R.T其他可解释的AI方法。这些方法是公开可用作\ url {www.github.com/salimamoukou/acv00}的python包。

机器学习（ml）越来越多地用于通知高赌注决策。作为复杂的ML模型（例如，深神经网络）通常被认为是黑匣子，已经开发了丰富的程序，以阐明其内在的工作和他们预测来的方式，定义“可解释的AI”（ xai）。显着性方法根据“重要性”的某种尺寸等级等级。由于特征重要性的正式定义是缺乏的，因此难以验证这些方法。已经证明，一些显着性方法可以突出显示与预测目标（抑制变量）没有统计关联的特征。为了避免由于这种行为而误解，我们提出了这种关联的实际存在作为特征重要性的必要条件和客观初步定义。我们仔细制作了一个地面真实的数据集，其中所有统计依赖性都是明确的和线性的，作为研究抑制变量问题的基准。我们评估了关于我们的客观定义的常见解释方法，包括LRP，DTD，Patternet，图案化，石灰，锚，Shap和基于置换的方法。我们表明，大多数这些方法无法区分此设置中的抑制器的重要功能。

围绕深度学习算法的长期挑战是解开和了解它们如何做出决定。可解释的人工智能（XAI）提供了方法，以解释算法的内部功能及其决策背后的原因，这些方式以人类用户的解释和可理解的方式提供了解释。 。到目前为止，已经开发了许多XAI方法，并且对这些策略进行比较分析似乎是为了辨别它们与临床预测模型的相关性。为此，我们首先实施了两个使用结构化表格和时间序列生理数据的创伤性脑损伤（TBI）（TBI）的预测模型。使用六种不同的解释技术来描述本地和全球水平的预测模型。然后，我们对每种策略的优点和缺点进行了批判性分析，突出了对使用这些方法感兴趣的研究人员的影响。根据几种XAI特征，例如可理解性，忠诚度和稳定性，将实施的方法相互比较。我们的发现表明，Shap是最稳定的，其保真度最高，但缺乏可理解性。另一方面，锚是最可理解的方法，但仅适用于表格数据而不是时间序列数据。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

我们在电影推荐任务上评估了两种流行的本地解释性技术，即石灰和外形。我们发现，这两种方法的行为取决于数据集的稀疏性。在数据集的密集段中，石灰的表现要好，而在稀疏段中，shap的表现更好。我们将这种差异追溯到石灰和摇动​​基础估计量的不同偏差变化特征。我们发现，与石灰相比，SHAP在数据的稀疏段中表现出较低的方差。我们将这种较低的差异归因于Shap和Lime中缺少的完整性约束属性。该约束是正规化器，因此增加了Shap估计器的偏差，但会降低其差异，从而导致良好的偏见差异权衡，尤其是在高稀疏数据设置中。有了这个见解，我们将相同的约束引入石灰，并制定了一个新颖的局部解释框架，称为完整性约束的石灰（攀爬），比石灰优于石灰，速度比Shap更快。