Although many machine learning methods, especially from the field of deep learning, have been instrumental in addressing challenges within robotic applications, we cannot take full advantage of such methods before these can provide performance and safety guarantees. The lack of trust that impedes the use of these methods mainly stems from a lack of human understanding of what exactly machine learning models have learned, and how robust their behaviour is. This is the problem the field of explainable artificial intelligence aims to solve. Based on insights from the social sciences, we know that humans prefer contrastive explanations, i.e.\ explanations answering the hypothetical question "what if?". In this paper, we show that linear model trees are capable of producing answers to such questions, so-called counterfactual explanations, for robotic systems, including in the case of multiple, continuous inputs and outputs. We demonstrate the use of this method to produce counterfactual explanations for two robotic applications. Additionally, we explore the issue of infeasibility, which is of particular interest in systems governed by the laws of physics.

自2015年首次介绍以来，深入增强学习（DRL）方案的使用已大大增加。尽管在许多不同的应用中使用了使用，但他们仍然存在缺乏可解释性的问题。面包缺乏对研究人员和公众使用DRL解决方案的使用。为了解决这个问题，已经出现了可解释的人工智能（XAI）领域。这是各种不同的方法，它们希望打开DRL黑框，范围从使用可解释的符号决策树到诸如Shapley值之类的数值方法。这篇评论研究了使用哪些方法以及使用了哪些应用程序。这样做是为了确定哪些模型最适合每个应用程序，或者是否未充分利用方法。

由于算法决策对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。反事实解释可以帮助用户不仅可以理解为什么ML模型做出某些决定，还可以改变这些决定。我们框架以梯度为基础的优化任务查找反事实解释的问题，并扩展了只能应用于可微分模型的先前工作。为了适应非微弱的模型，例如树集合，我们在优化框架中使用概率模型近似。我们介绍了一种近似技术，可以有效地查找原始模型的预测的反事实解释，并表明我们的反事实示例明显更接近原始实例，而不是由专门为树集合设计的其他方法产生的实例。

反事实示例（CFS）是将事后解释附加到机器学习（ML）模型的最流行方法之一。但是，现有的CF生成方法要么利用特定模型的内部或取决于每个样本的邻域，因此很难对复杂模型进行推广，并且对于大型数据集而言效率低下。这项工作旨在克服这些局限性并引入放松身心，这是一种模型不足的算法，旨在生成最佳的反事实解释。具体而言，我们制定了将CFS作为顺序决策任务的问题，然后通过深入加固学习（DRL）使用离散连续的混合动作空间找到最佳CFS。在几个表格数据集上进行的广泛实验表明，放松胜过现有的CF生成基线，因为它会产生更稀疏的反事实，更可扩展到复杂的目标模型以解释，并且可以概括地分类和回归任务。最后，为了证明我们方法在现实世界中的用例中的有用性，我们利用了Rase产生的CFS来建议一个国家应采取的行动，以减少COVID-19引起的死亡风险。有趣的是，我们的方法推荐的行动与许多国家实际实施的策略相对应，以对抗COVID-19-19的大流行。

Counterfactual Explanations are becoming a de-facto standard in post-hoc interpretable machine learning. For a given classifier and an instance classified in an undesired class, its counterfactual explanation corresponds to small perturbations of that instance that allows changing the classification outcome. This work aims to leverage Counterfactual Explanations to detect the important decision boundaries of a pre-trained black-box model. This information is used to build a supervised discretization of the features in the dataset with a tunable granularity. Using the discretized dataset, a smaller, therefore more interpretable Decision Tree can be trained, which, in addition, enhances the stability and robustness of the baseline Decision Tree. Numerical results on real-world datasets show the effectiveness of the approach in terms of accuracy and sparsity compared to the baseline Decision Tree.

可说明的机器学习（ML）近年来由于许多部门的ML基系统的增加而增加了近年来。算法refurrses（ARS）提供“如果输入数据点为x'而不是x的形式的反馈，那么基于ML的系统的输出将是Y'而不是Y.”由于其可行的反馈，对现有的法律框架和忠诚于底层ML模型，ARS由于其可行的反馈而具有吸引力。然而，当前的AR方法是单次拍摄 - 也就是说，它们假设X可以在单个时间段内更改为X'。我们提出了一种新的基于随机控制的方法，它产生序贯ARS，即允许X随机X移动到最终状态X'的ARS。我们的方法是模型不可知论和黑匣子。此外，ARS的计算被摊销，使得一旦训练，它适用于多个DataPoints，而无需重新优化。除了这些主要特征之外，我们的方法还承认可选的Desiderata，例如遵守数据歧管，尊重因果关系和稀疏性 - 通过过去的研究确定的ARS的理想性质。我们使用三个现实世界数据集评估我们的方法，并表现出尊重其他追索者的顺序ARS的成功生成。

这项研究通过对三种不同类型的模型进行基准评估来调查机器学习模型对产生反事实解释的影响：决策树（完全透明，可解释的，白色盒子模型），随机森林（一种半解释，灰色盒模型）和神经网络（完全不透明的黑盒模型）。我们在五个不同数据集（Compas，成人，德国，德语，糖尿病和乳腺癌）中使用四种算法（DICE，WatchERCF，原型和GrowingSpheresCF）测试了反事实生成过程。我们的发现表明：（1）不同的机器学习模型对反事实解释的产生没有影响； （2）基于接近性损失函数的唯一算法是不可行的，不会提供有意义的解释； （3）在不保证反事实生成过程中的合理性的情况下，人们无法获得有意义的评估结果。如果对当前的最新指标进行评估，则不考虑其内部机制中不合理的算法将导致偏见和不可靠的结论； （4）强烈建议对定性分析（以及定量分析），以确保对反事实解释和偏见的潜在识别进行强有力的分析。

随着优化软件的显着改进，几十年前似乎棘手的大规模问题的解决方案现在已成为日常任务。这将更多的现实应用程序纳入了优化器的范围。同时，解决优化问题通常是将解决方案付诸实践时较小的困难之一。一个主要的障碍是，可以将优化软件视为黑匣子，它可能会产生高质量的解决方案，但是当情况发生变化时，可以创建完全不同的解决方案，从而导致对优化解决方案的接受率低。这种可解释性和解释性的问题在其他领域（例如机器学习）引起了极大的关注，但在优化方面却不那么关注。在本文中，我们提出了一个优化框架，以得出本质上具有易于理解的解释性规则的解决方案，在哪些情况下应选择解决方案。我们专注于代表解释性规则的决策树，我们提出了整数编程公式以及一种启发式方法，以确保我们的方法即使在大规模问题上也适用。使用随机和现实世界数据的计算实验表明，固有的可解释性成本可能很小。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

Post-hoc explanations of machine learning models are crucial for people to understand and act on algorithmic predictions. An intriguing class of explanations is through counterfactuals, hypothetical examples that show people how to obtain a different prediction. We posit that effective counterfactual explanations should satisfy two properties: feasibility of the counterfactual actions given user context and constraints, and diversity among the counterfactuals presented. To this end, we propose a framework for generating and evaluating a diverse set of counterfactual explanations based on determinantal point processes. To evaluate the actionability of counterfactuals, we provide metrics that enable comparison of counterfactual-based methods to other local explanation methods. We further address necessary tradeoffs and point to causal implications in optimizing for counterfactuals. Our experiments on four real-world datasets show that our framework can generate a set of counterfactuals that are diverse and well approximate local decision boundaries, outperforming prior approaches to generating diverse counterfactuals. We provide an implementation of the framework at https://github.com/microsoft/DiCE. CCS CONCEPTS• Applied computing → Law, social and behavioral sciences.

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

Reinforcement Learning (RL) is a popular machine learning paradigm where intelligent agents interact with the environment to fulfill a long-term goal. Driven by the resurgence of deep learning, Deep RL (DRL) has witnessed great success over a wide spectrum of complex control tasks. Despite the encouraging results achieved, the deep neural network-based backbone is widely deemed as a black box that impedes practitioners to trust and employ trained agents in realistic scenarios where high security and reliability are essential. To alleviate this issue, a large volume of literature devoted to shedding light on the inner workings of the intelligent agents has been proposed, by constructing intrinsic interpretability or post-hoc explainability. In this survey, we provide a comprehensive review of existing works on eXplainable RL (XRL) and introduce a new taxonomy where prior works are clearly categorized into model-explaining, reward-explaining, state-explaining, and task-explaining methods. We also review and highlight RL methods that conversely leverage human knowledge to promote learning efficiency and performance of agents while this kind of method is often ignored in XRL field. Some challenges and opportunities in XRL are discussed. This survey intends to provide a high-level summarization of XRL and to motivate future research on more effective XRL solutions. Corresponding open source codes are collected and categorized at https://github.com/Plankson/awesome-explainable-reinforcement-learning.

一方面，人工神经网络（ANNS）通常被标记为黑匣子，缺乏可解释性;阻碍了人类对ANNS行为的理解的问题。存在需要生成ANN的有意义的顺序逻辑，用于解释特定输出的生产过程。另一方面，决策树由于它们的代表语言和有效算法的存在而导致更好的可解释性和表现力，以将树木转化为规则。然而，基于可用数据生长决策树可能会产生大于不概括的必要树木或树木。在本文中，我们介绍了来自ANN的规则提取的两种新的多变量决策树（MDT）算法：精确可转换决策树（EC-DT）和扩展的C-NET算法。它们都将纠正的线性单元激活函数转换为代表树的神经网络，这可以进一步用于提取多元规则以进行推理。虽然EC-DT以层式方式转换ANN以表示由网络的隐藏层内隐式学习的决策边界，但扩展的C-Net将来自EC-DT的分解方法与C5树学习算法相结合形成决策规则。结果表明，虽然EC-DT在保持结构和ANN的保真度方面优越，但扩展的C-Net产生了来自ANN的最紧凑且高效的树木。两者都建议的MDT算法生成规则，包括多个属性的组合，以便决策的精确解释。

可解释的人工智能（XAI）是一系列技术，可以理解人工智能（AI）系统的技术和非技术方面。 Xai至关重要，帮助满足\ emph {可信赖}人工智能的日益重要的需求，其特点是人类自主，防止危害，透明，问责制等的基本特征，反事实解释旨在提供最终用户需要更改的一组特征（及其对应的值）以实现所需的结果。目前的方法很少考虑到实现建议解释所需的行动的可行性，特别是他们缺乏考虑这些行为的因果影响。在本文中，我们将反事实解释作为潜在空间（CEILS）的干预措施，一种方法来生成由数据从数据设计潜在的因果关系捕获的反事实解释，并且同时提供可行的建议，以便到达所提出的配置文件。此外，我们的方法具有以下优点，即它可以设置在现有的反事实发生器算法之上，从而最小化施加额外的因果约束的复杂性。我们展示了我们使用合成和实际数据集的一组不同实验的方法的有效性（包括金融领域的专有数据集）。

可解释的人工智能和可解释的机器学习是重要性越来越重要的研究领域。然而，潜在的概念仍然难以捉摸，并且缺乏普遍商定的定义。虽然社会科学最近的灵感已经重新分为人类受助人的需求和期望的工作，但该领域仍然错过了具体的概念化。通过审查人类解释性的哲学和社会基础，我们采取措施来解决这一挑战，然后我们转化为技术领域。特别是，我们仔细审查了算法黑匣子的概念，并通过解释过程确定的理解频谱并扩展了背景知识。这种方法允许我们将可解释性（逻辑）推理定义为在某些背景知识下解释的透明洞察（进入黑匣子）的解释 - 这是一个从事在Admoleis中理解的过程。然后，我们采用这种概念化来重新审视透明度和预测权力之间的争议权差异，以及对安特 - 人穴和后宫后解释者的影响，以及可解释性发挥的公平和问责制。我们还讨论机器学习工作流程的组件，可能需要可解释性，从以人为本的可解释性建立一系列思想，重点介绍声明，对比陈述和解释过程。我们的讨论调整并补充目前的研究，以帮助更好地导航开放问题 - 而不是试图解决任何个人问题 - 从而为实现的地面讨论和解释的人工智能和可解释的机器学习的未来进展奠定了坚实的基础。我们结束了我们的研究结果，重新审视了实现所需的算法透明度水平所需的人以人为本的解释过程。

这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面，并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献，即计算机视觉，深度学习，自动驾驶，可解释的AI（X-AI），这项调查可以解决几点。首先，它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义，上下文和动机，以及该应用程序特定的挑战。其次，以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三，详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后，确定并检查了剩余的开放挑战和潜在的未来研究方向。

反事实思维领域的解释机制是可解释人工智能（XAI）的广泛使用的范式，因为它们遵循一种自然的推理方式，即人类熟悉。但是，该领域的所有常见方法都是基于传达有关特征或特征的信息，这些信息对于AI的决定尤为重要。我们认为，为了充分理解决定，不仅需要有关相关功能的知识，而且对无关信息的意识也很大程度上有助于创建用户的AI系统心理模型。因此，我们介绍了一种解释AI系统的新方法。我们称之为另一个事实解释的方法是基于显示AI输入的无关特征的替代现实。通过这样做，用户直接看到输入数据的哪些特征可以随意更改而不会影响AI的决定。我们在广泛的用户研究中评估了我们的方法，表明它能够为参与者对AI的理解做出重大贡献。我们表明，与既定的反事实解释方法相比，改变的解释适合传达对AI推理不同方面的理解。

虽然深增强学习已成为连续决策问题的有希望的机器学习方法，但对于自动驾驶或医疗应用等高利害域来说仍然不够成熟。在这种情况下，学习的政策需要例如可解释，因此可以在任何部署之前检查它（例如，出于安全性和验证原因）。本调查概述了各种方法，以实现加固学习（RL）的更高可解释性。为此，我们将解释性（作为模型的财产区分开来和解释性（作为HOC操作后的讲话，通过代理的干预），并在RL的背景下讨论它们，并强调前概念。特别是，我们认为可译文的RL可能会拥抱不同的刻面：可解释的投入，可解释（转型/奖励）模型和可解释的决策。根据该计划，我们总结和分析了与可解释的RL相关的最近工作，重点是过去10年来发表的论文。我们还简要讨论了一些相关的研究领域并指向一些潜在的有前途的研究方向。