随着深度学习算法在时间序列分类中的应用越来越多，尤其是在高风化场景中，解释这些算法的相关性成为关键。尽管时间序列的可解释性研究已经增长，但从业者的可访问性仍然是一个障碍。没有统一的API或框架，使用的可解释性方法及其可视化的使用方式多样。为了缩小这一差距，我们介绍了TSInterpret易于扩展的开源Python库，用于解释将现有解释方法结合到一个统一框架中的时间序列分类器的预测。库功能（i）最先进的可解释性算法，（ii）公开了统一的API，使用户能够始终如一地使用解释，并为每种说明提供合适的可视化。

我们介绍了Omnixai（Omni可解释的AI缩写），这是一个可解释AI（XAI）的开源Python库，它提供了可解释的AI功能和各种可解释的机器学习技术，以解决理解和解释做出的决策的痛苦点通过机器学习（ML）实践。 Omnixai的目标是成为一个一站式综合图书馆，使数据科学家，ML研究人员和从业人员易于解释，他们需要在ML流程的不同阶段进行各种类型的数据，模型和解释方法解释（数据探索，功能工程，模型，模型，发展，评估和决策等）。特别是，我们的库包括一个集成在统一界面中的丰富的解释方法，该方法支持多种数据类型（表格数据，图像，文本，时间序列），多种类型的ML模型（Scikit-Learn中的传统ML和Deep中的传统ML） Pytorch/Tensorflow中的学习模型，以及一系列不同的解释方法，包括“模型特定”和“模型 - 敏捷”的方法（例如特征 - 属性解释，反事实说明，基于梯度的解释，基于梯度的解释等）。对于从业人员而言，图书馆提供了一个易于使用的统一界面，仅通过编写几行代码来生成其应用程序的解释，以及一个GUI仪表板，用于可视化不同的解释，以提供有关决策的更多见解。在此技术报告中，我们介绍了Omnixai的设计原理，系统体系结构和主要功能，并在不同类型的数据，任务和模型中演示了几个示例用例。

With the rising need of interpretable machine learning methods, there is a necessity for a rise in human effort to provide diverse explanations of the influencing factors of the model decisions. To improve the trust and transparency of AI-based systems, the EXplainable Artificial Intelligence (XAI) field has emerged. The XAI paradigm is bifurcated into two main categories: feature attribution and counterfactual explanation methods. While feature attribution methods are based on explaining the reason behind a model decision, counterfactual explanation methods discover the smallest input changes that will result in a different decision. In this paper, we aim at building trust and transparency in time series models by using motifs to generate counterfactual explanations. We propose Motif-Guided Counterfactual Explanation (MG-CF), a novel model that generates intuitive post-hoc counterfactual explanations that make full use of important motifs to provide interpretive information in decision-making processes. To the best of our knowledge, this is the first effort that leverages motifs to guide the counterfactual explanation generation. We validated our model using five real-world time-series datasets from the UCR repository. Our experimental results show the superiority of MG-CF in balancing all the desirable counterfactual explanations properties in comparison with other competing state-of-the-art baselines.

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

深层神经网络以其对各种机器学习和人工智能任务的精湛处理而闻名。但是，由于其过度参数化的黑盒性质，通常很难理解深层模型的预测结果。近年来，已经提出了许多解释工具来解释或揭示模型如何做出决策。在本文中，我们回顾了这一研究，并尝试进行全面的调查。具体来说，我们首先介绍并阐明了人们通常会感到困惑的两个基本概念 - 解释和解释性。为了解决解释中的研究工作，我们通过提出新的分类法来阐述许多解释算法的设计。然后，为了了解解释结果，我们还调查了评估解释算法的性能指标。此外，我们总结了使用“可信赖”解释算法评估模型的解释性的当前工作。最后，我们审查并讨论了深层模型的解释与其他因素之间的联系，例如对抗性鲁棒性和从解释中学习，并介绍了一些开源库，以解释算法和评估方法。

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。

这项研究重点是探索局部可解释性方法来解释时间序列聚类模型。许多最先进的聚类模型无法直接解释。为了提供这些聚类算法的解释，我们训练分类模型以估计群集标签。然后，我们使用可解释性方法来解释分类模型的决策。这些解释用于获得对聚类模型的见解。我们执行一项详细的数值研究，以测试多个数据集，聚类模型和分类模型上所提出的方法。结果的分析表明，所提出的方法可用于解释时间序列聚类模型，特别是当基础分类模型准确时。最后，我们对结果进行了详细的分析，讨论了如何在现实生活中使用我们的方法。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

人工智能（AI）模型的黑框性质不允许用户理解和有时信任该模型创建的输出。在AI应用程序中，不仅结果，而且结果的决策路径至关重要，此类Black-Box AI模型还不够。可解释的人工智能（XAI）解决了此问题，并定义了用户可解释的一组AI模型。最近，有几种XAI模型是通过在医疗保健，军事，能源，金融和工业领域等各个应用领域的黑盒模型缺乏可解释性和解释性来解决有关的问题。尽管XAI的概念最近引起了广泛关注，但它与物联网域的集成尚未完全定义。在本文中，我们在物联网域范围内使用XAI模型对最近的研究进行了深入和系统的综述。我们根据其方法和应用领域对研究进行分类。此外，我们旨在专注于具有挑战性的问题和开放问题，并为未来的方向指导开发人员和研究人员进行未来的未来调查。

围绕深度学习算法的长期挑战是解开和了解它们如何做出决定。可解释的人工智能（XAI）提供了方法，以解释算法的内部功能及其决策背后的原因，这些方式以人类用户的解释和可理解的方式提供了解释。 。到目前为止，已经开发了许多XAI方法，并且对这些策略进行比较分析似乎是为了辨别它们与临床预测模型的相关性。为此，我们首先实施了两个使用结构化表格和时间序列生理数据的创伤性脑损伤（TBI）（TBI）的预测模型。使用六种不同的解释技术来描述本地和全球水平的预测模型。然后，我们对每种策略的优点和缺点进行了批判性分析，突出了对使用这些方法感兴趣的研究人员的影响。根据几种XAI特征，例如可理解性，忠诚度和稳定性，将实施的方法相互比较。我们的发现表明，Shap是最稳定的，其保真度最高，但缺乏可理解性。另一方面，锚是最可理解的方法，但仅适用于表格数据而不是时间序列数据。

随着机器学习和深度学习模型在多种领域变得非常普遍，因此采用决策过程的主要保留是它们的黑盒本质。可解释的人工智能（XAI）范式由于其能够降低模型不透明度的能力而获得了很多动力。 XAI方法不仅增加了利益相关者对决策过程的信任，而且还帮助开发商确保了其公平性。最近的努力用于创建透明的模型和事后解释。但是，对于时间序列数据，开发了更少的方法，而在多元数据集方面甚至更少。在这项工作中，我们利用塑形组的固有解释性来开发模型不可知的多元时间序列（MTS）反事实解释算法。反事实可能会通过指示在输入上必须执行哪些更改以改变最终决定，从而对制作黑框模型产生巨大影响。我们在现实生活中的太阳耀斑预测数据集上测试了我们的方法，并证明我们的方法会产生高质量的反事实。此外，与唯一的MTS反事实生成算法的比较表明，除了视觉上可以解释外，我们的解释在接近性，稀疏性和合理性方面也很出色。

许多可解释性工具使从业人员和研究人员可以解释自然语言处理系统。但是，每个工具都需要不同的配置，并提供不同形式的解释，从而阻碍了评估和比较它们的可能性。原则上的统一评估基准将指导用户解决中心问题：哪种解释方法对我的用例更可靠？我们介绍了雪貂，这是一个易于使用的，可扩展的Python库，以解释与拥抱面枢纽集成的基于变形金刚的模型。它提供了一个统一的基准测试套件来测试和比较任何文本或可解释性语料库的广泛最先进的解释器。此外，雪貂提供方便的编程摘要，以促进新的解释方法，数据集或评估指标的引入。

近年来，关于机器学习，AI伦理和算法审核的公平性的讨论增加了。许多实体已经开发了框架指南，以建立公平和问责制的基线标题。但是，尽管讨论增加了，但在实践中仍然很难执行算法和数据审核。许多开源审核工具都可以使用，但是用户并不总是知道这些工具，它们对它们有用或如何访问它们。模型审核和评估并不经常强调机器学习的技能。也有法律原因积极采用这些工具，这些工具超出了对机器学习中更公平的渴望。在我们高度联系的全球社会中，有积极的公众感知和善意问题。对这些工具的更高认识以及积极利用它们的原因可能对AI和机器学习产品的程序员，数据科学家，工程师，研究人员，用户和消费者的整个连续性有所帮助。对于每个人来说，重要的是要更好地了解输入和输出差异，它们的发生方式以及可以在机器和深度学习中促进命运（公平，问责制，透明和道德）的能力。自由访问开源审计工具的能力消除了在机器学习的最基本水平上公平评估的障碍。本文旨在强化迫切需要实际使用这些工具，并为此提供动力。本文突出显示的示例性工具是带有软件或代码碱存储库的开源工具，可立即在全球任何人使用。

人工智能（AI）和机器学习（ML）在网络安全挑战中的应用已在行业和学术界的吸引力，部分原因是对关键系统（例如云基础架构和政府机构）的广泛恶意软件攻击。入侵检测系统（IDS）使用某些形式的AI，由于能够以高预测准确性处理大量数据，因此获得了广泛的采用。这些系统托管在组织网络安全操作中心（CSOC）中，作为一种防御工具，可监视和检测恶意网络流，否则会影响机密性，完整性和可用性（CIA）。 CSOC分析师依靠这些系统来决定检测到的威胁。但是，使用深度学习（DL）技术设计的IDS通常被视为黑匣子模型，并且没有为其预测提供理由。这为CSOC分析师造成了障碍，因为他们无法根据模型的预测改善决策。解决此问题的一种解决方案是设计可解释的ID（X-IDS）。这项调查回顾了可解释的AI（XAI）的最先进的ID，目前的挑战，并讨论了这些挑战如何涉及X-ID的设计。特别是，我们全面讨论了黑匣子和白盒方法。我们还在这些方法之间的性能和产生解释的能力方面提出了权衡。此外，我们提出了一种通用体系结构，该建筑认为人类在循环中，该架构可以用作设计X-ID时的指南。研究建议是从三个关键观点提出的：需要定义ID的解释性，需要为各种利益相关者量身定制的解释以及设计指标来评估解释的需求。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

与此同时，在可解释的人工智能（XAI）的研究领域中，已经开发了各种术语，动机，方法和评估标准。随着XAI方法的数量大大增长，研究人员以及从业者以及从业者需要一种方法：掌握主题的广度，比较方法，并根据特定用例所需的特征选择正确的XAI方法语境。在文献中，可以找到许多不同细节水平和深度水平的XAI方法分类。虽然他们经常具有不同的焦点，但它们也表现出许多重叠点。本文统一了这些努力，并提供了XAI方法的分类，这是关于目前研究中存在的概念的概念。在结构化文献分析和元研究中，我们识别并审查了XAI方法，指标和方法特征的50多个最引用和最新的调查。总结在调查调查中，我们将文章的术语和概念合并为统一的结构化分类。其中的单一概念总计超过50个不同的选择示例方法，我们相应地分类。分类学可以为初学者，研究人员和从业者提供服务作为XAI方法特征和方面的参考和广泛概述。因此，它提供了针对有针对性的，用例导向的基础和上下文敏感的未来研究。

深层神经网络（DNN）在各种任务中的应用需要应对这些架构的复杂和不透明性质的方法。当有黄金标准可用时，性能评估将DNN视为黑匣子，并根据将预测与地面真相的比较进行计算标准指标。对性能的更深入的了解需要超越此类评估指标来诊断模型行为和预测错误。可以通过两种互补的方式实现此目标。一方面，模型解释技术“打开框”并评估输入，内层和输出之间的关系，以识别最有可能导致性能损失的体系结构模块。另一方面，黑框错误诊断技术研究了模型响应与未用于训练的输入的某些属性之间的相关性，以确定使模型失败的输入的特征。两种方法都提供了有关如何改善体系结构和/或培训过程的提示。本文着重于将DNNS应用于计算机视觉（CV）任务，并介绍了支持Black-Box性能诊断范式的工具的调查。它说明了当前建议的特征和空白，讨论了相关的研究方向，并简要概述了CV以外的其他部门的诊断工具。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.