心电图（ECG）是一种有效且无侵入性诊断工具，可测量心脏的电活动。解释ECG信号检测各种异常是一个具有挑战性的任务，需要专业知识。最近，利用深度神经网络的ECG分类来帮助医疗从业者变得流行，但他们的黑匣子自然妨碍了临床实施。已经提出了几种基于显着性的可解释性技术，但它们仅表明重要特征的位置而不是实际功能。我们提出了一种名为QLST的新型解释性技术，一种基于查询的潜空间遍历技术，可以提供对任何ECG分类模型的解释。使用QLST，我们训练一个神经网络，该网络网络学习在大学医院数据集训练的变分性AutoEncoder的潜在空间中，超过80万家ECG为28个疾病。我们通过实验证明我们可以通过通过这些遍历来解释不同的黑匣子分类器。

心血管疾病是一个大的全球医疗保健问题;症状通常突然存在，最小的警告。心电图（ECG）是一种快速，简单可靠，通过测量通过皮肤上的电极记录的电极来评估心脏健康的方法。 ECG经常需要通过心脏病专家分析，花时间可以花在改善患者护理和结果上。因此，已经提出了使用机器学习的自动ECG分类系统，可以学习ECG功能之间的复杂交互，并使用它来检测异常。然而，为此目的构建的算法经常无法概括到解开数据，报告最初令人印象深刻的结果，在应用于新环境时急剧下降。此外，机器学习算法遭受“黑匣子”问题，其中难以确定如何做出决定。这对医疗保健的应用至关重要，因为临床医生需要能够验证评估过程以信任算法。本文提出了一种用于在MIT-BIH心律失常数据集中的每个类中可视化模型决策的方法，使用完整类的平均调整显着图来确定正在学习的模式。我们通过基于最先进的模型构建两种算法来实现这一点。本文突出了这些地图如何用于在模型中找到可能影响概括性和模型性能的模型中的问题。比较完整类的显着性图给出了模型中混淆变量或其他偏差的总体印象，而不同于在ECG-By-ECG基础上比较显着图时会突出显示的内容。

心血管疾病（CVD）是一组心脏和血管疾病，是对人类健康最严重的危险之一，此类患者的数量仍在增长。早期，准确的检测在成功治疗和干预中起着关键作用。心电图（ECG）是识别各种心血管异常的金标准。在临床实践和当前大多数研究中，主要使用标准的12铅ECG。但是，使用较少的铅可以使ECG更加普遍，因为可以通过便携式或可穿戴设备来方便地记录它。在这项研究中，我们开发了一种新颖的深度学习系统，以仅使用三个ECG铅来准确识别多个心血管异常。

Deep learning (DL) methods where interpretability is intrinsically considered as part of the model are required to better understand the relationship of clinical and imaging-based attributes with DL outcomes, thus facilitating their use in the reasoning behind medical decisions. Latent space representations built with variational autoencoders (VAE) do not ensure individual control of data attributes. Attribute-based methods enforcing attribute disentanglement have been proposed in the literature for classical computer vision tasks in benchmark data. In this paper, we propose a VAE approach, the Attri-VAE, that includes an attribute regularization term to associate clinical and medical imaging attributes with different regularized dimensions in the generated latent space, enabling a better-disentangled interpretation of the attributes. Furthermore, the generated attention maps explained the attribute encoding in the regularized latent space dimensions. Using the Attri-VAE approach we analyzed healthy and myocardial infarction patients with clinical, cardiac morphology, and radiomics attributes. The proposed model provided an excellent trade-off between reconstruction fidelity, disentanglement, and interpretability, outperforming state-of-the-art VAE approaches according to several quantitative metrics. The resulting latent space allowed the generation of realistic synthetic data in the trajectory between two distinct input samples or along a specific attribute dimension to better interpret changes between different cardiac conditions.

Mechanistic cardiac electrophysiology models allow for personalized simulations of the electrical activity in the heart and the ensuing electrocardiogram (ECG) on the body surface. As such, synthetic signals possess known ground truth labels of the underlying disease and can be employed for validation of machine learning ECG analysis tools in addition to clinical signals. Recently, synthetic ECGs were used to enrich sparse clinical data or even replace them completely during training leading to improved performance on real-world clinical test data. We thus generated a novel synthetic database comprising a total of 16,900 12 lead ECGs based on electrophysiological simulations equally distributed into healthy control and 7 pathology classes. The pathological case of myocardial infraction had 6 sub-classes. A comparison of extracted features between the virtual cohort and a publicly available clinical ECG database demonstrated that the synthetic signals represent clinical ECGs for healthy and pathological subpopulations with high fidelity. The ECG database is split into training, validation, and test folds for development and objective assessment of novel machine learning algorithms.

反事实说明代表了对数据样本的最小变化，其改变其预测分类，通常是从不利的初始类到所需的目标类别。反事实可以帮助回答问题，例如“需要更改此申请以获得贷款的需要？”。一些最近提出的反事实的方法涉及“合理的”反事实和方法的不同定义。然而，许多这些方法是计算密集的，并提供不符合的解释。在这里，我们介绍了锐利的程序，这是一个用于通过创建分类为目标类的输入的投影版本来启动的二进制分类方法。然后在输入及其投影之间的插值线上的潜在空间中生成反事实候选者。然后，我们展示了我们的框架通过使用学习的陈述将样本的核心特征转化为其反事实。此外，我们表明Strappooter在表格和图像数据集上跨越普通质量指标具有竞争力，同时在现实主义测量中的两个可比方法和擅长的级别，使其适用于需要及时解释的高速机器学习应用。

人工智能被出现为众多临床应用诊断和治疗决策的有用援助。由于可用数据和计算能力的快速增加，深度神经网络的性能与许多任务中的临床医生相同或更好。为了符合信任AI的原则，AI系统至关重要的是透明，强大，公平和确保责任。由于对决策过程的具体细节缺乏了解，目前的深神经系统被称为黑匣子。因此，需要确保在常规临床工作流中纳入常规神经网络之前的深度神经网络的可解释性。在这一叙述审查中，我们利用系统的关键字搜索和域专业知识来确定已经基于所产生的解释和技术相似性的类型的医学图像分析应用的深度学习模型来确定九种不同类型的可解释方法。此外，我们报告了评估各种可解释方法产生的解释的进展。最后，我们讨论了局限性，提供了利用可解释性方法和未来方向的指导，了解医学成像分析深度神经网络的解释性。

Agricultural image recognition tasks are becoming increasingly dependent on deep learning (DL); however, despite the excellent performance of DL, it is difficult to comprehend the type of logic or features of the input image it uses during decision making. Knowing the logic or features is highly crucial for result verification, algorithm improvement, training data improvement, and knowledge extraction. However, the explanations from the current heatmap-based algorithms are insufficient for the abovementioned requirements. To address this, this paper details the development of a classification and explanation method based on a variational autoencoder (VAE) architecture, which can visualize the variations of the most important features by visualizing the generated images that correspond to the variations of those features. Using the PlantVillage dataset, an acceptable level of explainability was achieved without sacrificing the classification accuracy. The proposed method can also be extended to other crops as well as other image classification tasks. Further, application systems using this method for disease identification tasks, such as the identification of potato blackleg disease, potato virus Y, and other image classification tasks, are currently being developed.

如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。

诸如医学诊断的关键背景下的关键问题是决策系统采用的深度学习模型的可解释性。解释的人工智能（XAI）在试图解决这个问题。然而，通常XAI方法仅在通用分类器上进行测试，并且不代表诸如医学诊断等现实问题。在本文中，我们分析了对皮肤病变图像的案例研究，我们定制了一种现有的XAI方法，以解释能够识别不同类型的皮肤病变的深度学习模型。通过综合示例和皮肤病变的相反示例图像形成的解释，并为从业者提供一种突出负责分类决策的关键性状的方法。通过域专家，初学者和非熟练的人进行了一项调查，证明了解释的使用增加了自动决策系统的信任和信心。此外，解释器采用的潜在空间的分析推出了一些最常见的皮肤病变类是明显分开的。这种现象可以得出每个班级的内在特征，希望能够在解决人类专家的最常见的错误分类中提供支持。

阿尔茨海默病是痴呆症最常见的原因，影响全世界数百万个生活。调查阿尔茨海默病的潜在原因和风险因素对于防止其进展至关重要。轻度认知障碍（MCI）被认为是阿尔茨海默病前的中间阶段。早期预测来自MCI至阿尔茨海默氏症的转化率至关重要，以便对进展减少进展和发展合适的治疗方法是至关重要的。在这项研究中，我们提出了一个深入的学习框架，以发现从MCI转换为Alzheimer疾病的标识符。特别是，操纵与MCI和阿尔茨海默患者培训的变形式自动编码网络的潜像以获得显着的属性和破译它们的行为，导致从MCI转化为阿尔茨海默病。通过利用生成的解码器和导致阿尔茨海默诊断的尺寸，我们生成来自数据集中的MCI患者的合成痴呆患者。实验结果表明，在文献中最广泛且常用的阿尔茨海默病神经影像数据集之一，有希望的定量和定性结果。

由于它们在建模复杂的问题和处理高维数据集的有效性，因此已显示深神网络（DNN）在广泛的应用领域中的传统机器学习算法优于传统的机器学习算法。但是，许多现实生活数据集具有越来越高的维度，其中大量功能可能与手头的任务无关。包含此类功能不仅会引入不必要的噪声，还会提高计算复杂性。此外，由于许多特征之间的非线性和依赖性高，DNN模型往往不可避免地是不透明的，并且被视为黑盒方法，因为它们的内部功能不佳。解释良好的模型可以识别具有统计学意义的特征，并解释其影响模型结果的方式。在本文中，我们提出了一种有效的方法，可以在高维数据集的情况下提高黑框模型的分类任务。为此，我们首先在高维数据集上训练黑框模型，以了解执行分类的嵌入。为了分解黑框模型的内部工作原理并确定TOP-K重要特征，我们采用了不同的探测和扰动技术。然后，我们通过在TOP-K特征空间上通过可解释的替代模型来近似黑框模型的行为。最后，我们从替代模型中得出决策规则和本地解释，以解释个人决策。当在不同数据集上测试，尺寸在50到20,000之间的不同数据集上进行测试时，我们的方法优于最先进的方法，例如TABNET，XGBOOST和基于Shap的可解释性技术。

尽管它们的准确性很高，但由于未知的决策过程和潜在的偏见，现代复杂的图像分类器不能被敏感任务受到信任。反事实解释非常有效地为这些黑盒算法提供透明度。然而，生成可能对分类器输出产生一致影响并揭示可解释的特征更改的反事实是一项非常具有挑战性的任务。我们介绍了一种新颖的方法，可以使用验证的生成模型为图像分类器生成因果关系但可解释的反事实解释，而无需进行任何重新训练或调节。该技术中的生成模型不可能在与目标分类器相同的数据上进行训练。我们使用此框架来获得对比度和因果关系，并作为黑盒分类器的全球解释。在面部属性分类的任务上，我们通过提供因果和对比特征属性以及相应的反事实图像来展示不同属性如何影响分类器输出。

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。

鉴于部署更可靠的机器学习系统的重要性，研究界内的机器学习模型的解释性得到了相当大的关注。在计算机视觉应用中，生成反事实方法表示如何扰乱模型的输入来改变其预测，提供有关模型决策的详细信息。目前的方法倾向于产生关于模型决策的琐碎的反事实，因为它们通常建议夸大或消除所分类的属性的存在。对于机器学习从业者，这些类型的反事件提供了很少的价值，因为它们没有提供有关不期望的模型或数据偏差的新信息。在这项工作中，我们确定了琐碎的反事实生成问题，我们建议潜水以缓解它。潜水在使用多样性强制损失限制的解除印章潜在空间中学习扰动，以发现关于模型预测的多个有价值的解释。此外，我们介绍一种机制，以防止模型产生微不足道的解释。 Celeba和Synbols的实验表明，与先前的最先进的方法相比，我们的模型提高了生产高质量有价值解释的成功率。代码可在https://github.com/elementai/beyond- trial-explanations获得。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

深度学习在使用心电图（ECG）数据分类不同的心律失常方面发挥着重要作用。然而，培训深入学习模型通常需要大量数据，它可能导致隐私问题。不幸的是，无法从单个筒仓中容易地收集大量的医疗保健数据。此外，深度学习模型就像黑盒子，没有解释的预测结果，通常在临床医疗保健中需要。这限制了深度学习在现实世界卫生系统中的应用。在本文中，我们设计了一种基于ECG的医疗保健应用的联邦设置的新的可解释的人工智能（XAI）的深度学习框架。联合设置用于解决数据可用性和隐私问题等问题。此外，所提出的框架设置有效地根据卷积神经网络（CNN）使用AutoEncoder和分类器来分类心律失常。此外，我们提出了一个基于XAI的模块，在拟议的分类器的顶部上解释了分类结果，帮助临床从业者做出快速可靠的决策。拟议的框架是使用MIT-BIH心律失常数据库进行培训和测试。分类器可分别使用噪声和清洁数据进行高达94％和98％的精度，使用嘈杂和清洁数据，具有五倍的交叉验证。

背景：12个引线ECG是心血管疾病的核心诊断工具。在这里，我们描述并分析了一个集成的深度神经网络架构，从12个引导eCG分类了24个心脏异常。方法：我们提出了挤压和激发reset，以自动学习来自12个引主ECG的深度特征，以识别24个心脏病。在最终完全连接的层中，随着年龄和性别特征增强了深度特征。使用约束网格搜索设置每个类的输出阈值。为了确定为什么该模型的预测不正确，两个专家诊所人员独立地解释了一组关于左轴偏差的一次无序的ECG。结果：采用定制加权精度度量，我们达到了0.684的5倍交叉验证得分，灵敏度和特异性分别为0.758和0.969。我们在完整的测试数据中得分0.520，并在官方挑战排名中排名第21中。在一系列被错误分类的心电图中，两个临床医生和训练标签之间的协议差（临床医生1：Kappa = -0.057，临床医生2：Kappa = -0.159）。相比之下，临床医生之间的协议非常高（Kappa = 0.92）。讨论：与在相同数据上培训的模型相比，所提出的预测模型很好地对验证和隐藏的测试数据进行了良好。我们还发现培训标签的相当不一致，这可能会阻碍更准确的模型的开发。

对应用深神网络自动解释和分析12铅心电图（ECG）的兴趣增加了。机器学习方法的当前范例通常受到标记数据量的限制。对于临床上的数据，这种现象尤其有问题，在该数据中，根据所需的专业知识和人类努力，规模标签可能是耗时且昂贵的。此外，深度学习分类器可能容易受到对抗性例子和扰动的影响，例如在医疗，临床试验或保险索赔的背景下应用时，可能会带来灾难性的后果。在本文中，我们提出了一种受生理启发的数据增强方法，以提高性能并根据ECG信号提高心脏病检测的鲁棒性。我们通过将数据分布驱动到瓦斯坦斯坦空间中的大地测量中的其他类别来获得增强样品。为了更好地利用领域特定的知识，我们设计了一个基础指标，该指标识别基于生理确定的特征的ECG信号之间的差异。从12铅ECG信号中学习，我们的模型能够区分五种心脏条件。我们的结果表明，准确性和鲁棒性的提高，反映了我们数据增强方法的有效性。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。