在过去的几年中，卷积神经网络（CNN）占据了计算机视野的领域，这要归功于它们提取功能及其在分类问题中出色的表现，例如在自动分析X射线中。不幸的是，这些神经网络被认为是黑盒算法，即不可能了解该算法如何实现最终结果。要将这些算法应用于不同领域并测试方法论的工作原理，我们需要使用可解释的AI技术。医学领域的大多数工作都集中在二进制或多类分类问题上。但是，在许多现实生活中，例如胸部X射线射线，可以同时出现不同疾病的放射学迹象。这引起了所谓的“多标签分类问题”。这些任务的缺点是类不平衡，即不同的标签没有相同数量的样本。本文的主要贡献是一种深度学习方法，用于不平衡的多标签胸部X射线数据集。它为当前未充分利用的Padchest数据集建立了基线，并基于热图建立了可解释的AI技术。该技术还包括概率和模型间匹配。我们系统的结果很有希望，尤其是考虑到使用的标签数量。此外，热图与预期区域相匹配，即它们标志着专家将用来做出决定的区域。

有必要开发负担得起且可靠的诊断工具，该工具允许包含COVID-19的扩散。已经提出了机器学习（ML）算法来设计支持决策系统以评估胸部X射线图像，事实证明，这些图像可用于检测和评估疾病进展。许多研究文章围绕此主题发表，这使得很难确定未来工作的最佳方法。本文介绍了使用胸部X射线图像应用于COVID-19检测的ML的系统综述，旨在就方法，体系结构，数据库和当前局限性为研究人员提供基线。

这项工作引入了图像分类器的注意机制和相应的深神经网络（DNN）结构，称为ISNET。在训练过程中，ISNET使用分割目标来学习如何找到图像感兴趣的区域并将注意力集中在其上。该提案基于一个新颖的概念，即在说明热图中的背景相关性最小化。它几乎可以应用于任何分类神经网络体系结构，而在运行时没有任何额外的计算成本。能够忽略背景的单个DNN可以替换分段者的通用管道，然后是分类器，更快，更轻。我们测试了ISNET的三种应用：Covid-19和胸部X射线中的结核病检测以及面部属性估计。前两个任务采用了混合培训数据库，并培养了快捷方式学习。通过关注肺部并忽略背景中的偏见来源，ISNET减少了问题。因此，它改善了生物医学分类问题中外部（分布外）测试数据集的概括，超越了标准分类器，多任务DNN（执行分类和细分），注意力门控神经网络以及标准段 - 分类管道。面部属性估计表明，ISNET可以精确地集中在面孔上，也适用于自然图像。 ISNET提出了一种准确，快速和轻的方法，可忽略背景并改善各种领域的概括。

Deep learning (DL) analysis of Chest X-ray (CXR) and Computed tomography (CT) images has garnered a lot of attention in recent times due to the COVID-19 pandemic. Convolutional Neural Networks (CNNs) are well suited for the image analysis tasks when trained on humongous amounts of data. Applications developed for medical image analysis require high sensitivity and precision compared to any other fields. Most of the tools proposed for detection of COVID-19 claims to have high sensitivity and recalls but have failed to generalize and perform when tested on unseen datasets. This encouraged us to develop a CNN model, analyze and understand the performance of it by visualizing the predictions of the model using class activation maps generated using (Gradient-weighted Class Activation Mapping) Grad-CAM technique. This study provides a detailed discussion of the success and failure of the proposed model at an image level. Performance of the model is compared with state-of-the-art DL models and shown to be comparable. The data and code used are available at https://github.com/aleesuss/c19.

2019年12月，一个名为Covid-19的新型病毒导致了迄今为止的巨大因果关系。与新的冠状病毒的战斗在西班牙语流感后令人振奋和恐怖。虽然前线医生和医学研究人员在控制高度典型病毒的传播方面取得了重大进展，但技术也证明了在战斗中的重要性。此外，许多医疗应用中已采用人工智能，以诊断许多疾病，甚至陷入困境的经验丰富的医生。因此，本调查纸探讨了提议的方法，可以提前援助医生和研究人员，廉价的疾病诊断方法。大多数发展中国家难以使用传统方式进行测试，但机器和深度学习可以采用显着的方式。另一方面，对不同类型的医学图像的访问已经激励了研究人员。结果，提出了一种庞大的技术数量。本文首先详细调了人工智能域中传统方法的背景知识。在此之后，我们会收集常用的数据集及其用例日期。此外，我们还显示了采用深入学习的机器学习的研究人员的百分比。因此，我们对这种情况进行了彻底的分析。最后，在研究挑战中，我们详细阐述了Covid-19研究中面临的问题，我们解决了我们的理解，以建立一个明亮健康的环境。

早期发现视网膜疾病是预防患者部分或永久失明的最重要手段之一。在这项研究中，提出了一种新型的多标签分类系统，用于使用从各种来源收集的眼底图像来检测多种视网膜疾病。首先，使用许多公开可用的数据集来构建一个新的多标签视网膜疾病数据集，即梅里德数据集。接下来，应用了一系列后处理步骤，以确保图像数据的质量和数据集中存在的疾病范围。在眼底多标签疾病分类中，首次通过大量实验优化的基于变压器的模型用于图像分析和决策。进行了许多实验以优化所提出的系统的配置。结果表明，在疾病检测和疾病分类方面，该方法的性能比在同一任务上的最先进作品要好7.9％和8.1％。获得的结果进一步支持了基于变压器的架构在医学成像领域的潜在应用。

Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.

每年有大约4.5亿人受到肺炎的影响，导致250万人死亡。 Covid-19也影响了1.81亿人，这导致了392万人伤亡。如果早期诊断，两种疾病死亡可能会显着降低。然而，目前诊断肺炎（投诉+胸部X射线）和Covid-19（RT-PCR）的方法分别存在专家放射科医生和时间。在深度学习模型的帮助下，可以从胸部X射线或CT扫描立即检测肺炎和Covid-19。这样，诊断肺炎/ Covid-19的过程可以更有效和普遍地制作。在本文中，我们的目标是引出，解释和评估，定性和定量，深入学习方法的主要进步，旨在检测或定位社区获得的肺炎（帽），病毒肺炎和Covid-19从胸部X-的图像光线和CT扫描。作为一个系统的审查，本文的重点在于解释了深度学习模型架构，该架构已经被修改或从划痕，以便WIWTH对概括性的关注。对于每个模型，本文回答了模型所设计的方式的问题，特定模型克服的挑战以及修改模型到所需规格的折衷。还提供了本文描述的所有模型的定量分析，以量化不同模型的有效性与相似的目标。一些权衡无法量化，因此它们在定性分析中明确提到，在整个纸张中完成。通过在一个地方编译和分析大量的研究细节，其中包含所有数据集，模型架构和结果，我们的目标是为对此字段感兴趣的初学者和当前研究人员提供一站式解决方案。

每年医生对患者的基于形象的诊断需求越来越大，是最近的人工智能方法可以解决的问题。在这种情况下，我们在医学图像的自动报告领域进行了调查，重点是使用深神经网络的方法，了解：（1）数据集，（2）架构设计，（3）解释性和（4）评估指标。我们的调查确定了有趣的发展，也是留下挑战。其中，目前对生成的报告的评估尤为薄弱，因为它主要依赖于传统的自然语言处理（NLP）指标，这不准确地捕获医疗正确性。

我们评估了深度神经网络（DNN）的泛化能力，培训培训，以使用相对较小的混合数据集将胸部X射线分类为Covid-19，正常或肺炎。我们提出了DNN进行肺分段和分类，堆叠分割模块（U-NET），原始中间模块和分类模块（DenSenet201）。为了评估泛化，我们将DNN与外部数据集（来自不同的地方）测试，并使用贝叶斯推理来估计性能度量的概率分布。我们的DNN在外部测试数据集上实现了0.917 AUC，以及没有分割的DENSENET，0.906。贝叶斯推理表示平均准确性为76.1％和[0.695,0.826] 95％HDI（高密度间隔，浓缩95％的公制概率质量），分段，没有分段，71.7％和[0.646,0.786]。我们提出了一种新型DNN评估技术，使用层性相关性传播（LRP）和Brixia得分。 LRP Heatmaps表示放射科医生发现强烈的Covid-19症状和归属高Brixia评分的区域是堆叠DNN分类最重要的。外部验证表现出比内部更小的精度，表明概括在泛化中，分割改善了。外部数据集和LRP分析中的性能表明DNN可以在小型和混合数据集中培训并检测Covid-19。

由于深度学习在放射学领域被广泛使用，因此在使用模型进行诊断时，这种模型的解释性越来越成为获得临床医生的信任至关重要的。在这项研究中，使用U-NET架构进行了三个实验集，以改善分类性能，同时通过在训练过程中结合热图生成器来增强与模型相对应的热图。所有实验均使用包含胸部X光片的数据集，来自三个条件之一（“正常”，“充血性心力衰竭（CHF）”和“肺炎”）的相关标签，以及有关放射科医师眼神坐标的数值信息在图像上。引入该数据集的论文（A. Karargyris和Moradi，2021年）开发了一个U-NET模型，该模型被视为这项研究的基线模型，以显示如何将眼目光数据用于多模式培训中的眼睛凝视数据以进行多模式培训以进行多模式训练。解释性改进。为了比较分类性能，测量了接收器操作特征曲线（AUC）下面积的95％置信区间（CI）。最佳方法的AUC为0.913（CI：0.860-0.966）。最大的改进是“肺炎”和“ CHF”类别，基线模型最努力地进行分类，导致AUCS 0.859（CI：0.732-0.957）和0.962（CI：0.933-0.989）。所提出的方法的解码器还能够产生概率掩模，以突出模型分类中确定的图像部分，类似于放射科医生的眼睛凝视数据。因此，这项工作表明，将热图发生器和眼睛凝视信息纳入训练可以同时改善疾病分类，并提供可解释的视觉效果，与放射线医生在进行诊断时如何看待胸部X光片。

乳腺癌是全球女性中最常见的癌症。乳腺癌的早期诊断可以显着提高治疗效率。由于其可靠性，准确性和负担能力，计算机辅助诊断（CAD）系统被广泛采用。乳腺癌诊断有不同的成像技术。本文使用的最准确的是组织病理学。深度传输学习被用作提议的CAD系统功能提取器的主要思想。尽管在这项研究中已经测试了16个不同的预训练网络，但我们的主要重点是分类阶段。在所有测试的CNN中，具有剩余网络既有剩余网络既有剩余和启动网络的启发能力，均显示出最佳的特征提取能力。在分类阶段，Catboost，XGBOOST和LIGHTGBM的合奏提供了最佳的平均精度。 Breakhis数据集用于评估所提出的方法。 Breakhis在四个放大因素中包含7909个组织病理学图像（2,480个良性和5,429个恶性）。提出的方法的准确性（IRV2-CXL）使用70％的Breakhis数据集作为40倍，100X，200X和400X放大倍率的训练数据分别为96.82％，95.84％，97.01％和96.15％。大多数关于自动乳腺癌检测的研究都集中在特征提取上，这使我们参加了分类阶段。 IRV2-CXL由于使用软投票集合方法而显示出更好或可比较的结果，该合奏方法可以将Catboost，XGBoost和LightGBM的优势结合在一起。

尽管有无数的同伴审查的论文，证明了新颖的人工智能（AI）基于大流行期间的Covid-19挑战的解决方案，但很少有临床影响。人工智能在Covid-19大流行期间的影响因缺乏模型透明度而受到极大的限制。这种系统审查考察了在大流行期间使用可解释的人工智能（Xai）以及如何使用它可以克服现实世界成功的障碍。我们发现，Xai的成功使用可以提高模型性能，灌输信任在最终用户，并提供影响用户决策所需的值。我们将读者介绍给常见的XAI技术，其实用程序以及其应用程序的具体例子。 XAI结果的评估还讨论了最大化AI的临床决策支持系统的价值的重要步骤。我们说明了Xai的古典，现代和潜在的未来趋势，以阐明新颖的XAI技术的演变。最后，我们在最近出版物支持的实验设计过程中提供了建议的清单。潜在解决方案的具体示例也解决了AI解决方案期间的共同挑战。我们希望本次审查可以作为提高未来基于AI的解决方案的临床影响的指导。

根据研究人员在歧视和校准性能方面采用的标准评估实践，这项工作旨在了解阶级不平衡对胸部X射线分类器的性能的影响。首先，我们进行了一项文献研究，分析了普通科学实践并确认：（1）即使在处理高度不平衡的数据集时，社区也倾向于使用由大多数阶级主导的指标; （2）包括包括胸部X射线分类器的校准研究仍然罕见，尽管其在医疗保健的背景下的重要性。其次，我们对两个主要胸部X射线数据集进行了系统实验，探讨了不同类别比率下的几种性能指标的行为，并显示了广泛采用的指标可以隐藏少数阶级中的性能。最后，我们提出了通过两个替代度量，精密召回曲线和平衡的Brier得分，这更好地反映了系统在这种情况下的性能。我们的研究结果表明，胸部X射线分类器研究界采用的当前评估实践可能无法反映真实临床情景中计算机辅助诊断系统的性能，并建议改善这种情况的替代方案。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

In this era of pandemic, the future of healthcare industry has never been more exciting. Artificial intelligence and machine learning (AI & ML) present opportunities to develop solutions that cater for very specific needs within the industry. Deep learning in healthcare had become incredibly powerful for supporting clinics and in transforming patient care in general. Deep learning is increasingly being applied for the detection of clinically important features in the images beyond what can be perceived by the naked human eye. Chest X-ray images are one of the most common clinical method for diagnosing a number of diseases such as pneumonia, lung cancer and many other abnormalities like lesions and fractures. Proper diagnosis of a disease from X-ray images is often challenging task for even expert radiologists and there is a growing need for computerized support systems due to the large amount of information encoded in X-Ray images. The goal of this paper is to develop a lightweight solution to detect 14 different chest conditions from an X ray image. Given an X-ray image as input, our classifier outputs a label vector indicating which of 14 disease classes does the image fall into. Along with the image features, we are also going to use non-image features available in the data such as X-ray view type, age, gender etc. The original study conducted Stanford ML Group is our base line. Original study focuses on predicting 5 diseases. Our aim is to improve upon previous work, expand prediction to 14 diseases and provide insight for future chest radiography research.

The chest X-ray is one of the most commonly accessible radiological examinations for screening and diagnosis of many lung diseases. A tremendous number of X-ray imaging studies accompanied by radiological reports are accumulated and stored in many modern hospitals' Picture Archiving and Communication Systems (PACS). On the other side, it is still an open question how this type of hospital-size knowledge database containing invaluable imaging informatics (i.e., loosely labeled) can be used to facilitate the data-hungry deep learning paradigms in building truly large-scale high precision computer-aided diagnosis (CAD) systems.In this paper, we present a new chest X-ray database, namely "ChestX-ray8", which comprises 108,948 frontalview X-ray images of 32,717 unique patients with the textmined eight disease image labels (where each image can have multi-labels), from the associated radiological reports using natural language processing. Importantly, we demonstrate that these commonly occurring thoracic diseases can be detected and even spatially-located via a unified weaklysupervised multi-label image classification and disease localization framework, which is validated using our proposed dataset. Although the initial quantitative results are promising as reported, deep convolutional neural network based "reading chest X-rays" (i.e., recognizing and locating the common disease patterns trained with only image-level labels) remains a strenuous task for fully-automated high precision CAD systems.

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

通过研究视网膜生物结构的进展，可以识别眼病的存在和严重性是可行的。眼底检查是检查眼睛的生物结构和异常的诊断程序。诸如青光眼，糖尿病性视网膜病和白内障等眼科疾病是世界各地视觉障碍的主要原因。眼疾病智能识别（ODIR-5K）是研究人员用于多标签的多份多疾病分类的基准结构底面图像数据集。这项工作提出了一个歧视性内核卷积网络（DKCNET），该网络探讨了歧视区域的特征，而无需增加额外的计算成本。 DKCNET由注意力块组成，然后是挤压和激发（SE）块。注意块从主干网络中获取功能，并生成歧视性特征注意图。 SE块采用区分特征图并改善了通道相互依赖性。使用InceptionResnet骨干网络观察到DKCNET的更好性能，用于具有96.08 AUC，94.28 F1-SCORE和0.81 KAPPA得分的ODIR-5K底面图像的多标签分类。所提出的方法根据诊断关键字将通用目标标签拆分为眼对。基于这些标签，进行了过采样和不足采样以解决阶级失衡。为了检查拟议模型对培训数据的偏见，对ODIR数据集进行了训练的模型将在三个公开可用的基准数据集上进行测试。发现它在完全看不见的底面图像上也具有良好的性能。

Age-related macular degeneration (AMD) is a degenerative disorder affecting the macula, a key area of the retina for visual acuity. Nowadays, it is the most frequent cause of blindness in developed countries. Although some promising treatments have been developed, their effectiveness is low in advanced stages. This emphasizes the importance of large-scale screening programs. Nevertheless, implementing such programs for AMD is usually unfeasible, since the population at risk is large and the diagnosis is challenging. All this motivates the development of automatic methods. In this sense, several works have achieved positive results for AMD diagnosis using convolutional neural networks (CNNs). However, none incorporates explainability mechanisms, which limits their use in clinical practice. In that regard, we propose an explainable deep learning approach for the diagnosis of AMD via the joint identification of its associated retinal lesions. In our proposal, a CNN is trained end-to-end for the joint task using image-level labels. The provided lesion information is of clinical interest, as it allows to assess the developmental stage of AMD. Additionally, the approach allows to explain the diagnosis from the identified lesions. This is possible thanks to the use of a CNN with a custom setting that links the lesions and the diagnosis. Furthermore, the proposed setting also allows to obtain coarse lesion segmentation maps in a weakly-supervised way, further improving the explainability. The training data for the approach can be obtained without much extra work by clinicians. The experiments conducted demonstrate that our approach can identify AMD and its associated lesions satisfactorily, while providing adequate coarse segmentation maps for most common lesions.