缺乏足够大的开放医疗数据库是AI驱动的医疗保健中最大的挑战之一。使用生成对抗网络（GAN）创建的合成数据似乎是减轻隐私政策问题的好解决方案。另一种类型的治疗是在多个医疗机构之间进行分散方案，而无需交换本地数据样本。在本文中，我们探讨了集中式和分散的设置中的无条件和有条件的gan。集中式设置模仿了对大型但高度不平衡的皮肤病变数据集的研究，而分散的人则通过三个机构模拟了更现实的医院情况。我们评估了模型的性能，从忠诚度，多样性，训练速度和对生成合成数据进行培训的分类器的预测能力。此外，我们通过探索潜在空间和嵌入投影的解释性。计算出的真实图像及其在潜在空间中的投影之间的距离证明了训练有素的gan的真实性和概括，这是此类应用程序中的主要关注点之一。用于进行研究的开源代码可在\ url {https://github.com/aidse/stylegan2-ada-pytorch}上公开获得。

现在，新的医疗数据集对公众开放，可以进行更好，更广泛的研究。尽管以最大的谨慎准备，但新数据集可能仍然是影响学习过程的虚假相关性的来源。此外，数据收集通常不够大，而且通常是不平衡的。减轻数据不平衡的一种方法是使用生成对抗网络（GAN）使用数据扩展来扩展具有高质量图像的数据集。 GAN通常在与目标数据相同的偏置数据集上进行训练，从而导致更多的偏差实例。这项工作探索了无条件和条件剂量，以比较其偏差遗传以及合成数据如何影响模型。我们提供了大量的手动数据注释，可能在著名的ISIC数据集上具有皮肤病变的偏见。此外，我们研究了对实际和合成数据训练的分类模型，并具有反事实偏置解释。我们的实验表明，GAN遗传了偏见，有时甚至会放大它们，从而导致更强的虚假相关性。手动数据注释和合成图像可公开可重复可再现科学研究。

在医学领域，通常寻求多中心协作来通过利用患者和临床数据的异质性来产生更广泛的发现。但是，最近的隐私法规阻碍了共享数据的可能性，因此，提出了支持诊断和预后的基于机器学习的解决方案。联合学习（FL）旨在通过将基于AI的解决方案带入数据所有者，而仅共享需要汇总的本地AI模型或其部分，以避免这种限制。但是，大多数现有的联合学习解决方案仍处于起步阶段，并且由于缺乏可靠和有效的聚合计划能够保留本地学到的知识，从而显示出薄弱的隐私保护，因为可以从模型更新中重建实际数据，因此显示出几个缺点。此外，这些方法中的大多数，尤其是那些处理医学数据的方法，都依赖于一种集中的分布式学习策略，该策略构成了稳健性，可伸缩性和信任问题。在本文中，我们提出了一种分散的分布式方法，该方法从经验重播和生成对抗性研究中利用概念，有效地整合了本地节点的功能，从而提供了能够在维持隐私的同时跨多个数据集进行概括的模型。为了模拟现实的非i.i.d，使用多个数据集对两项任务进行了两项任务测试：结核病和黑色素瘤分类。数据方案。结果表明，我们的方法实现了与标准（未赋予）学习和联合方法相当的性能（因此，更有利）。

The success of deep learning is largely due to the availability of large amounts of training data that cover a wide range of examples of a particular concept or meaning. In the field of medicine, having a diverse set of training data on a particular disease can lead to the development of a model that is able to accurately predict the disease. However, despite the potential benefits, there have not been significant advances in image-based diagnosis due to a lack of high-quality annotated data. This article highlights the importance of using a data-centric approach to improve the quality of data representations, particularly in cases where the available data is limited. To address this "small-data" issue, we discuss four methods for generating and aggregating training data: data augmentation, transfer learning, federated learning, and GANs (generative adversarial networks). We also propose the use of knowledge-guided GANs to incorporate domain knowledge in the training data generation process. With the recent progress in large pre-trained language models, we believe it is possible to acquire high-quality knowledge that can be used to improve the effectiveness of knowledge-guided generative methods.

基于深度学习的图像合成技术已在医疗研究中应用，用于生成医学图像以支持开放研究。培训生成的对抗神经网络（GAN）通常需要大量的培训数据。联合学习（FL）提供了一种使用来自不同医疗机构的分布式数据培训中心模型的方法，同时在本地保留原始数据。但是，FL容易受到后门攻击的攻击，这是通过中毒训练数据的对抗性攻击，因为中央服务器无法直接访问原始数据。大多数后门攻击策略都集中在分类模型和集中域。在这项研究中，我们提出了一种通过在后门攻击分类模型中使用常用的数据中毒策略来治疗歧视者来攻击联邦GAN（FEDGAN）的方法。我们证明，添加一个小扳机，其大小少于原始图像尺寸的0.5％会破坏FL-GAN模型。根据拟议的攻击，我们提供了两种有效的防御策略：全球恶意检测和当地培训正规化。我们表明，将两种防御策略结合起来会产生强大的医疗形象。

Electronic Health Records (EHRs) are a valuable asset to facilitate clinical research and point of care applications; however, many challenges such as data privacy concerns impede its optimal utilization. Deep generative models, particularly, Generative Adversarial Networks (GANs) show great promise in generating synthetic EHR data by learning underlying data distributions while achieving excellent performance and addressing these challenges. This work aims to review the major developments in various applications of GANs for EHRs and provides an overview of the proposed methodologies. For this purpose, we combine perspectives from healthcare applications and machine learning techniques in terms of source datasets and the fidelity and privacy evaluation of the generated synthetic datasets. We also compile a list of the metrics and datasets used by the reviewed works, which can be utilized as benchmarks for future research in the field. We conclude by discussing challenges in GANs for EHRs development and proposing recommended practices. We hope that this work motivates novel research development directions in the intersection of healthcare and machine learning.

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

生成模型生成的合成数据可以增强医学成像中渴望数据深度学习模型的性能和能力。但是，（1）（合成）数据集的可用性有限，并且（2）生成模型训练很复杂，这阻碍了它们在研究和临床应用中的采用。为了减少此入口障碍，我们提出了Medigan，Medigan是一站式商店，用于验证的生成型号，该型号是开源框架 - 不合骨python图书馆。 Medigan允许研究人员和开发人员仅在几行代码中创建，增加和域名。在基于收集的最终用户需求的设计决策的指导下，我们基于生成模型的模块化组件（i）执行，（ii）可视化，（iii）搜索和排名以及（iv）贡献。图书馆的可伸缩性和设计是通过其越来越多的综合且易于使用的验证生成模型来证明的，该模型由21种模型组成，利用9种不同的生成对抗网络体系结构在4个域中在11个数据集中训练，即乳腺摄影，内窥镜检查，X射线和X射线和X射线镜头，X射线和X型。 MRI。此外，在这项工作中分析了Medigan的3个应用，其中包括（a）启用社区范围内的限制数据共享，（b）研究生成模型评估指标以及（c）改进临床下游任务。在（b）中，扩展了公共医学图像综合评估和报告标准，我们根据图像归一化和特定于放射学特征提取了Fr \'Echet Inception距离变异性。

随着物联网，AI和ML/DL算法的出现，数据驱动的医疗应用已成为一种有前途的工具，用于从医学数据设计可靠且可扩展的诊断和预后模型。近年来，这引起了从学术界到工业的广泛关注。这无疑改善了医疗保健提供的质量。但是，由于这些基于AI的医疗应用程序在满足严格的安全性，隐私和服务标准（例如低延迟）方面的困难，因此仍然采用较差。此外，医疗数据通常是分散的和私人的，这使得在人群之间产生强大的结果具有挑战性。联邦学习（FL）的最新发展使得以分布式方式训练复杂的机器学习模型成为可能。因此，FL已成为一个积极的研究领域，尤其是以分散的方式处理网络边缘的医疗数据，以保护隐私和安全问题。为此，本次调查论文重点介绍了数据共享是重大负担的医疗应用中FL技术的当前和未来。它还审查并讨论了当前的研究趋势及其设计可靠和可扩展模型的结果。我们概述了FL将军的统计问题，设备挑战，安全性，隐私问题及其在医疗领域的潜力。此外，我们的研究还集中在医疗应用上，我们重点介绍了全球癌症的负担以及有效利用FL来开发计算机辅助诊断工具来解决这些诊断工具。我们希望这篇评论是一个检查站，以彻底的方式阐明现有的最新最新作品，并为该领域提供开放的问题和未来的研究指示。

对从FFPE组织块制备的载玻片上切割的染色组织的光学显微镜检查是组织诊断的金标准。此外，任何病理学家的诊断能力和专业知识都取决于他们在常见和稀有变体形态上的直接经验。最近，深度学习方法已被用来成功显示此类任务的高度准确性。但是，获得专家级注释的图像是一项昂贵且耗时的任务，人为合成的组织学图像可能会非常有益。在这里，我们提出了一种方法，不仅可以生成组织学图像，从而重现普通疾病的诊断形态特征，而且还提供了产生新的和罕见形态的用户能力。我们的方法涉及开发一种生成的对抗网络模型，该模型综合了由类标签约束的病理图像。我们研究了该框架合成现实的前列腺和结肠组织图像的能力，并评估了这些图像在增强机器学习方法的诊断能力以及通过一组经验丰富的解剖病理学家的可用性方面的实用性。我们的框架生成的合成数据在训练深度学习模型中进行了类似于实际数据进行诊断。病理学家无法区分真实图像和合成图像，并显示出相似的前列腺癌分级的观察者间一致性。我们扩展了从结肠活检中显着复杂图像的方法，并表明也可以再现了此类组织中的复杂微环境。最后，我们介绍了用户通过简单的语义标签标记来生成深层组织学图像的能力。

生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。

通信技术和互联网的最新进展与人工智能（AI）启用了智能医疗保健。传统上，由于现代医疗保健网络的高性性和日益增长的数据隐私问题，AI技术需要集中式数据收集和处理，这可能在现实的医疗环境中可能是不可行的。作为一个新兴的分布式协作AI范例，通过协调多个客户（例如，医院）来执行AI培训而不共享原始数据，对智能医疗保健特别有吸引力。因此，我们对智能医疗保健的使用提供了全面的调查。首先，我们在智能医疗保健中展示了近期进程，动机和使用FL的要求。然后讨论了近期智能医疗保健的FL设计，从资源感知FL，安全和隐私感知到激励FL和个性化FL。随后，我们对关键医疗领域的FL新兴应用提供了最先进的综述，包括健康数据管理，远程健康监测，医学成像和Covid-19检测。分析了几个最近基于智能医疗保健项目，并突出了从调查中学到的关键经验教训。最后，我们讨论了智能医疗保健未来研究的有趣研究挑战和可能的指示。

数据质量是发展医疗保健中值得信赖的AI的关键因素。大量具有控制混杂因素的策划数据集可以帮助提高下游AI算法的准确性，鲁棒性和隐私性。但是，访问高质量的数据集受数据获取的技术难度的限制，并且严格的道德限制阻碍了医疗保健数据的大规模共享。数据合成算法生成具有与真实临床数据相似的分布的数据，可以作为解决可信度AI的发展过程中缺乏优质数据的潜在解决方案。然而，最新的数据合成算法，尤其是深度学习算法，更多地集中于成像数据，同时忽略了非成像医疗保健数据的综合，包括临床测量，医疗信号和波形以及电子保健记录（EHRS）（EHRS） 。因此，在本文中，我们将回顾合成算法，尤其是对于非成像医学数据，目的是在该领域提供可信赖的AI。本教程风格的审查论文将对包括算法，评估，局限性和未来研究方向在内的各个方面进行全面描述。

诸如医学诊断的关键背景下的关键问题是决策系统采用的深度学习模型的可解释性。解释的人工智能（XAI）在试图解决这个问题。然而，通常XAI方法仅在通用分类器上进行测试，并且不代表诸如医学诊断等现实问题。在本文中，我们分析了对皮肤病变图像的案例研究，我们定制了一种现有的XAI方法，以解释能够识别不同类型的皮肤病变的深度学习模型。通过综合示例和皮肤病变的相反示例图像形成的解释，并为从业者提供一种突出负责分类决策的关键性状的方法。通过域专家，初学者和非熟练的人进行了一项调查，证明了解释的使用增加了自动决策系统的信任和信心。此外，解释器采用的潜在空间的分析推出了一些最常见的皮肤病变类是明显分开的。这种现象可以得出每个班级的内在特征，希望能够在解决人类专家的最常见的错误分类中提供支持。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

Data-driven Machine Learning has emerged as a promising approach for building accurate and robust statistical models from medical data, which is collected in huge volumes by modern healthcare systems. Existing medical data is not fully exploited by ML primarily because it sits in data silos and privacy concerns restrict access to this data. However, without access to sufficient data, ML will be prevented from reaching its full potential and, ultimately, from making the transition from research to clinical practice. This paper considers key factors contributing to this issue, explores how Federated Learning (FL) may provide a solution for the future of digital health and highlights the challenges and considerations that need to * Disclaimer: The opinions expressed herein are those of the authors and do not necessarily represent those of the institutions they are affiliated with, e.g. the U.S. Department of Health and Human Services or the National Institutes of Health. This is a pre-print version of https://www.nature.com/articles/s41746-020-00323-1 be addressed.

在很大程度上，由于隐私问题，很难培训有关疾病诊断或图像分割的医学图像的计算机视觉相关算法。因此，高度寻求生成图像模型以促进数据共享。但是，需要研究3-D生成模型，需要研究其隐私泄漏。我们使用在肿瘤面膜上进行条件研究的头和颈宠物图像介绍了3D生成模型横向gan（TRGAN）。我们为模型定义了图像保真度，实用性和隐私的定量度量。在培训过程中评估了这些指标，以确定理想的保真度，公用事业和隐私权权衡，并建立这些参数之间的关系。我们表明，Trgan的歧视者很容易受到攻击，并且攻击者可以识别哪些样品在训练中几乎完全准确（AUC = 0.99）。我们还表明，仅访问发电机的攻击者无法可靠地分类样品是否已用于训练（AUC = 0.51）。这表明Trgan发电机（而不是歧视者）可以用于共享具有最小隐私风险的合成3-D PET数据，同时保持良好的效用和保真度。

Federated learning achieves joint training of deep models by connecting decentralized data sources, which can significantly mitigate the risk of privacy leakage. However, in a more general case, the distributions of labels among clients are different, called ``label distribution skew''. Directly applying conventional federated learning without consideration of label distribution skew issue significantly hurts the performance of the global model. To this end, we propose a novel federated learning method, named FedMGD, to alleviate the performance degradation caused by the label distribution skew issue. It introduces a global Generative Adversarial Network to model the global data distribution without access to local datasets, so the global model can be trained using the global information of data distribution without privacy leakage. The experimental results demonstrate that our proposed method significantly outperforms the state-of-the-art on several public benchmarks. Code is available at \url{https://github.com/Sheng-T/FedMGD}.

Objective: Accurate visual classification of bladder tissue during Trans-Urethral Resection of Bladder Tumor (TURBT) procedures is essential to improve early cancer diagnosis and treatment. During TURBT interventions, White Light Imaging (WLI) and Narrow Band Imaging (NBI) techniques are used for lesion detection. Each imaging technique provides diverse visual information that allows clinicians to identify and classify cancerous lesions. Computer vision methods that use both imaging techniques could improve endoscopic diagnosis. We address the challenge of tissue classification when annotations are available only in one domain, in our case WLI, and the endoscopic images correspond to an unpaired dataset, i.e. there is no exact equivalent for every image in both NBI and WLI domains. Method: We propose a semi-surprised Generative Adversarial Network (GAN)-based method composed of three main components: a teacher network trained on the labeled WLI data; a cycle-consistency GAN to perform unpaired image-to-image translation, and a multi-input student network. To ensure the quality of the synthetic images generated by the proposed GAN we perform a detailed quantitative, and qualitative analysis with the help of specialists. Conclusion: The overall average classification accuracy, precision, and recall obtained with the proposed method for tissue classification are 0.90, 0.88, and 0.89 respectively, while the same metrics obtained in the unlabeled domain (NBI) are 0.92, 0.64, and 0.94 respectively. The quality of the generated images is reliable enough to deceive specialists. Significance: This study shows the potential of using semi-supervised GAN-based classification to improve bladder tissue classification when annotations are limited in multi-domain data.