尽管受到监督的深度学习在医学图像细分方面取得了有希望的表现，但许多方法不能很好地概括在看不见的数据上，从而限制了其现实世界的适用性。为了解决这个问题，我们提出了一个基于学习的贝叶斯框架，该框架共同对图像和标签统计数据进行建模，并利用医学图像的域 - iRrelevant轮廓进行分割。具体而言，我们首先将图像分解为轮廓和基础的组成部分。然后，我们将预期标签建模为仅与轮廓相关的变量。最后，我们开发了一个变异的贝叶斯框架，以推断这些变量的后验分布，包括轮廓，基础和标签。该框架是通过神经网络实现的，因此称为深贝叶斯分割。跨序列心脏MRI分割的任务的结果表明，我们的方法为模型推广设定了新的最新技术。特别是，在T2图像上良好训练的LGE MRI训练的贝斯模型超过了其他型号，即在平均骰子方面超过0.47。我们的代码可在https://zmiclab.github.io/projects.html上找到。

Objective: Convolutional neural networks (CNNs) have demonstrated promise in automated cardiac magnetic resonance image segmentation. However, when using CNNs in a large real-world dataset, it is important to quantify segmentation uncertainty and identify segmentations which could be problematic. In this work, we performed a systematic study of Bayesian and non-Bayesian methods for estimating uncertainty in segmentation neural networks. Methods: We evaluated Bayes by Backprop, Monte Carlo Dropout, Deep Ensembles, and Stochastic Segmentation Networks in terms of segmentation accuracy, probability calibration, uncertainty on out-of-distribution images, and segmentation quality control. Results: We observed that Deep Ensembles outperformed the other methods except for images with heavy noise and blurring distortions. We showed that Bayes by Backprop is more robust to noise distortions while Stochastic Segmentation Networks are more resistant to blurring distortions. For segmentation quality control, we showed that segmentation uncertainty is correlated with segmentation accuracy for all the methods. With the incorporation of uncertainty estimates, we were able to reduce the percentage of poor segmentation to 5% by flagging 31--48% of the most uncertain segmentations for manual review, substantially lower than random review without using neural network uncertainty (reviewing 75--78% of all images). Conclusion: This work provides a comprehensive evaluation of uncertainty estimation methods and showed that Deep Ensembles outperformed other methods in most cases. Significance: Neural network uncertainty measures can help identify potentially inaccurate segmentations and alert users for manual review.

由于缺乏对未标记的结构的监督，部分监督的学习对于细分可能是具有挑战性的，并且直接应用完全监督学习的方法可能导致不兼容，这意味着地面真相不在损失功能的解决方案集合中。为了应对挑战，我们提出了一个深入的兼容学习（DCL）框架，该框架使用仅带有部分结构的图像来训练单个多标签分割网络。我们首先将部分监督的分割制定为与缺少标签兼容的优化问题，并证明其兼容性。然后，我们为模型配备有条件的分割策略，以将标签从多个部分注销的图像传播到目标。此外，我们提出了一种双重学习策略，该策略同时学习了标签传播的两个相反的映射，以对未标记的结构进行实质性的监督。这两种策略分别为兼容形式，分别称为条件兼容性和双重兼容性。我们显示该框架通常适用于常规损失功能。该方法对现有方法具有重大的性能提高，尤其是在只有小型培训数据集的情况下。三个细分任务的结果表明，所提出的框架可以实现匹配完全监督模型的性能。

Myocardial pathology segmentation (MyoPS) can be a prerequisite for the accurate diagnosis and treatment planning of myocardial infarction. However, achieving this segmentation is challenging, mainly due to the inadequate and indistinct information from an image. In this work, we develop an end-to-end deep neural network, referred to as MyoPS-Net, to flexibly combine five-sequence cardiac magnetic resonance (CMR) images for MyoPS. To extract precise and adequate information, we design an effective yet flexible architecture to extract and fuse cross-modal features. This architecture can tackle different numbers of CMR images and complex combinations of modalities, with output branches targeting specific pathologies. To impose anatomical knowledge on the segmentation results, we first propose a module to regularize myocardium consistency and localize the pathologies, and then introduce an inclusiveness loss to utilize relations between myocardial scars and edema. We evaluated the proposed MyoPS-Net on two datasets, i.e., a private one consisting of 50 paired multi-sequence CMR images and a public one from MICCAI2020 MyoPS Challenge. Experimental results showed that MyoPS-Net could achieve state-of-the-art performance in various scenarios. Note that in practical clinics, the subjects may not have full sequences, such as missing LGE CMR or mapping CMR scans. We therefore conducted extensive experiments to investigate the performance of the proposed method in dealing with such complex combinations of different CMR sequences. Results proved the superiority and generalizability of MyoPS-Net, and more importantly, indicated a practical clinical application.

精确的心脏计算，多种式图像的分析和建模对于心脏病的诊断和治疗是重要的。晚期钆增强磁共振成像（LGE MRI）是一种有希望的技术，可视化和量化心肌梗塞（MI）和心房疤痕。由于LGE MRI的低图像质量和复杂的增强图案，MI和心房疤痕的自动化量可能是具有挑战性的。此外，与带金标准标签的其他序列LGE MRIS相比特别有限，这表示用于开发用于自动分割和LGE MRIS定量的新型算法的另一个障碍。本章旨在总结最先进的基于深度学习的多模态心脏图像分析的先进贡献。首先，我们向基于多序心脏MRI的心肌和病理分割介绍了两个基准工作。其次，提出了两种新的左心房瘢痕分割和从LGE MRI定量的新型框架。第三，我们为跨型心脏图像分割提出了三种无监督的域适应技术。

分布式学习在医学图像分析中表现出了巨大的潜力。它允许使用具有隐私保护的多中心培训数据。但是，由于不同的成像供应商和注释协议，本地中心的数据分布可能会彼此不同。这种变化降低了基于学习的方法的性能。为了减轻影响，已经提出了两组方法针对不同的目标，即全球方法和个性化方法。前者的目的是改善来自看不见的中心（称为通用数据）的所有测试数据的单个全局模型的性能；而后者则针对每个中心的多个模型（称为本地数据）。但是，几乎没有研究以同时实现这两个目标。在这项工作中，我们提出了一个新的分布式学习框架，该框架弥合了两组之间的差距，并提高了通用和本地数据的性能。具体而言，我们的方法通过分布条件的适应矩阵将通用数据和局部数据的预测分解。多中心左心房（LA）MRI分割的结果表明，我们的方法表明，在通用和局部数据上的现有方法比现有方法表现出色。我们的代码可从https://github.com/key1589745/decouple_predict获得

Clinical diagnostic and treatment decisions rely upon the integration of patient-specific data with clinical reasoning. Cancer presents a unique context that influence treatment decisions, given its diverse forms of disease evolution. Biomedical imaging allows noninvasive assessment of disease based on visual evaluations leading to better clinical outcome prediction and therapeutic planning. Early methods of brain cancer characterization predominantly relied upon statistical modeling of neuroimaging data. Driven by the breakthroughs in computer vision, deep learning became the de facto standard in the domain of medical imaging. Integrated statistical and deep learning methods have recently emerged as a new direction in the automation of the medical practice unifying multi-disciplinary knowledge in medicine, statistics, and artificial intelligence. In this study, we critically review major statistical and deep learning models and their applications in brain imaging research with a focus on MRI-based brain tumor segmentation. The results do highlight that model-driven classical statistics and data-driven deep learning is a potent combination for developing automated systems in clinical oncology.

现代深层神经网络在医学图像分割任务中取得了显着进展。然而，最近观察到他们倾向于产生过于自信的估计，即使在高度不确定性的情况下，导致校准差和不可靠的模型。在这项工作中，我们介绍了错误的预测（MEEP）的最大熵，分割网络的培训策略，这些网络选择性地惩罚过度自信预测，仅关注错误分类的像素。特别是，我们设计了一个正规化术语，鼓励出于错误的预测，增加了复杂场景中的网络不确定性。我们的方法对于神经结构不可知，不会提高模型复杂性，并且可以与多分割损耗功能耦合。我们在两个具有挑战性的医学图像分割任务中将拟议的策略基准：脑磁共振图像（MRI）中的白质超强度病变，心脏MRI中的心房分段。实验结果表明，具有标准分割损耗的耦合MEEP不仅可以改善模型校准，而且还导致分割质量。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

鉴于其精确，效率和客观性，深入学习（DL）在重塑医疗保健系统方面具有很大的承诺。然而，DL模型到嘈杂和分发输入的脆性是在诊所的部署中的疾病。大多数系统产生点估计，无需进一步了解模型不确定性或信心。本文介绍了一个新的贝叶斯深度学习框架，用于分割神经网络中的不确定量化，特别是编码器解码器架构。所提出的框架使用一阶泰勒级近似传播，并学习模型参数分布的前两个矩（均值和协方差，通过最大化培训数据来最大限度地提高界限。输出包括两个地图：分段图像和分段的不确定性地图。细分决定中的不确定性被预测分配的协方差矩阵捕获。我们评估了从磁共振成像和计算机断层扫描的医学图像分割数据上提出的框架。我们在多个基准数据集上的实验表明，与最先进的分割模型相比，所提出的框架对噪声和对抗性攻击更加稳健。此外，所提出的框架的不确定性地图将低置信度（或等效高不确定性）与噪声，伪像或对抗攻击损坏的测试输入图像中的贴片。因此，当通过在不确定性地图中呈现更高的值，该模型可以自评测出现错误预测或错过分割结构的一部分，例如肿瘤。

Solving variational image segmentation problems with hidden physics is often expensive and requires different algorithms and manually tunes model parameter. The deep learning methods based on the U-Net structure have obtained outstanding performances in many different medical image segmentation tasks, but designing such networks requires a lot of parameters and training data, not always available for practical problems. In this paper, inspired by traditional multi-phase convexity Mumford-Shah variational model and full approximation scheme (FAS) solving the nonlinear systems, we propose a novel variational-model-informed network (denoted as FAS-Unet) that exploits the model and algorithm priors to extract the multi-scale features. The proposed model-informed network integrates image data and mathematical models, and implements them through learning a few convolution kernels. Based on the variational theory and FAS algorithm, we first design a feature extraction sub-network (FAS-Solution module) to solve the model-driven nonlinear systems, where a skip-connection is employed to fuse the multi-scale features. Secondly, we further design a convolution block to fuse the extracted features from the previous stage, resulting in the final segmentation possibility. Experimental results on three different medical image segmentation tasks show that the proposed FAS-Unet is very competitive with other state-of-the-art methods in qualitative, quantitative and model complexity evaluations. Moreover, it may also be possible to train specialized network architectures that automatically satisfy some of the mathematical and physical laws in other image problems for better accuracy, faster training and improved generalization.The code is available at \url{https://github.com/zhuhui100/FASUNet}.

尽管脑肿瘤分割的准确性最近取得了进步，但结果仍然遭受低可靠性和鲁棒性的影响。不确定性估计是解决此问题的有效解决方案，因为它提供了对分割结果的信心。当前的不确定性估计方法基于分位数回归，贝叶斯神经网络，集合和蒙特卡洛辍学者受其高计算成本和不一致的限制。为了克服这些挑战，在最近的工作中开发了证据深度学习（EDL），但主要用于自然图像分类。在本文中，我们提出了一个基于区域的EDL分割框架，该框架可以生成可靠的不确定性图和可靠的分割结果。我们使用证据理论将神经网络的输出解释为从输入特征收集的证据价值。遵循主观逻辑，将证据作为差异分布进行了参数化，预测的概率被视为主观意见。为了评估我们在分割和不确定性估计的模型的性能，我们在Brats 2020数据集上进行了定量和定性实验。结果证明了所提出的方法在量化分割不确定性和稳健分割肿瘤方面的最高性能。此外，我们提出的新框架保持了低计算成本和易于实施的优势，并显示了临床应用的潜力。

包括MRI，CT和超声在内的医学成像在临床决策中起着至关重要的作用。准确的分割对于测量图像感兴趣的结构至关重要。但是，手动分割是高度依赖性的，这导致了定量测量的高度和内部变异性。在本文中，我们探讨了通过深神经网络参数参数的贝叶斯预测分布可以捕获临床医生的内部变异性的可行性。通过探索和分析最近出现的近似推理方案，我们可以评估近似贝叶斯的深度学习是否具有分割后的后验可以学习分割和临床测量中的内在评估者变异性。实验以两种不同的成像方式进行：MRI和超声。我们从经验上证明，通过深神经网络参数化参数的贝叶斯预测分布可以近似临床医生的内部变异性。我们通过提供临床测量不确定性来定量分析医学图像，展示了一个新的观点。

由于复杂的腹部内形状和腹部器官之间的复杂形状和外观变化，从不同模态的CT成像中进行的准确且健壮的腹部多器官分割是一项具有挑战性的任务。在本文中，我们提出了一个具有分层空间特征调制的概率多器官分割网络，以捕获灵活的器官语义变体，并将学习的变体注入不同的特征图尺度，以进行指导分割。更具体地说，我们通过条件变异自动编码器设计一个输入分解模块，以在低维潜在空间和模型富有器官语义变化上学习器官特异性分布，该分布在输入图像上进行条件。 -NET解码器通过空间特征转换从层次上进行分层，该特征转换能够将变化转换为空间特征映射调制并指导细尺度分割的条件仿射转换参数。提出的方法对公开可用的腹部可用数据集进行了培训，并在其他两个开放数据集上进行了评估，即100个挑战/病理测试，从腹部腹部1K完全监督的腹部器官细分基准和90例TCIA+＆BTCV数据集中进行了90例病例。使用这些数据集用于四个腹部器官，肾脏，脾脏和胰腺，肾脏分数提高了7.3％，胰腺的骰子得分提高了7.7％，而胰腺的骰子得分提高了7.3％，而胰腺的较高速度比强度快7倍，较高的7倍基线分割方法（NNUNET和COTR）。

Deep learning methods have contributed substantially to the rapid advancement of medical image segmentation, the quality of which relies on the suitable design of loss functions. Popular loss functions, including the cross-entropy and dice losses, often fall short of boundary detection, thereby limiting high-resolution downstream applications such as automated diagnoses and procedures. We developed a novel loss function that is tailored to reflect the boundary information to enhance the boundary detection. As the contrast between segmentation and background regions along the classification boundary naturally induces heterogeneity over the pixels, we propose the piece-wise two-sample t-test augmented (PTA) loss that is infused with the statistical test for such heterogeneity. We demonstrate the improved boundary detection power of the PTA loss compared to benchmark losses without a t-test component.

半监督学习在医疗领域取得了重大进展，因为它减轻了收集丰富的像素的沉重负担，用于针对语义分割任务。现有的半监督方法增强了利用从有限标记数据获得的现有知识从未标记数据提取功能的能力。然而，由于标记数据的稀缺性，模型提取的特征在监督学习中受到限制，并且对未标记数据的预测质量也无法保证。两者都将妨碍一致培训。为此，我们提出了一种新颖的不确定性感知计划，以使模型自动学习地区。具体而言，我们采用Monte Carlo采样作为获得不确定性地图的估计方法，该方法可以作为损失损失的重量，以强制根据监督学习和无监督学习的特征将模型专注于有价值的区域。同时，在后退过程中，我们通过增强不同任务之间的梯度流动，联合无监督和监督损失来加速网络的融合。定量地，我们对三个挑战的医疗数据集进行了广泛的实验。实验结果表明，最先进的对应物的理想改善。

大脑提取是预处理3D脑MRI数据的第一步之一。它是任何即将进行的大脑成像分析的先决条件。但是，由于大脑和人头的复杂结构，这并不是一个简单的分割问题。尽管文献中已经提出了多种解决方案，但我们仍然没有真正强大的方法。尽管以前的方法已将机器学习与结构/几何先验使用，但随着计算机视觉任务中深度学习的发展，对于此语义分割任务，建议的卷积神经网络体系结构有所增加。但是，大多数模型都致力于改善培训数据和损失功能，而架构的变化很小。在本文中，我们提出了一种称为EVC-NET的新颖架构。 EVC-NET在每个编码器块上添加了较低的比例输入。这增强了V-NET体系结构的多尺度方案，从而提高了模型的效率。有条件的随机字段，是深度学习时代之前的图像分割的一种流行方法，在这里重新引入，作为完善网络输出以捕获细分粒度结果的额外步骤。我们将我们的模型与HD-BET，Synthstrip和Brainy等最新方法进行比较。结果表明，即使训练资源有限，EVC-NET也可以达到更高的骰子系数和Jaccard指数以及较低的表面距离。

最近，已经提出了几种半监督医学图像分割的贝叶斯深度学习方法。尽管他们在医疗基准方面取得了令人鼓舞的结果，但仍然存在一些问题。首先，他们的整体体系结构属于判别模型，因此，在培训的早期阶段，它们仅使用标记的数据进行培训，这可能会使它们过于贴合标记的数据。其次，实际上，它们仅部分基于贝叶斯深度学习，因为它们的整体体系结构不是在贝叶斯框架下设计的。但是，统一贝叶斯观点下的整体体系结构可以使体系结构具有严格的理论依据，因此体系结构的每个部分都可以具有明确的概率解释。因此，为了解决问题，我们提出了一种新的生成贝叶斯深度学习（GBDL）体系结构。 GBDL属于生成模型，其目标是估计输入医疗量及其相应标签的联合分布。估计联合分布隐式涉及数据的分布，因此在培训的早期阶段都可以使用标记和未标记的数据，从而减轻潜在的过度拟合问题。此外，GBDL是在贝叶斯框架下完全设计的，因此我们提供了其完整的贝叶斯配方，这为我们的建筑奠定了理论上的概率基础。广泛的实验表明，我们的GBDL在三个公共医疗数据集上的四个常用评估指标方面优于先前的最新方法。

难以通过二进制面具手动准确标记含糊不清的和复杂形状的目标。在医学图像分割中突出显示二元掩模下面的弱点，其中模糊是普遍的。在多个注释的情况下，通过二元面具对临床医生达成共识更具挑战性。此外，这些不确定的区域与病变结构有关，可能含有有利于诊断的解剖信息。然而，目前关于不确定性的研究主要关注模型培训和数据标签的不确定性。他们都没有调查病变本身的模糊性质的影响。通过图像消光，透过图像消光，将Alpha Matte作为软片介绍，代表医学场景中不确定的区域，并因此提出了一种新的不确定性量化方法来填补填补差距病变结构的不确定性研究。在这项工作中，我们在多任务框架中引入了一种新的架构，以在多任务框架中生成二进制掩模和alpha掩饰，这优于所有最先进的消光算法。建议的不确定性地图能够突出模糊地区和我们提出的新型多任务损失加权策略可以进一步提高性能并证明其具体的益处。为了充分评估我们提出的方法的有效性，我们首先用alpha哑布标记了三个医疗数据集，以解决医学场景中可用消光数据集的短缺，并证明alpha遮罩是一种比定性的二进制掩模更有效的标签方法和量化方面。

大型策划数据集是必要的，但是注释医学图像是一个耗时，费力且昂贵的过程。因此，最近的监督方法着重于利用大量未标记的数据。但是，这样做是一项具有挑战性的任务。为了解决这个问题，我们提出了一种新的3D Cross伪监督（3D-CPS）方法，这是一种基于NNU-NET的半监督网络体系结构，采用交叉伪监督方法。我们设计了一种新的基于NNU-NET的预处理方法，并在推理阶段采用强制间距设置策略来加快推理时间。此外，我们将半监督的损耗重量设置为与每个时期的线性扩展，以防止在早期训练过程中模型从低质量的伪标签中。我们提出的方法在MICCAI Flare2022验证集（20例）上，平均骰子相似系数（DSC）为0.881，平均归一化表面距离（NSD）为0.913。