无监督的域适应性(UDA)是解决一个问题的关键技术之一,很难获得监督学习所需的地面真相标签。通常,UDA假设在培训过程中可以使用来自源和目标域中的所有样本。但是,在涉及数据隐私问题的应用下,这不是现实的假设。为了克服这一限制,最近提出了无源数据的UDA,即无源无监督的域适应性(SFUDA)。在这里,我们提出了一种用于医疗图像分割的SFUDA方法。除了在UDA中通常使用的熵最小化方法外,我们还引入了一个损失函数,以避免目标域中的特征规范和在保留目标器官的形状约束之前。我们使用数据集进行实验,包括多种类型的源目标域组合,以显示我们方法的多功能性和鲁棒性。我们确认我们的方法优于所有数据集中的最先进。
translated by 谷歌翻译
实现域适应是有价值的,以将学习知识从标记为CT数据集传输到腹部多器官分段的目标未标记的MR DataSet。同时,非常希望避免目标数据集的高注重成本并保护源数据集的隐私。因此,我们提出了一种有效的无核心无监督域适应方法,用于跨型号腹部多器官分段而不访问源数据集。所提出的框架的过程包括两个阶段。在第一阶段,特征映射统计损失用于对准顶部分段网络中的源和目标特征的分布,并使用熵最小化损耗来鼓励高席位细分。从顶部分段网络输出的伪标签用于指导样式补偿网络生成类似源图像。从中间分割网络输出的伪标签用于监督所需模型的学习(底部分段网络)。在第二阶段,循环学习和像素自适应掩模细化用于进一步提高所需模型的性能。通过这种方法,我们在肝脏,肾脏,左肾肾脏和脾脏的分割中实现了令人满意的性能,骰子相似系数分别为0.884,0.891,0.864和0.911。此外,当存在目标注释数据时,所提出的方法可以很容易地扩展到情况。该性能在平均骰子相似度系数的0.888至0.922增加到0.888至0.922,靠近监督学习(0.929),只有一个标记的MR卷。
translated by 谷歌翻译
最小化分布匹配损失是在图像分类的背景下的域适应的原则方法。但是,在适应分割网络中,它基本上被忽略,目前由对抗模型主导。我们提出了一系列损失函数,鼓励在网络输出空间中直接核心密度匹配,直至从未标记的输入计算的一些几何变换。我们的直接方法而不是使用中间域鉴别器,而不是使用单一损失统一分发匹配和分段。因此,它通过避免额外的对抗步骤来简化分段适应,同时提高培训的质量,稳定性和效率。我们通过网络输出空间的对抗培训使我们对最先进的分段适应的方法并置。在对不同磁共振图像(MRI)方式相互调整脑细分的具有挑战性的任务中,我们的方法在准确性和稳定性方面取得了明显的结果。
translated by 谷歌翻译
这项工作提出了一个新颖的框架CISFA(对比图像合成和自我监督的特征适应),该框架建立在图像域翻译和无监督的特征适应性上,以进行跨模式生物医学图像分割。与现有作品不同,我们使用单方面的生成模型,并在输入图像的采样贴片和相应的合成图像之间添加加权贴片对比度损失,该图像用作形状约束。此外,我们注意到生成的图像和输入图像共享相似的结构信息,但具有不同的方式。因此,我们在生成的图像和输入图像上强制实施对比损失,以训练分割模型的编码器,以最大程度地减少学到的嵌入空间中成对图像之间的差异。与依靠对抗性学习进行特征适应的现有作品相比,这种方法使编码器能够以更明确的方式学习独立于域的功能。我们对包含腹腔和全心的CT和MRI图像的分割任务进行了广泛评估。实验结果表明,所提出的框架不仅输出了较小的器官形状变形的合成图像,而且还超过了最先进的域适应方法的较大边缘。
translated by 谷歌翻译
卷积神经网络(CNN)已经实现了医学图像细分的最先进性能,但需要大量的手动注释进行培训。半监督学习(SSL)方法有望减少注释的要求,但是当数据集大小和注释图像的数量较小时,它们的性能仍然受到限制。利用具有类似解剖结构的现有注释数据集来协助培训,这有可能改善模型的性能。然而,由于目标结构的外观不同甚至成像方式,跨解剖结构域的转移进一步挑战。为了解决这个问题,我们提出了跨解剖结构域适应(CS-CADA)的对比度半监督学习,该学习适应一个模型以在目标结构域中细分相似的结构,这仅需要通过利用一组现有现有的现有的目标域中的限制注释源域中相似结构的注释图像。我们使用特定领域的批归归量表(DSBN)来单独地标准化两个解剖域的特征图,并提出跨域对比度学习策略,以鼓励提取域不变特征。它们被整合到一个自我兼容的均值老师(SE-MT)框架中,以利用具有预测一致性约束的未标记的目标域图像。广泛的实验表明,我们的CS-CADA能够解决具有挑战性的跨解剖结构域移位问题,从而在视网膜血管图像和心脏MR图像的帮助下,在X射线图像中准确分割冠状动脉,并借助底底图像,分别仅给定目标域中的少量注释。
translated by 谷歌翻译
对于医学图像分割,想象一下,如果仅使用源域中的MR图像训练模型,它的性能如何直接在目标域中进行CT图像?这种设置,即概括的跨模块分割,拥有其临床潜力,其比其他相关设置更具挑战性,例如域适应。为实现这一目标,我们本文通过利用在我们更广泛的分割期间利用增强的源相似和源不同的图像来提出新的双标准化模块。具体而言,给定单个源域,旨在模拟未经证明的目标域中可能的外观变化,我们首先利用非线性变换来增加源相似和源不同的图像。然后,为了充分利用这两种类型的增强,我们所提出的基于双重定量的模型采用共享骨干但独立的批量归一化层,用于单独归一化。之后,我们提出了一种基于风格的选择方案来自动选择测试阶段的适当路径。在三个公开可用的数据集上进行了广泛的实验,即Brats,跨型心脏和腹部多器官数据集表明我们的方法优于其他最先进的域概括方法。
translated by 谷歌翻译
形状信息在医学图像中分割器官方面是强大而有价值的先验。但是,当前大多数基于深度学习的分割算法尚未考虑形状信息,这可能导致对纹理的偏见。我们旨在明确地对形状进行建模并使用它来帮助医疗图像分割。先前的方法提出了基于变异的自动编码器(VAE)模型,以了解特定器官的形状分布,并通过将其拟合到学习的形状分布中来自动评估分割预测的质量。我们旨在将VAE纳入当前的分割管道中。具体而言,我们提出了一种基于伪损失和在教师学习范式下的VAE重建损失的新的无监督域适应管道。两种损失都是同时优化的,作为回报,提高了分割任务性能。对三个公共胰腺细分数据集以及两个内部胰腺细分数据集进行了广泛的实验,显示了一致的改进,骰子分数中至少有2.8分的增益,这表明了我们方法在挑战无监督的域适应性方案中对医学图像分割的有效性。我们希望这项工作能够在医学成像中提高形状分析和几何学习。
translated by 谷歌翻译
Objective: Thigh muscle group segmentation is important for assessment of muscle anatomy, metabolic disease and aging. Many efforts have been put into quantifying muscle tissues with magnetic resonance (MR) imaging including manual annotation of individual muscles. However, leveraging publicly available annotations in MR images to achieve muscle group segmentation on single slice computed tomography (CT) thigh images is challenging. Method: We propose an unsupervised domain adaptation pipeline with self-training to transfer labels from 3D MR to single CT slice. First, we transform the image appearance from MR to CT with CycleGAN and feed the synthesized CT images to a segmenter simultaneously. Single CT slices are divided into hard and easy cohorts based on the entropy of pseudo labels inferenced by the segmenter. After refining easy cohort pseudo labels based on anatomical assumption, self-training with easy and hard splits is applied to fine tune the segmenter. Results: On 152 withheld single CT thigh images, the proposed pipeline achieved a mean Dice of 0.888(0.041) across all muscle groups including sartorius, hamstrings, quadriceps femoris and gracilis. muscles Conclusion: To our best knowledge, this is the first pipeline to achieve thigh imaging domain adaptation from MR to CT. The proposed pipeline is effective and robust in extracting muscle groups on 2D single slice CT thigh images.The container is available for public use at https://github.com/MASILab/DA_CT_muscle_seg
translated by 谷歌翻译
While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.
translated by 谷歌翻译
医疗图像合成引起了人们的关注,因为它可能会产生缺失的图像数据,改善诊断并受益于许多下游任务。但是,到目前为止,开发的合成模型并不适应显示域移位的看不见的数据分布,从而限制了其在临床常规中的适用性。这项工作着重于探索3D图像到图像合成模型的域适应性(DA)。首先,我们强调了分类,分割和合成模型之间DA的技术差异。其次,我们提出了一种基于近似3D分布的2D变异自动编码器的新型有效适应方法。第三,我们介绍了有关适应数据量和关键超参数量的影响的经验研究。我们的结果表明,所提出的方法可以显着提高3D设置中未见域的合成精度。该代码可在https://github.com/winstonhutiger/2d_vae_uda_for_3d_sythesis上公开获得。
translated by 谷歌翻译
无监督的域适应性(UDA)是一个至关重要的协议,用于迁移从标记的源域中学到的信息,以促进未标记的异质目标域中的实现。尽管UDA通常经过来自两个域的数据的共同培训,但由于对患者数据隐私或知识产权的担忧,访问标记的源域数据通常受到限制。为了避开此问题,我们提出了“现成的(OS)” UDA(OSUDA),针对图像分割,通过调整在源域中训练的OS进行调整到目标域,在适应中没有源域数据的情况下, 。为了实现这一目标,我们旨在开发新的批准归一化(BN)统计适应框架。特别是,我们通过指数型衰减策略逐渐适应了特定于域的低阶BN统计数据,例如平均值和差异,同时明确执行可共享的可共享高阶BN统计的一致性,例如,扩展和转移因子缩放和转移因子。 ,通过我们的优化目标。我们还通过低阶统计差异和缩放因素来自适应量化通道的可传递性,以评估每个通道的重要性。记忆一致的自我训练策略利用可靠的伪标签来稳定,有效的无监督适应。我们评估了基于OSUDA的跨模式和交叉型脑肿瘤分割和心脏MR到CT分割任务的框架。我们的实验结果表明,我们的内存一致性的OSUDA的性能优于现有的 - 源 - 删除的UDA方法,并且具有与源数据的UDA方法相似的性能。
translated by 谷歌翻译
为了促进医学图像分割技术的开发,提供了用于多功能医疗图像分割的大型腹部多器官数据集Amos,并通过使用数据集来构成AMOS 2022挑战。在本报告中,我们介绍了AMOS 2022挑战的解决方案。我们采用具有深远视觉的剩余U-NET作为我们的基本模型。实验结果表明,对于仅CT任务和CT/MRI任务,骰子相似系数和归一化表面骰子的平均得分分别为0.8504和0.8476。
translated by 谷歌翻译
域适应(DA)最近在医学影像社区提出了强烈的兴趣。虽然已经提出了大量DA技术进行了用于图像分割,但大多数这些技术已经在私有数据集或小公共可用数据集上验证。此外,这些数据集主要解决了单级问题。为了解决这些限制,与第24届医学图像计算和计算机辅助干预(Miccai 2021)结合第24届国际会议组织交叉模态域适应(Crossmoda)挑战。 Crossmoda是无监督跨型号DA的第一个大型和多级基准。挑战的目标是分割参与前庭施瓦新瘤(VS)的后续和治疗规划的两个关键脑结构:VS和Cochleas。目前,使用对比度增强的T1(CET1)MRI进行VS患者的诊断和监测。然而,使用诸如高分辨率T2(HRT2)MRI的非对比度序列越来越感兴趣。因此,我们创建了一个无人监督的跨模型分段基准。训练集提供注释CET1(n = 105)和未配对的非注释的HRT2(n = 105)。目的是在测试集中提供的HRT2上自动对HRT2进行单侧VS和双侧耳蜗分割(n = 137)。共有16支球队提交了评估阶段的算法。顶级履行团队达成的表现水平非常高(最佳中位数骰子 - vs:88.4%; Cochleas:85.7%)并接近完全监督(中位数骰子 - vs:92.5%;耳蜗:87.7%)。所有顶级执行方法都使用图像到图像转换方法将源域图像转换为伪目标域图像。然后使用这些生成的图像和为源图像提供的手动注释进行培训分割网络。
translated by 谷歌翻译
精确的心脏计算,多种式图像的分析和建模对于心脏病的诊断和治疗是重要的。晚期钆增强磁共振成像(LGE MRI)是一种有希望的技术,可视化和量化心肌梗塞(MI)和心房疤痕。由于LGE MRI的低图像质量和复杂的增强图案,MI和心房疤痕的自动化量可能是具有挑战性的。此外,与带金标准标签的其他序列LGE MRIS相比特别有限,这表示用于开发用于自动分割和LGE MRIS定量的新型算法的另一个障碍。本章旨在总结最先进的基于深度学习的多模态心脏图像分析的先进贡献。首先,我们向基于多序心脏MRI的心肌和病理分割介绍了两个基准工作。其次,提出了两种新的左心房瘢痕分割和从LGE MRI定量的新型框架。第三,我们为跨型心脏图像分割提出了三种无监督的域适应技术。
translated by 谷歌翻译
无监督的域适应方法最近在各种医学图像分割任务中成功了。报告的作品通常通过对齐域不变特征并最大程度地减少特定于域的差异来解决域移位问题。当特定域之间的差异和不同域之间的差异很小时,该策略效果很好。但是,这些模型对各种成像方式的概括能力仍然是一个重大挑战。本文介绍了UDA-VAE ++,这是一种无监督的域适应框架,用于心脏分割,并具有紧凑的损失函数下限。为了估算这一新的下限,我们使用全局估计器,局部估计器和先前的信息匹配估计器开发了新的结构共同信息估计(SMIE)块,以最大程度地提高重建和分割任务之间的相互信息。具体而言,我们设计了一种新型的顺序重新聚集方案,该方案可以实现从低分辨率潜在空间到高分辨率潜在空间的信息流和方差校正。基准心脏分割数据集的全面实验表明,我们的模型在定性和定量上优于先前的最先进。该代码可在https://github.com/louey233/toward-mutual-information} {https://github.com/louey233/toward-mutual-information中获得
translated by 谷歌翻译
本研究的目的是申请和评估跨多媒体挑战的开箱即用的深度学习框架。我们使用从对比度增强的T1 MR到高分辨率T2 MR的域改性的剪切模型。作为数据增强,我们生成了带有较低信号强度的前庭施瓦莫纳的额外图像。对于分段任务,我们使用NNU-Net框架。我们的最终提交在验证阶段实现了0.8299的平均骰子分数,测试阶段0.8253。我们的方法在Crossmoda挑战中排名第3。
translated by 谷歌翻译
通过在未标记的目标域中应用良好的模型,通过对标记的源域的监督应用了良好的模型,已经通过对未标记的目标域应用了良好的模型,对无监督的域适应(UDA)进行了大量探索,以减轻源和目标域之间的域变化。然而,最近的文献表明,在存在重大领域变化的情况下,性能仍然远非令人满意。但是,由于绩效的实质性增长,划定一些目标样本通常是易于管理的,尤其是值得的。受此启发的启发,我们旨在开发半监督域的适应性(SSDA)进行医学图像分割,这在很大程度上没有被置于脑海中。因此,除了以统一的方式使用未标记的目标数据外,我们建议利用标记的源和目标域数据。具体而言,我们提出了一种新型的不对称共同训练(ACT)框架,以整合这些子集并避免源域数据的统治。遵循分歧和纠纷策略,我们将SSDA的标签监督分为两个不对称的子任务,包括半监督学习(SSL)和UDA,并利用两个细分市场的不同知识来考虑在两个部分之间的区别,以考虑到不同的知识。来源和目标标签监督。然后,在两个模块中学习的知识与ACT自适应地整合,通过基于置信度的伪标签进行迭代教学。此外,伪标签噪声与指数混合衰减方案可以很好地控制,以进行平滑传播。使用BRATS18数据库进行跨模式脑肿瘤MRI分割任务的实验表明,即使标记有限的目标样本,ACT也对UDA和最先进的SSDA方法产生了明显的改进,并接近了受监督的联合训练的“上限” 。
translated by 谷歌翻译
基于对抗性学习的现有无监督的域适应方法在多个医学成像任务中取得了良好的表现。但是,这些方法仅着眼于全局分布适应,而忽略了类别级别的分布约束,这将导致次级适应性的性能。本文基于类别级别的正则化提出了一个无监督的域适应框架,该框架从三个角度正规化了类别分布。具体而言,对于域间类别的正则化,提出了一个自适应原型比对模块,以使源和目标域中同一类别的特征原型对齐。此外,对于域内类别的正则化,我们分别针对源和目标域定制了正则化技术。在源域中,提出了原型引导的判别性损失,以通过执行阶层内紧凑性和类间的分离性来学习更多的判别特征表示,并作为对传统监督损失的补充。在目标域中,提出了增强的一致性类别的正则化损失,以迫使该模型为增强/未增强目标图像提供一致的预测,这鼓励在语义上相似的区域给予相同的标签。在两个公共底面数据集上进行的广泛实验表明,所提出的方法显着优于其他最先进的比较算法。
translated by 谷歌翻译
对于医学图像分析,在一个或几个领域训练的分割模型由于不同数据采集策略之间的差异而缺乏概括性的能力,无法看不见域。我们认为,分割性能的退化主要归因于过度拟合源域和域移位。为此,我们提出了一种新颖的可推广医学图像分割方法。要具体而言,我们通过将分割模型与自学域特异性图像恢复(DSIR)模块相结合,将方法设计为多任务范式。我们还设计了一个随机的振幅混音(RAM)模块,该模块结合了不同域图像的低级频率信息以合成新图像。为了指导我们的模型对域转移有抵抗力,我们引入了语义一致性损失。我们证明了我们在医学图像中两个可公开的分段基准测试中的方法的性能,这证实了我们的方法可以实现最先进的性能。
translated by 谷歌翻译
无监督的交叉模式医学图像适应旨在减轻不同成像方式之间的严重域间隙,而无需使用目标域标签。该活动的关键依赖于对齐源和目标域的分布。一种常见的尝试是强制两个域之间的全局对齐,但是,这忽略了致命的局部不平衡域间隙问题,即,一些具有较大域间隙的局部特征很难转移。最近,某些方法进行一致性,重点是地方区域,以提高模型学习的效率。尽管此操作可能会导致上下文中关键信息的缺陷。为了应对这一限制,我们提出了一种新的策略,以减轻医学图像的特征,即全球本地联盟的一致性,以减轻域间隙不平衡。具体而言,功能 - 触发样式转移模块首先合成类似目标的源包含图像,以减少全局域间隙。然后,集成了本地功能掩码,以通过优先考虑具有较大域间隙的判别特征来减少本地特征的“间隙”。全球和局部对齐的这种组合可以精确地将关键区域定位在分割目标中,同时保持整体语义一致性。我们进行了一系列具有两个跨模式适应任务的实验,i,e。心脏子结构和腹部多器官分割。实验结果表明,我们的方法在这两个任务中都达到了最新的性能。
translated by 谷歌翻译