关于对比学习的最新研究仅通过在医学图像分割的背景下利用很少的标签来实现出色的性能。现有方法主要关注实例歧视和不变映射。但是,他们面临三个常见的陷阱:(1)尾巴:医疗图像数据通常遵循隐式的长尾分配。盲目利用训练中的所有像素会导致数据失衡问题,并导致性能恶化; (2)一致性:尚不清楚分割模型是否由于不同解剖学特征之间的类内变化而学会了有意义但一致的解剖学特征; (3)多样性:整个数据集中的切片内相关性已得到明显降低的关注。这促使我们寻求一种有原则的方法来战略利用数据集本身,以发现不同解剖学观点的类似但不同的样本。在本文中,我们介绍了一种新型的半监督医学图像分割框架,称其为您自己的解剖结构(MONA),并做出了三个贡献。首先,先前的工作认为,每个像素对模型培训都同样重要。我们从经验上观察到,仅此单单就不太可能定义有意义的解剖特征,这主要是由于缺乏监督信号。我们通过使用更强大的数据增强和最近的邻居展示了学习不变的两个简单解决方案。其次,我们构建了一组目标,鼓励模型能够以无监督的方式将医学图像分解为解剖特征的集合。最后,我们在具有不同标记设置的三个基准数据集上的广泛结果验证了我们提出的MONA的有效性,该数据在不同的标签设置下实现了新的最新设置。
translated by 谷歌翻译
从图像中学习心脏运动中的时空对应关系对于理解心脏解剖结构的潜在动力学很重要。许多方法明确施加了平滑度约束,例如位移矢量字段(DVF)上的$ \ Mathcal {l} _2 $ NORM,而通常忽略转换中的生物力学可行性。其他几何约束要么正规化特定的感兴趣区域,例如在心肌上施加不可压缩性,要么引入其他步骤,例如在物理模拟的数据集上训练单独的基于网络的正规器。在这项工作中,我们提出了一个明确的生物力学知识,因为在所有心脏结构中对更通用的生物力学上可行的转化进行建模,而无需引入额外的训练复杂性,因此对预测的DVF进行了正则化。在2D MRI数据的背景下,我们验证了两个公开可用数据集的方法,并执行广泛的实验,以说明与其他竞争性正规化方案相比,我们提出的方法的有效性和鲁棒性。我们提出的方法可以通过视觉评估更好地保留生物力学特性,并使用定量评估指标显示分割性能的优势。该代码可在\ url {https://github.com/voldemort108x/bioinformed_reg}上公开获得。
translated by 谷歌翻译
最近,在机器阅读理解(MRC)中广泛研究了注意力增强的多层编码器,例如变压器。为了预测答案,通常使用预测因子仅从最终编码层中汲取信息,该层生成源序列的粗粒表示,即段落和问题。分析表明,随着编码层的增加,源序列的表示会变得更粗糙。人们普遍认为,随着深度神经网络中越来越多的层数,编码过程将越来越多地为每个位置收集相关信息,从而导致更粗糙的表示形式,这增加了与其他位置相似的可能性(指均质性) 。这种现象会误导该模型做出错误的判断并降低表现。在本文中,我们认为,如果预测指标可以利用编码器不同粒度的表示形式,从而提供了源序列的不同视图,从而使模型的表达能力可以充分利用,那将是更好的。为此,我们提出了一种新型方法,称为自适应双向注意封闭网络(ABA-NET),该方法可自适应地利用不同级别的源代表向预测指标。此外,由于更好的表示是提高MRC性能的核心,因此胶囊网络和自我发项模块被仔细设计为我们编码器的构建块,该模块分别提供了探索本地和全球表示的能力。在三个基准数据集(即小队1.0,Squad 2.0和COQA)上进行的实验结果证明了我们方法的有效性。特别是,我们在小队1.0数据集上设置了新的最新性能
translated by 谷歌翻译
磁共振光谱成像(MRSI)是量化体内代谢物的必不可少的工具,但是低空间分辨率限制了其临床应用。基于深度学习的超分辨率方法为改善MRSI的空间分辨率提供了有希望的结果,但是与实验获得的高分辨率图像相比,超级分辨图像通常是模糊的。已经使用生成对抗网络进行了尝试,以提高图像视觉质量。在这项工作中,我们考虑了另一种类型的生成模型,即基于流的模型,与对抗网络相比,训练更稳定和可解释。具体而言,我们提出了一个基于流动的增强器网络,以提高超分辨率MRSI的视觉质量。与以前的基于流的模型不同,我们的增强器网络包含了来自其他图像模式(MRI)的解剖信息,并使用可学习的基础分布。此外,我们施加指南丢失和数据一致性丢失,以鼓励网络在保持高忠诚度的同时以高视觉质量生成图像。从25名高级神经胶质瘤患者获得的1H-MRSI数据集上进行的实验表明,我们的增强子网络的表现优于对抗网络和基线基线方法。我们的方法还允许视觉质量调整和不确定性估计。
translated by 谷歌翻译
磁共振光谱成像(MRSI)是研究人体代谢活动的宝贵工具,但目前的应用仅限于低空间分辨率。现有的基于深度学习的MRSI超分辨率方法需要培训一个单独的网络,为每个升级因素训练,这是耗时的,并且记忆力低下。我们使用过滤器缩放策略来解决这个多尺度的超分辨率问题,该级别的缩放策略根据升级因素调节卷积过滤器,以便可以将单个网络用于各种高尺度因素。观察每个代谢物具有不同的空间特征,我们还根据特定的代谢产物调节网络。此外,我们的网络基于对抗损失的重量,因此可以在单个网络中调整超级分辨代谢图的感知清晰度。我们使用新型的多条件模块结合了这些网络条件。实验是在15名高级神经胶质瘤患者的1H-MRSI数据集上进行的。结果表明,所提出的网络在多种多尺度超分辨率方法中实现了最佳性能,并且可以提供具有可调清晰度的超级分辨代谢图。
translated by 谷歌翻译
基因本体论(GO)是能够在生物医学中实现计算任务的主要基因功能知识基础。 GO的基本元素是一个术语,其中包括一组具有相同功能的基因。 GO的现有研究工作主要集中于预测基因术语关联。很少追求其他任务,例如生成新术语的描述。在本文中,我们提出了一项新颖的任务:GO术语描述生成。该任务旨在自动生成一个句子,该句子描述了属于这三个类别之一的GO术语的功能,即分子功能,生物过程和细胞分量。为了解决此任务,我们提出了一个可以有效利用GO结构信息的图形网络。提出的网络引入了两层图:第一层是GO术语的图形,每个节点也是一个图(基因图)。这样的图形网络可以得出GO术语的生物学功能并生成适当的描述。为了验证拟议网络的有效性,我们构建了三个大规模基准数据集。通过合并所提出的图形网络,可以在所有评估指标中显着提高七个不同序列与序列模型的性能,其中BLEU,Rouge-rouge-相对改善高达34.7%,14.5%和39.1% L和流星。
translated by 谷歌翻译
图像注册广泛用于医学图像分析中,以提供两个图像之间的空间对应关系。最近提出了利用卷积神经网络(CNN)的基于学习的方法来解决图像注册问题。基于学习的方法往往比基于传统优化的方法快得多,但是从复杂的CNN方法中获得的准确性提高是适度的。在这里,我们介绍了一个新的基于深神经的图像注册框架,名为\ textbf {mirnf},该框架代表通过通过神经字段实现的连续函数的对应映射。 MIRNF输出的变形矢量或速度向量给定3D坐标为输入。为了确保映射是差异的,使用神经ODE求解器集成了MiRNF的速度矢量输出,以得出两个图像之间的对应关系。此外,我们提出了一个混合坐标采样器以及级联的体系结构,以实现高相似性映射性能和低距离变形场。我们对两个3D MR脑扫描数据集进行了实验,这表明我们提出的框架提供了最新的注册性能,同时保持了可比的优化时间。
translated by 谷歌翻译
最近已经为医疗图像分割任务创建了许多医疗数据集,并且自然质疑我们是否可以使用它们来依次训练(1)在所有这些数据集中表现更好的单个模型,并且(2)良好的概括和传输更好到未知的目标站点域。先前的工作通过在多站点数据集上共同训练一个模型来实现这一目标,该模型平均实现了竞争性能,但是这种方法依赖于所有培训数据的可用性的假设,从而限制了其在实际部署中的有效性。在本文中,我们提出了一个称为增量转移学习(ITL)的新型多站点分割框架,该框架以端到端的顺序方式从多站点数据集中学习模型。具体而言,“增量”是指顺序构建的数据集,而“转移”是通过利用每个数据集上嵌入功能的线性组合的有用信息来实现的。此外,我们介绍了ITL框架,在该框架中,我们在其中训练网络,包括具有预先训练的权重和最多两个分段解码器头的站点不合时宜的编码器。我们还设计了一种新型的站点级增量损失,以便在目标域上良好地概括。其次,我们首次表明利用我们的ITL培训计划能够减轻富有灾难性的遗忘问题,从而在渐进学习中遇到了挑战。我们使用五个具有挑战性的基准数据集进行实验,以验证我们的增量转移学习方法的有效性。我们的方法对计算资源和特定于领域的专业知识的假设最少,因此构成了多站点医学图像细分的强大起点。
translated by 谷歌翻译
差异图像注册是医学图像分析中的至关重要任务。最近基于学习的图像注册方法利用卷积神经网络(CNN)学习图像对之间的空间转换并达到快速推理速度。但是,这些方法通常需要大量的培训数据来提高其概括能力。在测试时间内,基于学习的方法可能无法提供良好的注册结果,这很可能是因为培训数据集的模型过于拟合。在本文中,我们提出了连续速度场(NEVF)的神经表示,以描述两个图像之间的变形。具体而言,该神经速度场为空间中的每个点分配了一个速度向量,该速度在对复杂变形场进行建模时具有更高的灵活性。此外,我们提出了一种简单的稀疏抽样策略,以减少差异注册的记忆消耗。提出的NEVF还可以与预先训练的基于学习的模型合并,该模型的预测变形被视为优化的初始状态。在两个大规模3D MR脑扫描数据集上进行的广泛实验表明,我们提出的方法的表现优于最先进的注册方法。
translated by 谷歌翻译
Transformers have made remarkable progress towards modeling long-range dependencies within the medical image analysis domain. However, current transformer-based models suffer from several disadvantages: (1) existing methods fail to capture the important features of the images due to the naive tokenization scheme; (2) the models suffer from information loss because they only consider single-scale feature representations; and (3) the segmentation label maps generated by the models are not accurate enough without considering rich semantic contexts and anatomical textures. In this work, we present CASTformer, a novel type of adversarial transformers, for 2D medical image segmentation. First, we take advantage of the pyramid structure to construct multi-scale representations and handle multi-scale variations. We then design a novel class-aware transformer module to better learn the discriminative regions of objects with semantic structures. Lastly, we utilize an adversarial training strategy that boosts segmentation accuracy and correspondingly allows a transformer-based discriminator to capture high-level semantically correlated contents and low-level anatomical features. Our experiments demonstrate that CASTformer dramatically outperforms previous state-of-the-art transformer-based approaches on three benchmarks, obtaining 2.54%-5.88% absolute improvements in Dice over previous models. Further qualitative experiments provide a more detailed picture of the model's inner workings, shed light on the challenges in improved transparency, and demonstrate that transfer learning can greatly improve performance and reduce the size of medical image datasets in training, making CASTformer a strong starting point for downstream medical image analysis tasks.
translated by 谷歌翻译