U-Net and its extensions have achieved great success in medical image segmentation. However, due to the inherent local characteristics of ordinary convolution operations, U-Net encoder cannot effectively extract global context information. In addition, simple skip connections cannot capture salient features. In this work, we propose a fully convolutional segmentation network (CMU-Net) which incorporates hybrid convolutions and multi-scale attention gate. The ConvMixer module extracts global context information by mixing features at distant spatial locations. Moreover, the multi-scale attention gate emphasizes valuable features and achieves efficient skip connections. We evaluate the proposed method using both breast ultrasound datasets and a thyroid ultrasound image dataset; and CMU-Net achieves average Intersection over Union (IoU) values of 73.27% and 84.75%, and F1 scores of 84.81% and 91.71%. The code is available at https://github.com/FengheTan9/CMU-Net.
translated by 谷歌翻译
卷积神经网络(CNN)的深度学习体系结构在计算机视野领域取得了杰出的成功。 CNN构建的编码器架构U-Net在生物医学图像分割方面取得了重大突破,并且已在各种实用的情况下应用。但是,编码器部分中每个下采样层和简单堆积的卷积的平等设计不允许U-NET从不同深度提取足够的特征信息。医学图像的复杂性日益增加为现有方法带来了新的挑战。在本文中,我们提出了一个更深层,更紧凑的分裂注意U形网络(DCSAU-NET),该网络有效地利用了基于两个新颖框架的低级和高级语义信息:主要功能保护和紧凑的分裂注意力堵塞。我们评估了CVC-ClinicDB,2018 Data Science Bowl,ISIC-2018和SEGPC-2021数据集的建议模型。结果,DCSAU-NET在联合(MIOU)和F1-SOCRE的平均交点方面显示出比其他最先进的方法(SOTA)方法更好的性能。更重要的是,提出的模型在具有挑战性的图像上表现出了出色的细分性能。我们的工作代码以及更多技术细节,请访问https://github.com/xq141839/dcsau-net。
translated by 谷歌翻译
Breast cancer is one of the common cancers that endanger the health of women globally. Accurate target lesion segmentation is essential for early clinical intervention and postoperative follow-up. Recently, many convolutional neural networks (CNNs) have been proposed to segment breast tumors from ultrasound images. However, the complex ultrasound pattern and the variable tumor shape and size bring challenges to the accurate segmentation of the breast lesion. Motivated by the selective kernel convolution, we introduce an enhanced selective kernel convolution for breast tumor segmentation, which integrates multiple feature map region representations and adaptively recalibrates the weights of these feature map regions from the channel and spatial dimensions. This region recalibration strategy enables the network to focus more on high-contributing region features and mitigate the perturbation of less useful regions. Finally, the enhanced selective kernel convolution is integrated into U-net with deep supervision constraints to adaptively capture the robust representation of breast tumors. Extensive experiments with twelve state-of-the-art deep learning segmentation methods on three public breast ultrasound datasets demonstrate that our method has a more competitive segmentation performance in breast ultrasound images.
translated by 谷歌翻译
医疗图像分割有助于计算机辅助诊断,手术和治疗。数字化组织载玻片图像用于分析和分段腺,核和其他生物标志物,这些标志物进一步用于计算机辅助医疗应用中。为此,许多研究人员开发了不同的神经网络来对组织学图像进行分割,主要是这些网络基于编码器编码器体系结构,并且还利用了复杂的注意力模块或变压器。但是,这些网络不太准确地捕获相关的本地和全局特征,并在多个尺度下具有准确的边界检测,因此,我们提出了一个编码器折叠网络,快速注意模块和多损耗函数(二进制交叉熵(BCE)损失的组合) ,焦点损失和骰子损失)。我们在两个公开可用数据集上评估了我们提出的网络的概括能力,用于医疗图像分割Monuseg和Glas,并胜过最先进的网络,在Monuseg数据集上提高了1.99%的提高,而GLAS数据集则提高了7.15%。实施代码可在此链接上获得:https://bit.ly/histoseg
translated by 谷歌翻译
最新的语义分段方法采用具有编码器解码器架构的U-Net框架。 U-Net仍然具有挑战性,具有简单的跳过连接方案来模拟全局多尺度上下文:1)由于编码器和解码器级的不兼容功能集的问题,并非每个跳过连接设置都是有效的,甚至一些跳过连接对分割性能产生负面影响; 2)原始U-Net比某些数据集上没有任何跳过连接的U-Net更糟糕。根据我们的调查结果,我们提出了一个名为Uctransnet的新分段框架(在U-Net中的提议CTRANS模块),从引导机制的频道视角。具体地,CTRANS模块是U-NET SKIP连接的替代,其包括与变压器(命名CCT)和子模块通道 - 明智的跨关注进行多尺度信道交叉融合的子模块(命名为CCA)以指导熔融的多尺度通道 - 明智信息,以有效地连接到解码器功能以消除歧义。因此,由CCT和CCA组成的所提出的连接能够替换原始跳过连接以解决精确的自动医学图像分割的语义间隙。实验结果表明,我们的UCTRANSNET产生更精确的分割性能,并通过涉及变压器或U形框架的不同数据集和传统架构的语义分割来实现一致的改进。代码:https://github.com/mcgregorwwwww/uctransnet。
translated by 谷歌翻译
深度学习技术的进步为生物医学图像分析应用产生了巨大的贡献。随着乳腺癌是女性中最致命的疾病,早期检测是提高生存能力的关键手段。如超声波的医学成像呈现出色器官功能的良好视觉表现;然而,对于任何分析这种扫描的放射科学家,这种扫描是挑战和耗时,这延迟了诊断过程。虽然提出了各种深度学习的方法,但是通过乳房超声成像介绍了具有最有效的残余交叉空间关注引导u-Net(RCA-IUnet)模型的最小训练参数,以进一步改善肿瘤分割不同肿瘤尺寸的分割性能。 RCA-IUNET模型跟随U-Net拓扑,剩余初始化深度可分离卷积和混合池(MAX池和光谱池)层。此外,添加了交叉空间注意滤波器以抑制无关的特征并专注于目标结构。建议模型的分割性能在使用标准分割评估指标的两个公共数据集上验证,其中它表现出其他最先进的分段模型。
translated by 谷歌翻译
近年来,基于深度卷积神经网络(CNN)的细分方法已为许多医学分析任务做出了最先进的成就。但是,这些方法中的大多数通过优化结构或添加U-NET的新功能模块来改善性能,从而忽略了粗粒和细粒的语义信息的互补和融合。为了解决上述问题,我们提出了一个称为渐进学习网络​​(PL-NET)的医学图像分割框架,其中包括内部渐进式学习(IPL)和外部渐进学习(EPL)。 PL-NET具有以下优点:(1)IPL将特征提取为两个“步骤”,它们可以混合不同尺寸的接收场并捕获从粗粒度到细粒度的语义信息,而无需引入其他参数; (2)EPL将训练过程分为两个“阶段”以优化参数,并在上一阶段中实现粗粒信息的融合,并在后期阶段进行细粒度。我们在不同的医学图像分析任务中评估了我们的方法,结果表明,PL-NET的分割性能优于U-NET及其变体的最新方法。
translated by 谷歌翻译
精确分割器官 - 危险(OARS)是优化放射治疗计划的先驱。现有的基于深度学习的多尺度融合体系结构已显示出2D医疗图像分割的巨大能力。他们成功的关键是汇总全球环境并保持高分辨率表示。但是,当转化为3D分割问题时,由于其大量的计算开销和大量数据饮食,现有的多尺度融合体系结构可能表现不佳。为了解决此问题,我们提出了一个新的OAR分割框架,称为Oarfocalfusenet,该框架融合了多尺度功能,并采用焦点调制来捕获多个尺度的全局本地上下文。每个分辨率流都具有来自不同分辨率量表的特征,并且多尺度信息汇总到模型多样化的上下文范围。结果,功能表示将进一步增强。在我们的实验设置中与OAR分割以及多器官分割的全面比较表明,我们提出的Oarfocalfusenet在公开可用的OpenKBP数据集和Synapse Multi-Organ细分方面的最新最新方法优于最新的最新方法。在标准评估指标方面,提出的两种方法(3D-MSF和Oarfocalfusenet)均表现出色。我们的最佳性能方法(Oarfocalfusenet)在OpenKBP数据集上获得的骰子系数为0.7995,Hausdorff的距离为5.1435,而Synapse Multi-Organ分段数据集则获得了0.8137的骰子系数。
translated by 谷歌翻译
自动图像分割技术对于视觉分析至关重要。自动编码器体系结构在各种图像分割任务中具有令人满意的性能。但是,基于卷积神经网络(CNN)的自动编码器似乎在提高语义分割的准确性方面遇到了瓶颈。增加前景和背景之间的类间距离是分割网络的固有特征。但是,分割网络过于关注前景和背景之间的主要视觉差异,而忽略了详细的边缘信息,从而导致边缘分割的准确性降低。在本文中,我们提出了一个基于多任务学习的轻量级端到端细分框架,称为Edge Coasity AutoCododer Network(EAA-NET),以提高边缘细分能力。我们的方法不仅利用分割网络来获得类间特征,而且还采用重建网络来提取前景中的类内特征。我们进一步设计了一个阶层和类间特征融合模块-I2融合模块。 I2融合模块用于合并课内和类间特征,并使用软注意机制去除无效的背景信息。实验结果表明,我们的方法在医疗图像分割任务中的表现良好。 EAA-NET易于实现,并且计算成本较小。
translated by 谷歌翻译
Deep learning has made a breakthrough in medical image segmentation in recent years due to its ability to extract high-level features without the need for prior knowledge. In this context, U-Net is one of the most advanced medical image segmentation models, with promising results in mammography. Despite its excellent overall performance in segmenting multimodal medical images, the traditional U-Net structure appears to be inadequate in various ways. There are certain U-Net design modifications, such as MultiResUNet, Connected-UNets, and AU-Net, that have improved overall performance in areas where the conventional U-Net architecture appears to be deficient. Following the success of UNet and its variants, we have presented two enhanced versions of the Connected-UNets architecture: ConnectedUNets+ and ConnectedUNets++. In ConnectedUNets+, we have replaced the simple skip connections of Connected-UNets architecture with residual skip connections, while in ConnectedUNets++, we have modified the encoder-decoder structure along with employing residual skip connections. We have evaluated our proposed architectures on two publicly available datasets, the Curated Breast Imaging Subset of Digital Database for Screening Mammography (CBIS-DDSM) and INbreast.
translated by 谷歌翻译
精确可靠地分割医学图像对于疾病诊断和治疗是重要的。由于各种各样的物体尺寸,形状和扫​​描方式,这是一个具有挑战性的任务。最近,许多卷积神经网络(CNN)设计用于分割任务,取得了巨大的成功。然而,很少有研究完全考虑了物体的大小,因此大多数表现出对小物体分割的分割的性能不佳。这对早期检测疾病产生重大影响。本文提出了一种上下文轴向储备注意网络(Caranet),与最近最先进的模型相比,在小对象上提高小物体的分割性能。我们在脑肿瘤(Brats 2018)和息肉(Kvasir-Seg,CVC-Colondb,CVC-ClinicDB,CVC-300和ETIS-LaribpolypdB)进行测试。我们的加麻不仅达到了顶级的骰子分割精度,而且还显示出小医疗物体的分割的明显优势。
translated by 谷歌翻译
前列腺癌是美国男性癌症死亡的第二大原因。前列腺MRI的诊断通常依赖于准确的前列腺区域分割。但是,最新的自动分割方法通常无法产生前列腺区域的含有良好的体积分割,因为某些切片的前列腺MRI(例如碱基和顶点片)比其他切片更难分割。可以通过考虑相邻切片之间的跨片段关系来克服这一困难,但是当前的方法不能完全学习和利用这种关系。在本文中,我们提出了一种新型的跨板夹心注意机制,我们在变压器模块中使用该机制,以系统地学习不同尺度的跨斜纹关系。该模块可以在任何基于Skip Connections的现有基于学习的细分框架中使用。实验表明,我们的跨板块注意力能够捕获前列腺区域分割中的跨板片信息,并提高当前最新方法的性能。我们的方法提高了外围区域的分割精度,从而使所有前列腺切片(Apex,Mid-Gland和Base)的分割结果保持一致。
translated by 谷歌翻译
对医学图像的器官或病变的准确分割对于可靠的疾病和器官形态计量学的可靠诊断至关重要。近年来,卷积编码器解码器解决方案在自动医疗图像分割领域取得了重大进展。由于卷积操作中的固有偏见,先前的模型主要集中在相邻像素形成的局部视觉提示上,但无法完全对远程上下文依赖性进行建模。在本文中,我们提出了一个新型的基于变压器的注意力指导网络,称为Transattunet,其中多层引导注意力和多尺度跳过连接旨在共同增强语义分割体系结构的性能。受到变压器的启发,具有变压器自我注意力(TSA)和全球空间注意力(GSA)的自我意识注意(SAA)被纳入Transattunet中,以有效地学习编码器特征之间的非本地相互作用。此外,我们还使用解码器块之间的其他多尺度跳过连接来汇总具有不同语义尺度的上采样功能。这样,多尺度上下文信息的表示能力就可以增强以产生判别特征。从这些互补组件中受益,拟议的Transattunet可以有效地减轻卷积层堆叠和连续采样操作引起的细节损失,最终提高医学图像的细分质量。来自不同成像方式的多个医疗图像分割数据集进行了广泛的实验表明,所提出的方法始终优于最先进的基线。我们的代码和预培训模型可在以下网址找到:https://github.com/yishuliu/transattunet。
translated by 谷歌翻译
The lack of efficient segmentation methods and fully-labeled datasets limits the comprehensive assessment of optical coherence tomography angiography (OCTA) microstructures like retinal vessel network (RVN) and foveal avascular zone (FAZ), which are of great value in ophthalmic and systematic diseases evaluation. Here, we introduce an innovative OCTA microstructure segmentation network (OMSN) by combining an encoder-decoder-based architecture with multi-scale skip connections and the split-attention-based residual network ResNeSt, paying specific attention to OCTA microstructural features while facilitating better model convergence and feature representations. The proposed OMSN achieves excellent single/multi-task performances for RVN or/and FAZ segmentation. Especially, the evaluation metrics on multi-task models outperform single-task models on the same dataset. On this basis, a fully annotated retinal OCTA segmentation (FAROS) dataset is constructed semi-automatically, filling the vacancy of a pixel-level fully-labeled OCTA dataset. OMSN multi-task segmentation model retrained with FAROS further certifies its outstanding accuracy for simultaneous RVN and FAZ segmentation.
translated by 谷歌翻译
在过去的几年中,卷积神经网络(CNN),尤其是U-NET,一直是医学图像处理时代的流行技术。具体而言,开创性的U-NET及其替代方案成功地设法解决了各种各样的医学图像分割任务。但是,这些体系结构在本质上是不完美的,因为它们无法表现出长距离相互作用和空间依赖性,从而导致具有可变形状和结构的医学图像分割的严重性能下降。针对序列到序列预测的初步提议的变压器已成为替代体系结构,以精确地模拟由自我激进机制辅助的全局信息。尽管设计了可行的设计,但利用纯变压器来进行图像分割目的,可能导致限制的定位容量,导致低级功能不足。因此,一系列研究旨在设计基于变压器的U-NET的强大变体。在本文中,我们提出了Trans-Norm,这是一种新型的深层分割框架,它随同将变压器模块合并为标准U-NET的编码器和跳过连接。我们认为,跳过连接的方便设计对于准确的分割至关重要,因为它可以帮助扩展路径和收缩路径之间的功能融合。在这方面,我们从变压器模块中得出了一种空间归一化机制,以适应性地重新校准跳过连接路径。对医学图像分割的三个典型任务进行了广泛的实验,证明了透气的有效性。代码和训练有素的模型可在https://github.com/rezazad68/transnorm上公开获得。
translated by 谷歌翻译
乳腺肿瘤分割是帮助我们表征和定位肿瘤区域的关键步骤之一。然而,可变的肿瘤形态,模糊边界和类似的强度分布带来了精确分割乳腺肿瘤的挑战。最近,已经提出了许多U-NET变体,并广泛用于乳腺肿瘤分割。但是,这些体系结构受到了两个局限性:(1)忽略基准网络的特征能力,(2)引入额外的复杂操作增加了理解和再现网络的困难。为了减轻这些挑战,本文提出了一个简单而强大的嵌套U-NET(NU-NET),以精确分割乳腺肿瘤。关键思想是利用具有不同深度和共享权重的U-Nets来实现乳腺肿瘤的鲁棒性表征。 NU-NET主要具有以下优点:(1)提高网络适应性和对具有不同尺度的乳腺肿瘤的鲁棒性,(2)此方法易于复制和执行,以及(3)额外的操作增加网络参数而不会显着增加计算成本。在三个公共乳房超声数据集上采用十二种最先进的分割方法的实验结果表明,NU-NET在乳腺肿瘤上具有更具竞争力的分割性能。此外,在肾脏超声图像的分割中进一步说明了NU-NET的鲁棒性。源代码可在https://github.com/cgpzy/nu-net上公开获得。
translated by 谷歌翻译
鼻咽癌(NPC)是一种恶性肿瘤。在计算断层扫描(CT)图像的风险(OAR)的准确和自动分割(桨)是临床显着的。近年来,U-Net代表的深度学习模型已广泛应用于医学图像分割任务,这可以帮助医生减少工作量并更快地获得准确的结果。在NPC的OAR分割中,OAR的大小是可变的,特别是其中一些是小的。由于缺乏使用全局和多尺寸信息,传统的深神经网络在分割期间表现不佳。本文提出了一种新的SE连接金字塔网络(SECP-NET)。 SECP-Net提取全局和多尺寸信息流,使用SE连接(SEC)模块和网络的金字塔结构,用于改善分割性能,尤其是小器官。 SECP-NET还设计了一种自动上下文级联网络,以进一步提高分段性能。比较实验在SECP-NET和其他最近方法的与头部和颈部的CT图像上的数据集进行。五倍的交叉验证用于根据两个度量,即骰子和jaccard相似性来评估性能。实验结果表明,SECP-Net可以在这项挑战任务中实现SOTA性能。
translated by 谷歌翻译
深度学习已被广​​泛用于医学图像分割,并且录制了录制了该领域深度学习的成功的大量论文。在本文中,我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先,与传统调查相比,直接将深度学习的文献分成医学图像分割的文学,并为每组详细介绍了文献,我们根据从粗略到精细的多级结构分类目前流行的文献。其次,本文侧重于监督和弱监督的学习方法,而不包括无监督的方法,因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法,我们分析了三个方面的文献:骨干网络的选择,网络块的设计,以及损耗功能的改进。对于虚弱的学习方法,我们根据数据增强,转移学习和交互式分割进行调查文献。与现有调查相比,本调查将文献分类为比例不同,更方便读者了解相关理由,并将引导他们基于深度学习方法思考医学图像分割的适当改进。
translated by 谷歌翻译
医学图像分割可以为临床分析提供详细信息,这对于发现的详细位置很重要的情况可能是有用的。了解疾病的位置可以在治疗和决策中发挥重要作用。基于卷积神经网络(CNN)的编码器 - 解码器技术具有自动化医学图像分割系统的性能。几种基于CNN的方法利用了诸如空间和渠道的技术来提高性能。近年来引起关注的另一种技术是残留致密块(RDB)。密集连接块中的连续卷积层能够用不同的接收领域提取各种特征,从而提高性能。然而,连续堆积的卷积运营商可能不一定生成有助于识别目标结构的功能。在本文中,我们提出了一种逐步的交替注意网络(PAANET)。我们开发逐步交替注意密度(Paad)块,其在密集块中的每个卷积层中使用来自所有尺度的特征构建指导注意力图(GAM)。 GAM允许密集块中的以下层集中在与目标区域相关的空间位置。每个备用Paad块都反转GAM以生成反向注意地图,指导后面的图层,以提取边界和边缘相关信息,精炼分割过程。我们对三种不同的生物医学图像分割数据集的实验表明,与其他最先进的方法相比,我们的Paanet达到了有利的性能。
translated by 谷歌翻译
计算机辅助医学图像分割已广泛应用于诊断和治疗,以获得靶器官和组织的形状和体积的临床有用信息。在过去的几年中,基于卷积神经网络(CNN)的方法(例如,U-Net)占主导地位,但仍遭受了不足的远程信息捕获。因此,最近的工作提出了用于医学图像分割任务的计算机视觉变压器变体,并获得了有希望的表现。这种变压器通过计算配对贴片关系来模拟远程依赖性。然而,它们促进了禁止的计算成本,尤其是在3D医学图像(例如,CT和MRI)上。在本文中,我们提出了一种称为扩张变压器的新方法,该方法在本地和全球范围内交替捕获的配对贴片关系进行自我关注。灵感来自扩张卷积核,我们以扩张的方式进行全球自我关注,扩大接收领域而不增加所涉及的斑块,从而降低计算成本。基于这种扩展变压器的设计,我们构造了一个用于3D医学图像分割的U形编码器解码器分层体系结构。 Synapse和ACDC数据集的实验表明,我们的D-Ager Model从头开始培训,以低计算成本从划痕训练,优于各种竞争力的CNN或基于变压器的分段模型,而不耗时的每训练过程。
translated by 谷歌翻译