复发性喉神经(RLN)的肿瘤浸润是机器人甲状腺切除术的禁忌症,很难通过标准喉镜检测。超声(US)是RLN检测的可行替代方法,因为其安全性和提供实时反馈的能力。但是,直径通常小于3mm的RLN的微小性对RLN的准确定位构成了重大挑战。在这项工作中,我们为RLN本地化提出了一个知识驱动的框架,模仿了外科医生根据其周围器官识别RLN的标准方法。我们基于器官之间固有的相对空间关系构建了先前的解剖模型。通过贝叶斯形状比对(BSA),我们获得了围绕RLN的感兴趣区域(ROI)中心的候选坐标。 ROI允许使用基于多尺度语义信息的双路径识别网络确定RLN的精制质心的视野减少。实验结果表明,与最先进的方法相比,所提出的方法达到了较高的命中率和距离较小的距离误差。
translated by 谷歌翻译
Clinical diagnostic and treatment decisions rely upon the integration of patient-specific data with clinical reasoning. Cancer presents a unique context that influence treatment decisions, given its diverse forms of disease evolution. Biomedical imaging allows noninvasive assessment of disease based on visual evaluations leading to better clinical outcome prediction and therapeutic planning. Early methods of brain cancer characterization predominantly relied upon statistical modeling of neuroimaging data. Driven by the breakthroughs in computer vision, deep learning became the de facto standard in the domain of medical imaging. Integrated statistical and deep learning methods have recently emerged as a new direction in the automation of the medical practice unifying multi-disciplinary knowledge in medicine, statistics, and artificial intelligence. In this study, we critically review major statistical and deep learning models and their applications in brain imaging research with a focus on MRI-based brain tumor segmentation. The results do highlight that model-driven classical statistics and data-driven deep learning is a potent combination for developing automated systems in clinical oncology.
translated by 谷歌翻译
With the rapid development of artificial intelligence (AI) in medical image processing, deep learning in color fundus photography (CFP) analysis is also evolving. Although there are some open-source, labeled datasets of CFPs in the ophthalmology community, large-scale datasets for screening only have labels of disease categories, and datasets with annotations of fundus structures are usually small in size. In addition, labeling standards are not uniform across datasets, and there is no clear information on the acquisition device. Here we release a multi-annotation, multi-quality, and multi-device color fundus image dataset for glaucoma analysis on an original challenge -- Retinal Fundus Glaucoma Challenge 2nd Edition (REFUGE2). The REFUGE2 dataset contains 2000 color fundus images with annotations of glaucoma classification, optic disc/cup segmentation, as well as fovea localization. Meanwhile, the REFUGE2 challenge sets three sub-tasks of automatic glaucoma diagnosis and fundus structure analysis and provides an online evaluation framework. Based on the characteristics of multi-device and multi-quality data, some methods with strong generalizations are provided in the challenge to make the predictions more robust. This shows that REFUGE2 brings attention to the characteristics of real-world multi-domain data, bridging the gap between scientific research and clinical application.
translated by 谷歌翻译
解剖标志的本地化对于临床诊断,治疗计划和研究至关重要。在本文中,我们提出了一种新的深网络,名为特征聚合和细化网络(Farnet),用于自动检测解剖标记。为了减轻医疗领域的培训数据有限的问题,我们的网络采用了在自然图像上预先培训的深网络,因为骨干网络和几个流行的网络进行了比较。我们的FARNET还包括多尺度特征聚合模块,用于多尺度特征融合和用于高分辨率热图回归的特征精制模块。粗细的监督应用于两个模块,以方便端到端培训。我们进一步提出了一种名为指数加权中心损耗的新型损失函数,用于准确的热爱回归,这侧重于地标附近的像素的损失并抑制了远处的损失。我们的网络已经在三个公开的解剖学地标检测数据集中进行了评估,包括头部测量射线照片,手射线照片和脊柱射线照相,并在所有三个数据集上实现最先进的性能。代码可用:\ url {https://github.com/juvenileinwind/farnet}
translated by 谷歌翻译
精确分割牙齿并识别牙科网格模型上的相应解剖标签在计算机辅助性正畸治疗中是必不可少的。手动执行这两个任务是耗时,繁琐的,更重要的是,由于患者牙齿的异常和大规模差异,高度依赖于矫正者的经验。一些基于机器学习的方法已经设计和应用于正畸场,以自动分割牙科网格(例如,口腔扫描)。相比之下,牙齿地标定位的研究数量仍然有限。本文提出了一种基于网格深度学习(称为TS-MDL)的两级框架,用于联合牙齿标签和原始内部扫描的地标识别。我们的TS-MDL首先采用端到端\ EMPH {i} MeshsegNet方法(即,现有网格孔的变体,具有改进的精度和效率),以在下采样扫描上标记每个牙齿。由分割输出引导,我们的TS-MDL进一步选择原始网格上的每个牙齿的感兴趣区域(ROI),以构造开头的光重变量(即PINTNET-REG),用于回归相应的地标热插块。我们的TS-MDL在实际的数据集上进行了评估,显示了有希望的细分和本地化性能。具体而言,TS-MDL的第一阶段中的\ EMPH {i} Meshsegnet达到了0.964 \ PM0.054 $ 0.964 \ PM0.054 $的平均骰子相似度系数(DSC),显着优于原始的Meshsegnet。在第二阶段,PointNet-Reg实现了0.597 \ PM0.761 \,预测和地面真理之间的平均绝对误差(MAE),以66美元的地标,与地标检测的其他网络相比,比较优越。所有这些结果表明我们在临床实践中的TS-MDL潜在使用。
translated by 谷歌翻译
CT图像中的椎骨定位,分割和识别是众多临床应用的关键。尽管近年来,深度学习策略已为该领域带来了重大改进,但由于其在培训数据集中的代表性不佳,过渡性和病理椎骨仍在困扰大多数现有方法。另外,提出的基于非学习的方法可以利用先验知识来处理这种特定情况。在这项工作中,我们建议将这两种策略结合起来。为此,我们引入了一个迭代循环,在该循环中,单个椎骨被递归地定位,分割和使用深网鉴定,而使用统计先验则实施解剖一致性。在此策略中,通过在图形模型中编码其配置来处理过渡性椎骨识别,该模型将局部深网预测汇总为解剖上一致的最终结果。我们的方法在Verse20挑战基准上取得了最新的结果,并且优于过渡性椎骨的所有方法以及对Verse19挑战基准的概括。此外,我们的方法可以检测和报告不满足解剖学一致性先验的不一致的脊柱区域。我们的代码和模型公开用于研究目的。
translated by 谷歌翻译
背景:心肌灌注SPECT(MPS)对左心室(LV)功能的评估依赖于准确的心肌分割。本文的目的是开发和验证一种新的方法,该方法将深度学习与形状先验结合在一起,以精确提取LV心肌以自动测量LV功能参数。方法:开发了与形状变形模块集成三维(3D)V-NET的分割体系结构。使用动态编程(DP)算法生成的形状先验,然后在模型训练期间限制并指导模型输出,以快速收敛和改善性能。分层的5倍交叉验证用于训练和验证我们的模型。结果:我们提出的方法的结果与地面真理的结果一致。我们提出的模型的骰子相似性系数(DSC)为0.9573(0.0244),0.9821(0.0137)和0.9903(0.0041),Hausdorff距离(HD)6.7529(2.7334)(2.7334)mm,7.2507(3.2507(3.1952)MMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMMM MM,和7.6122 3.0134)MM分别提取心内膜,心肌和心外膜。结论:我们提出的方法在提取LV心肌轮廓和评估LV功能方面具有很高的精度。
translated by 谷歌翻译
光学相干断层扫描(OCT)有助于眼科医生评估黄斑水肿,流体的积累以及微观分辨率的病变。视网膜流体的定量对于OCT引导的治疗管理是必需的,这取决于精确的图像分割步骤。由于对视网膜流体的手动分析是一项耗时,主观和容易出错的任务,因此对快速和健壮的自动解决方案的需求增加了。在这项研究中,提出了一种名为Retifluidnet的新型卷积神经结构,用于多级视网膜流体分割。该模型受益于层次表示使用新的自适应双重注意(SDA)模块的纹理,上下文和边缘特征的学习,多个基于自适应的Skip Connections(SASC)以及一种新颖的多尺度深度自我监督学习(DSL)方案。拟议的SDA模块中的注意机制使该模型能够自动提取不同级别的变形感知表示,并且引入的SASC路径进一步考虑了空间通道相互依存,以串联编码器和解码器单元,从而提高了表示能力。还使用包含加权版本的骰子重叠和基于边缘的连接损失的联合损失函数进行了优化的retifluidnet,其中将多尺度局部损失的几个分层阶段集成到优化过程中。该模型根据三个公开可用数据集进行验证:润饰,Optima和Duke,并与几个基线进行了比较。数据集的实验结果证明了在视网膜OCT分割中提出的模型的有效性,并揭示了建议的方法比现有的最新流体分割算法更有效,以适应各种图像扫描仪器记录的视网膜OCT扫描。
translated by 谷歌翻译
Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.
translated by 谷歌翻译
深度神经网络通常需要准确和大量注释,以在医学图像分割中实现出色的性能。单次分割和弱监督学习是有前途的研究方向,即通过仅从一个注释图像学习新类并利用粗标签来降低标签努力。以前的作品通常未能利用解剖结构并遭受阶级不平衡和低对比度问题。因此,我们为3D医学图像分割的创新框架提供了一次性和弱监督的设置。首先,提出了一种传播重建网络,以基于不同人体中的解剖模式类似的假设将来自注释体积的划痕投射到未标记的3D图像。然后,双级功能去噪模块旨在基于解剖结构和像素级别来改进涂鸦。在将涂鸦扩展到伪掩码后,我们可以使用嘈杂的标签培训策略培训新课程的分段模型。一个腹部的实验和一个头部和颈部CT数据集显示所提出的方法对最先进的方法获得显着改善,即使在严重的阶级不平衡和低对比度下也能够稳健地执行。
translated by 谷歌翻译
医学图像中的自动对象识别可以促进医学诊断和治疗。在本文中,我们自动对超声图像中的锁骨神经进行了分割,以帮助注入周围神经块。神经块通常用于手术后的疼痛治疗,其中使用超声指导在靶神经旁边注入局部麻醉药。这种治疗可以阻止疼痛信号向大脑的传播,这可以帮助提高手术中的恢复速率,并显着减少术后阿片类药物的需求。但是,超声引导的区域麻醉(UGRA)要求麻醉师在视觉上识别超声图像中的实际神经位置。鉴于超声图像中神经的无视觉效果以及它们与许多相邻组织的视觉相似性,这是一项复杂的任务。在这项研究中,我们使用了自动神经检测系统进行UGRA神经阻滞治疗。该系统可以使用深度学习技术识别神经在超声图像中的位置。我们开发了一个模型来捕获神经的特征,通过训练两个具有跳过连接的深神经网络:两种扩展的U-NET体系结构,有或没有扩张的卷积。该溶液可能会导致区域麻醉中靶向神经的封锁。
translated by 谷歌翻译
从侵入性冠状动脉造影(ICA)中准确提取冠状动脉(ICA)在临床决策中对于冠状动脉疾病的诊断和风险分层(CAD)很重要。在这项研究中,我们开发了一种使用深度学习来自动提取冠状动脉腔的方法。方法。提出了一个深度学习模型U-NET 3+,其中包含了全面的跳过连接和深度监督,以自动从ICAS中自动提取冠状动脉。在这个新型的冠状动脉提取框架中采用了转移学习和混合损失功能。结果。使用了一个包含从210名患者获得的616个ICA的数据集。在技​​术评估中,U-NET 3+的骰子得分为0.8942,灵敏度为0.8735,高于U-NET ++(骰子得分:0.8814:0.8814,灵敏度为0.8331)和U-net(骰子分数) :0.8799,灵敏度为0.8305)。结论。我们的研究表明,U-NET 3+优于其他分割框架,用于自动从ICA中提取冠状动脉。该结果表明了临床使用的巨大希望。
translated by 谷歌翻译
人类生理学中的各种结构遵循特异性形态,通常在非常细的尺度上表达复杂性。这种结构的例子是胸前气道,视网膜血管和肝血管。可以观察到可以观察到可以观察到可以观察到可以观察到空间排列的磁共振成像(MRI),计算机断层扫描(CT),光学相干断层扫描(OCT)等医学成像模式(MRI),计算机断层扫描(CT),可以观察到空间排列的大量2D和3D图像的集合。这些结构在医学成像中的分割非常重要,因为对结构的分析提供了对疾病诊断,治疗计划和预后的见解。放射科医生手动标记广泛的数据通常是耗时且容易出错的。结果,在过去的二十年中,自动化或半自动化的计算模型已成为医学成像的流行研究领域,迄今为止,许多计算模型已经开发出来。在这项调查中,我们旨在对当前公开可用的数据集,细分算法和评估指标进行全面审查。此外,讨论了当前的挑战和未来的研究方向。
translated by 谷歌翻译
本文提出了第二版的头部和颈部肿瘤(Hecktor)挑战的概述,作为第24届医学图像计算和计算机辅助干预(Miccai)2021的卫星活动。挑战由三个任务组成与患有头颈癌(H&N)的患者的PET / CT图像的自动分析有关,专注于oropharynx地区。任务1是FDG-PET / CT图像中H&N主肿瘤肿瘤体积(GTVT)的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存(PFS)的自动预测。最后,任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集,总共325个图像,分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与,突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数(DSC),分别在任务2和3中的0.7196和0.6978的一致性指数(C-Index)。在所有任务中,发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明,提供GTVT轮廓对于实现最佳结果,这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求,用于可重复和大规模的辐射瘤研究的开头途径,包括千元潜在的受试者。
translated by 谷歌翻译
组织学图像中核和腺体的实例分割是用于癌症诊断,治疗计划和生存分析的计算病理学工作流程中的重要一步。随着现代硬件的出现,大规模质量公共数据集的最新可用性以及社区组织的宏伟挑战已经看到了自动化方法的激增,重点是特定领域的挑战,这对于技术进步和临床翻译至关重要。在这项调查中,深入分析了过去五年(2017-2022)中发表的原子核和腺体实例细分的126篇论文,进行了深入分析,讨论了当前方法的局限性和公开挑战。此外,提出了潜在的未来研究方向,并总结了最先进方法的贡献。此外,还提供了有关公开可用数据集的概括摘要以及关于说明每种挑战的最佳性能方法的巨大挑战的详细见解。此外,我们旨在使读者现有研究的现状和指针在未来的发展方向上开发可用于临床实践的方法,从而可以改善诊断,分级,预后和癌症的治疗计划。据我们所知,以前没有工作回顾了朝向这一方向的组织学图像中的实例细分。
translated by 谷歌翻译
儿科肌肉骨骼系统的形态学和诊断评价在临床实践中至关重要。但是,大多数分段模型在稀缺的儿科成像数据上都不好。我们提出了一种新的预训练的正则化卷积编码器 - 解码器,用于分割异质儿科磁共振(MR)图像的具有挑战性的任务。在这方面,我们采用转移学习方法以及正规化策略来改善分段模型的概括。为此,我们已经构思了用于分割网络的新颖优化方案,其包括丢失函数的额外正则化术语。为了获得全局一致的预测,我们纳入了基于形状的正则化,从自动编码器学习的非线性形状表示来源。另外,通过鉴别器计算的对抗正规化是集成的,以鼓励合理的描绘。评估来自脚踝和肩部关节的两个稀缺的小儿摄像数据集的多骨分割任务的方法,包括病理和健康检查。所提出的方法与先前提出的骰子,灵敏度,特异性,最大对称表面距离,平均对称表面距离和相对绝对体积差异度量的方法更好或以前的方法进行更好或以前的方法进行比例。我们说明所提出的方法可以很容易地集成到各种骨骼分割策略中,并且可以提高在大型非医学图像数据库上预先培训的模型的预测准确性。获得的结果为小儿肌肉骨骼障碍的管理带来了新的视角。
translated by 谷歌翻译
关于Giga-Pixel病理学图像的计算机辅助定量分析提供了精密药物的新大道。该创新主要集中在癌症病理学(即,肿瘤分割和表征)上。在非癌症病理学中,可以要求学习算法同时检查更全面的组织类型,作为多标签设置。现有技术通常需要训练多个分段网络,以匹配非均相组织类型的域特异性知识(例如,肾小球簇,肾小球单元,近端管,远端管,梗塞和动脉)。在本文中,我们提出了一种动态单分割网络(OMNI-SEG),该网络(OMNI-SEG)学习使用部分标记的图像(即,仅针对每个训练图像标记一个组织类型)进行多种组织类型进行肾脏病理学。通过从六种组织类型学习〜150,000的Patch-Wise病理图像,与先前的多网络和多头设计相比,所提出的Omni-SEG网络实现了卓越的分割精度和更少的资源消耗。在测试阶段,所提出的方法仅使用“部分标记”训练图像获得“完全标记的”组织分割结果。源代码可在https://github.com/ddrrnn123/omni-seg中获得。
translated by 谷歌翻译
机器学习和计算机视觉技术近年来由于其自动化,适合性和产生惊人结果的能力而迅速发展。因此,在本文中,我们调查了2014年至2022年之间发表的关键研究,展示了不同的机器学习算法研究人员用来分割肝脏,肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织(肝果,肝肿瘤或肝毒剂)对被调查的研究进行了划分,强调了同时解决多个任务的研究。此外,机器学习算法被归类为受监督或无监督的,如果属于某个方案的工作量很大,则将进一步分区。此外,对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论,强调了组织者的原始贡献和其他研究人员的贡献。同样,在我们的评论中提到了文献中过度使用的指标,这强调了它们与手头的任务的相关性。最后,强调创新研究人员应对需要解决的差距的关键挑战和未来的方向,例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。
translated by 谷歌翻译
我们介绍了一个3D实例表示,称为实例内核,其中实例由一维向量表示,该向量编码3D实例的语义,位置和形状信息。我们显示了实例内核通过简单地在整个场景中扫描内核,避免对标准3D实例分段管道中的建议或启发式聚类算法的严重依赖,从而实现了简单的掩盖推理。实例内核的想法是受到2D/3D实例分割中动态卷积的最新成功的启发。但是,我们发现由于点云数据的无序和非结构化的性质,代表3D实例是非平凡的,例如,糟糕的实例定位可以显着降低实例表示。为了解决这个问题,我们构建了一个编码范式的新颖3D实例。首先,潜在的实例质心定位为候选。然后,设计了一个候选人合并方案,以同时汇总重复的候选人,并收集围绕合并的质心的背景,以形成实例内核。一旦实例内核可用,就可以通过在实例内核调节的动态卷积来重建实例掩码。整个管道是通过动态内核网络(DKNET)实例化的。结果表明,DKNET的表现优于ScannETV2和S3DIS数据集的艺术状态,并具有更好的实例本地化。可用代码:https://github.com/w1zheng/dknet。
translated by 谷歌翻译
肝癌是世界上最常见的恶性疾病之一。 CT图像中肝脏肿瘤和血管的分割和标记可以为肝脏肿瘤诊断和手术干预中的医生提供便利。在过去的几十年中,基于深度学习的自动CT分段方法在医学领域得到了广泛的关注。在此期间出现了许多最先进的分段算法。然而,大多数现有的分割方法只关心局部特征背景,并在医学图像的全局相关性中具有感知缺陷,这显着影响了肝脏肿瘤和血管的分割效果。我们引入了一种基于变压器和SebottLenet的多尺度特征上下文融合网络,称为TransFusionNet。该网络可以准确地检测和识别肝脏容器的兴趣区域的细节,同时它可以通过利用CT图像的全球信息来改善肝肿瘤的形态边缘的识别。实验表明,TransFusionNet优于公共数据集LITS和3DIRCADB以及我们的临床数据集的最先进方法。最后,我们提出了一种基于训练模型的自动三维重建算法。该算法可以在1秒内快速准确地完成重建。
translated by 谷歌翻译