目标:探索深度学习算法进一步简化和优化尿道板(UP)质量评估的能力,使用板客观评分工具(POST),旨在提高Hypospadias修复中提高评估的客观性和可重复性。方法:五个关键的邮政地标是由专家在691图像数据集中的专家标记,该数据集接受了原发性杂质修复的青春期前男孩。然后,该数据集用于开发和验证基于深度学习的地标检测模型。提出的框架始于瞥见和检测,其中输入图像是使用预测的边界框裁剪的。接下来,使用深层卷积神经网络(CNN)体系结构来预测五个邮政标记的坐标。然后,这些预测的地标用于评估远端催化性远端的质量。结果:所提出的模型准确地定位了gan区域,平均平均精度(地图)为99.5%,总体灵敏度为99.1%。在预测地标的坐标时,达到了0.07152的归一化平均误差(NME),平均平方误差(MSE)为0.001,在0.1 nme的阈值下为20.2%的故障率。结论:此深度学习应用程序在使用邮政评估质量时表现出鲁棒性和高精度。使用国际多中心基于图像的数据库进行进一步评估。外部验证可以使深度学习算法受益,并导致更好的评估,决策和对手术结果的预测。
translated by 谷歌翻译
作为一线诊断成像方式,射线照相在早期检测髋关节发育不良(DDH)中起着至关重要的作用。在临床上,DDH的诊断依赖于手动测量和对骨盆X光片不同解剖特征的主观评估。这个过程效率低下且容易出错,需要多年的临床经验。在这项研究中,我们提出了一个基于深度学习的系统,该系统自动从X光片中自动检测14个关键点,测量三个解剖学角度(中心边缘,T \“ Onnis和Sharp Angles),并将DDH臀部分类为I-IV级别I-IV级别此外,提出了一种新型数据驱动的评分系统,以定量地整合DDH诊断的信息。提出的键盘检测模型达到了平均值(95%置信区间[CI])的平均精度为0.807) (0.804-0.810。 )和0.953(0.947-0.960),它们明显高于经验丰富的骨科医生(p <0.0001)。此外,使用拟议的得分获得的平均(95%CI)测试诊断协议(Cohen's Kappa)系统为0.84(0.83-0.85),whi CH显着高于从诊断标准获得的单个角度(0.76 [0.75-0.77])和骨科医生(0.71 [0.63-0.79])的CH。据我们所知,这是通过利用深度学习关键点检测和整合不同解剖学测量值的首次进行客观DDH诊断的研究,这可以为临床决策提供可靠且可解释的支持。
translated by 谷歌翻译
Quantitative cephalometric analysis is the most widely used clinical and research tool in modern orthodontics. Accurate localization of cephalometric landmarks enables the quantification and classification of anatomical abnormalities, however, the traditional manual way of marking these landmarks is a very tedious job. Endeavours have constantly been made to develop automated cephalometric landmark detection systems but they are inadequate for orthodontic applications. The fundamental reason for this is that the amount of publicly available datasets as well as the images provided for training in these datasets are insufficient for an AI model to perform well. To facilitate the development of robust AI solutions for morphometric analysis, we organise the CEPHA29 Automatic Cephalometric Landmark Detection Challenge in conjunction with IEEE International Symposium on Biomedical Imaging (ISBI 2023). In this context, we provide the largest known publicly available dataset, consisting of 1000 cephalometric X-ray images. We hope that our challenge will not only derive forward research and innovation in automatic cephalometric landmark identification but will also signal the beginning of a new era in the discipline.
translated by 谷歌翻译
解剖标志的本地化对于临床诊断,治疗计划和研究至关重要。在本文中,我们提出了一种新的深网络,名为特征聚合和细化网络(Farnet),用于自动检测解剖标记。为了减轻医疗领域的培训数据有限的问题,我们的网络采用了在自然图像上预先培训的深网络,因为骨干网络和几个流行的网络进行了比较。我们的FARNET还包括多尺度特征聚合模块,用于多尺度特征融合和用于高分辨率热图回归的特征精制模块。粗细的监督应用于两个模块,以方便端到端培训。我们进一步提出了一种名为指数加权中心损耗的新型损失函数,用于准确的热爱回归,这侧重于地标附近的像素的损失并抑制了远处的损失。我们的网络已经在三个公开的解剖学地标检测数据集中进行了评估,包括头部测量射线照片,手射线照片和脊柱射线照相,并在所有三个数据集上实现最先进的性能。代码可用:\ url {https://github.com/juvenileinwind/farnet}
translated by 谷歌翻译
慢性伤口显着影响生活质量。如果没有正确管理,他们可能会严重恶化。基于图像的伤口分析可以通过量化与愈合相关的重要特征来客观地评估伤口状态。然而,伤口类型,图像背景组成和捕获条件的高异质性挑战伤口图像的鲁棒分割。我们呈现了检测和段(DS),深度学习方法,以产生具有高泛化能力的伤口分割图。在我们的方法中,专门的深度神经网络检测到伤口位置,从未经信息背景隔离伤口,并计算伤口分割图。我们使用具有糖尿病脚溃疡图像的一个数据集评估了这种方法。为了进一步测试,使用4个补充独立数据组,具有来自不同体积的较大种类的伤口类型。当以相同的方法组合检测和分割时,在将完整图像上的分割到0.85时,Matthews的相关系数(MCC)从0.29提高到0.29。当从补充数据集汲取的卷绕图像上进行测试时,DS方法将平均MCC从0.17增加到0.85。此外,DS方法使得分段模型的培训能够在保持分割性能的同时培训高达90%的训练数据。
translated by 谷歌翻译
目的:我们对颅颌面(CMF)骨骼进行解剖地标,而无需明确分割它们。为此,我们提出了一种新的简单而有效的深层网络体系结构,称为\ textit {关系推理网络(RRN)},以准确地学习CMF骨骼中地标之间的本地和全球关系;具体而言,下颌骨,上颌和鼻骨。方法:拟议的RRN以端到端的方式工作,利用基于密集块单元的地标的学习关系。对于给定的少数地标作为输入,RRN将地标的过程类似于数据推出问题,而数据插图问题被认为缺少了预测的地标。结果:我们将RRN应用于从250名患者获得的锥束计算机断层扫描扫描。使用4倍的交叉验证技术,我们获得了平均均方根误差,每个地标小于2 mm。我们提出的RRN揭示了地标之间的独特关系,这些关系帮助我们推断了关于地标的信息的几个\ textit {推理}。所提出的系统即使骨骼中存在严重的病理或变形,也可以准确地识别缺失的地标性位置。结论:准确识别解剖标志是CMF手术的变形分析和手术计划的关键步骤。实现这一目标而无需明确的骨骼分割解决了基于分割方法的主要局限性,在这种方法中,分割失败(在具有严重病理或变形的骨骼中通常情况下)很容易导致地标不正确。据我们所知,这是使用深度学习发现对象的解剖学关系的第一种此类算法。
translated by 谷歌翻译
超声检查的胎儿生长评估是基于一些生物特征测量,这些测量是手动进行并相对于预期的妊娠年龄进行的。可靠的生物特征估计取决于标准超声平面中地标的精确检测。手动注释可能是耗时的和依赖操作员的任务,并且可能导致高测量可变性。现有的自动胎儿生物特征法的方法依赖于初始自动胎儿结构分割,然后是几何标记检测。但是,分割注释是耗时的,可能是不准确的,具有里程碑意义的检测需要开发特定于测量的几何方法。本文描述了Biometrynet,这是一个克服这些局限性的胎儿生物特征估计的端到端地标回归框架。它包括一种新型的动态定向测定(DOD)方法,用于在网络训练过程中执行测量特定方向的一致性。 DOD可降低网络训练中的变异性,提高标志性的定位精度,从而产生准确且健壮的生物特征测量。为了验证我们的方法,我们组装了一个来自1,829名受试者的3,398张超声图像的数据集,这些受试者在三个具有七个不同超声设备的临床部位收购。在两个独立数据集上的三个不同生物识别测量值的比较和交叉验证表明,生物元网络是稳健的,并且产生准确的测量结果,其误差低于临床上允许的误差,优于其他现有的自动化生物测定估计方法。代码可从https://github.com/netanellavisdris/fetalbiometry获得。
translated by 谷歌翻译
我们提出了一种新颖的形状意识的关系网络,用于内窥镜粘膜颌下粘膜释放(ESD)手术中的准确和实时地标检测。这项任务具有很大的临床意义,但由于复杂的手术环境中出血,照明反射和运动模糊而极其挑战。与现有解决方案相比,通过使用复杂的聚合方案忽略靶向对象之间的几何关系或捕获关系,所提出的网络能够实现令人满意的精度,同时通过充分利用地标之间的空间关系来保持实时性能。我们首先设计一种算法来自动生成关系关键点热量表,其能够直观地代表地标之间的空间关系的先验知识,而无需使用任何额外的手动注释工作。然后,我们开发两个互补正规计划,以逐步将先验知识纳入培训过程。虽然一个方案通过多任务学习引入像素级正则化,但另一个方案通过利用新设计的分组的一致性评估器来实现全局级正则化,该评估将关系约束以越野方式添加到所提出的网络。这两个方案都有利于训练模型,并且可以随时推动才能卸载,以实现实时检测。我们建立了一个大型内部数据集的ESD手术,用于食管癌,以验证我们提出的方法的有效性。广泛的实验结果表明,我们的方法在准确性和效率方面优于最先进的方法,更快地实现了更好的检测结果。在两个下游应用的有希望的结果进一步证实了我们在ESD临床实践中的方法的巨大潜力。
translated by 谷歌翻译
我们提出了一条新型的神经管道Msgazenet,该管道通过通过多发射框架利用眼睛解剖学信息来学习凝视的表示。我们提出的解决方案包括两个组件,首先是一个用于隔离解剖眼区域的网络,以及第二个用于多发达凝视估计的网络。眼睛区域的隔离是通过U-NET样式网络进行的,我们使用合成数据集训练该网络,该数据集包含可见眼球和虹膜区域的眼睛区域掩模。此阶段使用的合成数据集是一个由60,000张眼睛图像组成的新数据集,我们使用眼视线模拟器Unityeyes创建。然后将眼睛区域隔离网络转移到真实域,以生成真实世界图像的面具。为了成功进行转移,我们在训练过程中利用域随机化,这允许合成图像从较大的差异中受益,并在类似于伪影的增强的帮助下从更大的差异中受益。然后,生成的眼睛区域掩模与原始眼睛图像一起用作我们凝视估计网络的多式输入。我们在三个基准凝视估计数据集(Mpiigaze,Eyediap和Utmultiview)上评估框架,在那里我们通过分别获得7.57%和1.85%的性能,在Eyediap和Utmultiview数据集上设置了新的最新技术Mpiigaze的竞争性能。我们还研究了方法在数据中的噪声方面的鲁棒性,并证明我们的模型对噪声数据不太敏感。最后,我们执行各种实验,包括消融研究,以评估解决方案中不同组件和设计选择的贡献。
translated by 谷歌翻译
现在,人工智能(AI)可以自动解释医学图像以供临床使用。但是,AI在介入图像中的潜在用途(相对于参与分类或诊断的图像),例如在手术期间的指导,在很大程度上尚未开发。这是因为目前,使用现场分析对现场手术收集的数据进行了事后分析,这是因为手术AI系统具有基本和实际限制,包括道德考虑,费用,可扩展性,数据完整性以及缺乏地面真相。在这里,我们证明从人类模型中创建逼真的模拟图像是可行的替代方法,并与大规模的原位数据收集进行了补充。我们表明,对现实合成数据的训练AI图像分析模型,结合当代域的概括或适应技术,导致在实际数据上的模型与在精确匹配的真实数据训练集中训练的模型相当地执行的模型。由于从基于人类的模型尺度的合成生成培训数据,因此我们发现我们称为X射线图像分析的模型传输范式(我们称为Syntheex)甚至可以超越实际数据训练的模型,因为训练的有效性较大的数据集。我们证明了合成在三个临床任务上的潜力:髋关节图像分析,手术机器人工具检测和COVID-19肺病变分割。 Synthex提供了一个机会,可以极大地加速基于X射线药物的智能系统的概念,设计和评估。此外,模拟图像环境还提供了测试新颖仪器,设计互补手术方法的机会,并设想了改善结果,节省时间或减轻人为错误的新技术,从实时人类数据收集的道德和实际考虑方面摆脱了人为错误。
translated by 谷歌翻译
胎儿镜检查激光​​光凝是一种广泛采用的方法,用于治疗双胞胎输血综合征(TTTS)。该过程涉及光凝病理吻合术以调节双胞胎之间的血液交换。由于观点有限,胎儿镜的可操作性差,可见性差和照明的可变性,因此该程序尤其具有挑战性。这些挑战可能导致手术时间增加和消融不完全。计算机辅助干预措施(CAI)可以通过识别场景中的关键结构并通过视频马赛克来扩展胎儿镜观景领域,从而为外科医生提供决策支持和背景意识。由于缺乏设计,开发和测试CAI算法的高质量数据,该领域的研究受到了阻碍。通过作为MICCAI2021内窥镜视觉挑战组织的胎儿镜胎盘胎盘分割和注册(FETREG2021)挑战,我们发布了第一个Largescale Multencentre TTTS数据集,用于开发广义和可靠的语义分割和视频摩擦质量algorithms。对于这一挑战,我们发布了一个2060张图像的数据集,该数据集是从18个体内TTTS胎儿镜检查程序和18个简短视频剪辑的船只,工具,胎儿和背景类别的像素通道。七个团队参与了这一挑战,他们的模型性能在一个看不见的测试数据集中评估了658个从6个胎儿镜程序和6个短剪辑的图像的图像。这项挑战为创建通用解决方案提供了用于胎儿镜面场景的理解和摩西式解决方案的机会。在本文中,我们介绍了FETREG2021挑战的发现,以及报告TTTS胎儿镜检查中CAI的详细文献综述。通过这一挑战,它的分析和多中心胎儿镜数据的发布,我们为该领域的未来研究提供了基准。
translated by 谷歌翻译
对骨关节炎(OA)的磁共振成像(MRI)扫描的客观评估可以解决当前OA评估的局限性。 OA客观评估是必需的骨,软骨和关节液的分割。大多数提出的分割方法都不执行实例分割,并且遭受了类不平衡问题。这项研究部署了蒙版R-CNN实例分割并改进了IT(改进的面罩R-CNN(IMASKRCNN)),以获得与OA相关组织的更准确的广义分割。该方法的训练和验证是使用骨关节炎倡议(OAI)数据集的500次MRI膝盖和有症状髋关节OA患者的97次MRI扫描进行的。掩盖R-CNN的三个修改产生了iMaskRCNN:添加第二个Roialigned块,在掩码标先中添加了额外的解码器层,并通过跳过连接将它们连接起来。使用Hausdorff距离,骰子评分和变异系数(COV)评估结果。与面膜RCNN相比,iMaskRCNN导致骨骼和软骨分割的改善,这表明股骨的骰子得分从95%增加到98%,胫骨的95%到97%,股骨软骨的71%至80%,81%和81%胫骨软骨的%至82%。对于积液检测,iMaskRCNN 72%比MaskRCNN 71%改善了骰子。 Reader1和Mask R-CNN(0.33),Reader1和ImaskRCNN(0.34),Reader2和Mask R-CNN(0.22),Reader2和iMaskRCNN(0.29)之间的积液检测的COV值(0.34),读取器2和mask r-CNN(0.22)接近COV之间,表明人类读者与蒙版R-CNN和ImaskRCNN之间的一致性很高。蒙版R-CNN和ImaskRCNN可以可靠,同时提取与OA有关的不同规模的关节组织,从而为OA的自动评估构成基础。 iMaskRCNN结果表明,修改改善了边缘周围的网络性能。
translated by 谷歌翻译
X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.
translated by 谷歌翻译
在医学领域,MRI的地标检测在减少扫描计划,图像登记等中的任务中减少医疗技术人员努力方面发挥着重要作用。首先,88个地标在三个相应的观点中分布在三个相应的观点中 - 矢状,冠状动脉和轴向手动注释,专家临床技术人员的后期准则被划分解剖学,以便更好地定位现有地标,以便即使在斜扫描中也定位重要的地图标志性地标。为了克服有限的数据可用性,我们实施现实的数据增强以生成合成3D容量数据。我们使用修改后的HIGHRES3DNET模型来解决脑MRI容量的地标检测问题。为了在视觉上解释我们的培训模型,并从较弱的模型中辨别更强的模型,我们实现了梯度加权类激活映射(GRAC-CAM),它产生突出显示模型聚焦的区域的粗糙定位图。我们的实验表明,该方法显示出有利的结果,并且整个管道可以扩展到可变数量的地标和其他解剖。
translated by 谷歌翻译
海洋生态系统及其鱼类栖息地越来越重要,因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然,因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据,这些数据无法通过当前的手动处理方法有效地分析,这些方法涉及人类观察者。 DL是一种尖端的AI技术,在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域,但仍在探索其在水下鱼类栖息地监测中的使用。在本文中,我们提供了一个涵盖DL的关键概念的教程,该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序,讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外,我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查,包括分类,计数,定位和细分。此外,我们对水下鱼类数据集进行了公开调查,并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解,通过遵循我们的分步教程而为其应用开发的海洋科学家的教程,并了解如何发展其研究,以促进他们的研究。努力。同时,它适用于希望调查基于DL的最先进方法的计算机科学家,以进行鱼类栖息地监测。
translated by 谷歌翻译
The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.
translated by 谷歌翻译
膝关节X射线上的膝盖骨关节炎(KOA)的评估是使用总膝关节置换术的中心标准。但是,该评估遭受了不精确的标准,并且读取器间的可变性非常高。对KOA严重性的算法,自动评估可以通过提高其使用的适当性来改善膝盖替代程序的总体结果。我们提出了一种基于深度学习的新型五步算法,以自动从X光片后验(PA)视图对KOA进行评级:(1)图像预处理(2)使用Yolo V3-tiny模型,图像在图像中定位膝关节, (3)使用基于卷积神经网络的分类器对骨关节炎的严重程度进行初步评估,(4)关节分割和关节空间狭窄(JSN)的计算(JSN)和(5),JSN和最初的结合评估确定最终的凯尔格伦法律(KL)得分。此外,通过显示用于进行评估的分割面具,我们的算法与典型的“黑匣子”深度学习分类器相比表现出更高的透明度。我们使用我们机构的两个公共数据集和一个数据集进行了全面的评估,并表明我们的算法达到了最先进的性能。此外,我们还从机构中的多个放射科医生那里收集了评分,并表明我们的算法在放射科医生级别进行。该软件已在https://github.com/maciejmazurowowski/osteoarthitis-classification上公开提供。
translated by 谷歌翻译
工业X射线分析在需要保证某些零件的结构完整性的航空航天,汽车或核行业中很常见。但是,射线照相图像的解释有时很困难,可能导致两名专家在缺陷分类上不同意。本文介绍的自动缺陷识别(ADR)系统将减少分析时间,还将有助于减少对缺陷的主观解释,同时提高人类检查员的可靠性。我们的卷积神经网络(CNN)模型达到94.2 \%准确性(MAP@iou = 50 \%),当应用于汽车铝铸件数据集(GDXRAR)时,它被认为与预期的人类性能相似,超过了当前状态该数据集的艺术。在工业环境上,其推理时间少于每个DICOM图像,因此可以安装在生产设施上,不会影响交付时间。此外,还进行了对主要高参数的消融研究,以优化从75 \%映射的初始基线结果最高94.2 \%map的模型准确性。
translated by 谷歌翻译
本文提出了一种名为定位变压器(LOTR)的新型变压器的面部地标定位网络。所提出的框架是一种直接坐标回归方法,利用变压器网络以更好地利用特征图中的空间信息。 LOTR模型由三个主要模块组成:1)将输入图像转换为特征图的视觉骨干板,2)改进Visual Backone的特征表示,以及3)直接预测的地标预测头部的变压器模块来自变压器的代表的地标坐标。给定裁剪和对齐的面部图像,所提出的LOTR可以训练结束到底,而无需任何后处理步骤。本文还介绍了光滑翼损失功能,它解决了机翼损耗的梯度不连续性,导致比L1,L2和机翼损耗等标准损耗功能更好地收敛。通过106点面部地标定位的第一个大挑战提供的JD地标数据集的实验结果表明了LOTR在排行榜上的现有方法和最近基于热爱的方法的优势。在WFLW DataSet上,所提出的Lotr框架与若干最先进的方法相比,展示了有希望的结果。此外,我们在使用我们提出的LOTRS面向对齐时,我们报告了最先进的面部识别性能的提高。
translated by 谷歌翻译
Pneumonia, a respiratory infection brought on by bacteria or viruses, affects a large number of people, especially in developing and impoverished countries where high levels of pollution, unclean living conditions, and overcrowding are frequently observed, along with insufficient medical infrastructure. Pleural effusion, a condition in which fluids fill the lung and complicate breathing, is brought on by pneumonia. Early detection of pneumonia is essential for ensuring curative care and boosting survival rates. The approach most usually used to diagnose pneumonia is chest X-ray imaging. The purpose of this work is to develop a method for the automatic diagnosis of bacterial and viral pneumonia in digital x-ray pictures. This article first presents the authors' technique, and then gives a comprehensive report on recent developments in the field of reliable diagnosis of pneumonia. In this study, here tuned a state-of-the-art deep convolutional neural network to classify plant diseases based on images and tested its performance. Deep learning architecture is compared empirically. VGG19, ResNet with 152v2, Resnext101, Seresnet152, Mobilenettv2, and DenseNet with 201 layers are among the architectures tested. Experiment data consists of two groups, sick and healthy X-ray pictures. To take appropriate action against plant diseases as soon as possible, rapid disease identification models are preferred. DenseNet201 has shown no overfitting or performance degradation in our experiments, and its accuracy tends to increase as the number of epochs increases. Further, DenseNet201 achieves state-of-the-art performance with a significantly a smaller number of parameters and within a reasonable computing time. This architecture outperforms the competition in terms of testing accuracy, scoring 95%. Each architecture was trained using Keras, using Theano as the backend.
translated by 谷歌翻译