Purpose: The purpose of this paper is to present a method for real-time 2D-3D non-rigid registration using a single fluoroscopic image. Such a method can find applications in surgery, interventional radiology and radiotherapy. By estimating a three-dimensional displacement field from a 2D X-ray image, anatomical structures segmented in the preoperative scan can be projected onto the 2D image, thus providing a mixed reality view. Methods: A dataset composed of displacement fields and 2D projections of the anatomy is generated from the preoperative scan. From this dataset, a neural network is trained to recover the unknown 3D displacement field from a single projection image. Results: Our method is validated on lung 4D CT data at different stages of the lung deformation. The training is performed on a 3D CT using random (non domain-specific) diffeomorphic deformations, to which perturbations mimicking the pose uncertainty are added. The model achieves a mean TRE over a series of landmarks ranging from 2.3 to 5.5 mm depending on the amplitude of deformation. Conclusion: In this paper, a CNN-based method for real-time 2D-3D non-rigid registration is presented. This method is able to cope with pose estimation uncertainties, making it applicable to actual clinical scenarios, such as lung surgery, where the C-arm pose is planned before the intervention.

基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围，例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络，该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换：从2D投影图像到位移图，以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗，验证了2D / 3D可变形的登记性能，用于尚未瞄准迄今为止，即肝脏，胃，十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明，考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。

运动估计是用于评估目标器官解剖学和功能的动态医学图像处理的基本步骤。然而，通过评估局部图像相似性通过评估局部图像相似性优化运动场的基于图像的运动估计方法，易于产生令人难以置信的估计，尤其是在大运动的情况下。在这项研究中，我们提供了一种新颖的稀疏密度（DSD）的运动估计框架，其包括两个阶段。在第一阶段，我们处理原始密集图像以提取稀疏地标以表示目标器官解剖拓扑，并丢弃对运动估计不必要的冗余信息。为此目的，我们介绍一个无监督的3D地标检测网络，以提取用于目标器官运动估计的空间稀疏但代表性的地标。在第二阶段，我们从两个不同时间点的两个图像的提取稀疏地标的稀疏运动位移得出。然后，我们通过将稀疏地标位移突出回致密图像域，呈现运动重建网络来构造运动场。此外，我们从我们的两级DSD框架中使用估计的运动场作为初始化，并提高轻量级且有效的迭代优化中的运动估计质量。我们分别评估了两种动态医学成像任务的方法，分别为模型心脏运动和肺呼吸运动。与现有的比较方法相比，我们的方法产生了出色的运动估计精度。此外，广泛的实验结果表明，我们的解决方案可以提取良好代表性解剖标志，而无需手动注释。我们的代码在线公开提供。

Deformable registration of two-dimensional/three-dimensional (2D/3D) images of abdominal organs is a complicated task because the abdominal organs deform significantly and their contours are not detected in two-dimensional X-ray images. We propose a supervised deep learning framework that achieves 2D/3D deformable image registration between 3D volumes and single-viewpoint 2D projected images. The proposed method learns the translation from the target 2D projection images and the initial 3D volume to 3D displacement fields. In experiments, we registered 3D-computed tomography (CT) volumes to digitally reconstructed radiographs generated from abdominal 4D-CT volumes. For validation, we used 4D-CT volumes of 35 cases and confirmed that the 3D-CT volumes reflecting the nonlinear and local respiratory organ displacement were reconstructed. The proposed method demonstrate the compatible performance to the conventional methods with a dice similarity coefficient of 91.6 \% for the liver region and 85.9 \% for the stomach region, while estimating a significantly more accurate CT values.

迄今为止，迄今为止，众所周知，对广泛的互补临床相关任务进行了全面比较了医学图像登记方法。这限制了采用研究进展，以防止竞争方法的公平基准。在过去五年内已经探讨了许多新的学习方法，但优化，建筑或度量战略的问题非常适合仍然是开放的。 Learn2reg涵盖了广泛的解剖学：脑，腹部和胸部，方式：超声波，CT，MRI，群体：患者内部和患者内部和监督水平。我们为3D注册的培训和验证建立了较低的入境障碍，这帮助我们从20多个独特的团队中汇编了65多个单独的方法提交的结果。我们的互补度量集，包括稳健性，准确性，合理性和速度，使得能够独特地位了解当前的医学图像登记现状。进一步分析监督问题的转移性，偏见和重要性，主要是基于深度学习的方法的优越性，并将新的研究方向开放到利用GPU加速的常规优化的混合方法。

在基于模型的医学图像分析中，感兴趣的三个特征是感兴趣的结构，其相对姿势和代表一些物理性质的图像强度谱的形状。通常，这些通过统计模型分别通过统计模型来通过主要测地分析或主成分分析将对象的特征分解成一组基函数。本研究提出了一种统计建模方法，用于在医学图像中自动学习形状，姿势和强度特征，我们称之为动态多特征类高斯过程模型（DMFC-GPM）。 DMFC-GPM是基于高斯过程（GP）的模型，具有编码线性和非线性变化的共享潜在空间。我们的方法在连续域中定义，其具有基于变形字段的线性空间中的形状，姿势和强度特征类。在用于建模形状和强度特征变化的方法以及比较刚性变换（姿势）的方法中，适于变形现场度量。此外，DMFC-GPMS继承了GPS内在的属性，包括边缘化和回归。此外，它们允许在从图像采集过程获得的那些之上增加额外的姿势特征可变性;我们是什么术语作为排列建模。对于使用DMFC-GPMS的图像分析任务，我们适应了Metropolis-Hastings算法，使得具有完全概率的特征预测。我们验证了使用受控合成数据的方法，并且我们在肩部的CT图像上对骨结构进行实验，以说明模型姿势和形状特征预测的功效。模型性能结果表明，这种新的造型范例是强大，准确，可访问的，并且具有潜在的应用，包括肌肉骨骼障碍和临床决策

在对肺癌患者的放疗治疗期间，需要最小化肿瘤周围健康组织的辐射，这由于呼吸运动和线性加速器系统的潜伏期很难。在拟议的研究中，我们首先使用Lucas-Kanade锥体光流算法来对四个肺癌患者的胸部计算机断层扫描图像进行可变形的图像登记。然后，我们根据先前计算的变形场跟踪靠近肺部肿瘤的三个内部点，并通过使用实时重复学习（RTRL）和梯度剪辑训练的复发神经网络（RNN）预测其位置。呼吸数据非常规规律，在约2.5Hz时采样，并在脊柱方向上包括人工漂移。轨道点的运动幅度范围为12.0mm至22.7mm。最后，我们提出了一种基于线性对应模型和Nadaraya-Watson非线性回归的最初肿瘤图像的恢复和预测3D肿瘤图像的简单方法。与测试集上RNN预测相对应的根平方误差，最大误差和抖动小于使用线性预测和最小平方（LMS）获得的相同性能度量。特别是，与RNN相关的最大预测误差等于1.51mm，比与线性预测和LMS相关的最大误差低16.1％和5.0％。 RTRL的平均预测时间等于119ms，小于400ms标记位置采样时间。预测图像中的肿瘤位置在视觉上似乎是正确的，这通过等于0.955的原始图像和预测图像之间的高平均互相关证实。

由于介导的介入X射线和未定义的预介入计算机断层扫描（CT）之间的映射关系是不确定的，辅助定位装置或身体标记，例如医疗植入物，通常用于确定这种关系。然而，由于复杂的现实，这种方法不能广泛用于临床上。为了确定映射关系，并实现没有辅助设备或标记的人体的初始化估计，所提出的方法应用图像分割和深度匹配，以直接匹配X射线和CT图像。结果，训练有素的网络可以直接预测任意X射线和CT之间的空间对应。实验结果表明，当与传统方法相结合的方法时，实现的准确性和速度可以满足基本的临床干预需求，并为介入内注册提供了新的方向。

自由点变压器（FPT）已被提出为使用深神经网络的数据驱动的，非刚性点设置的注册方法。由于fpt不基于点附近或对应关系假设约束，因此可以通过根据倒角距离最大程度地减少无监督的损失来简单训练它。这使得fpt可以适应现实世界中的医学成像应用，在这些应用程序中可能无法获得地面变形，或者在仅在要对齐的点集中只有不同程度的完整性的情况下。为了测试FPT及其对培训数据集的依赖性的对应关系的限制，这项工作探讨了FPT从良好策划的非医学数据集到医学成像数据集的普遍性。首先，我们在ModelNet40数据集上训练FPT，以证明其有效性和FPT的出色注册性能，而不是基于迭代和学习的点设置注册方法。其次，我们证明了缺少数据的刚性和非刚性注册和鲁棒性的卓越性能。最后，我们通过在没有额外的训练的情况下注册了重建的脊柱和通用脊柱模型的徒手超声扫描，强调了模型网训练的FPT的有趣概括性，从而在13位患者的情况下，对地面真相曲率的平均差异为1.3度。

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

现在，人工智能（AI）可以自动解释医学图像以供临床使用。但是，AI在介入图像中的潜在用途（相对于参与分类或诊断的图像），例如在手术期间的指导，在很大程度上尚未开发。这是因为目前，使用现场分析对现场手术收集的数据进行了事后分析，这是因为手术AI系统具有基本和实际限制，包括道德考虑，费用，可扩展性，数据完整性以及缺乏地面真相。在这里，我们证明从人类模型中创建逼真的模拟图像是可行的替代方法，并与大规模的原位数据收集进行了补充。我们表明，对现实合成数据的训练AI图像分析模型，结合当代域的概括或适应技术，导致在实际数据上的模型与在精确匹配的真实数据训练集中训练的模型相当地执行的模型。由于从基于人类的模型尺度的合成生成培训数据，因此我们发现我们称为X射线图像分析的模型传输范式（我们称为Syntheex）甚至可以超越实际数据训练的模型，因为训练的有效性较大的数据集。我们证明了合成在三个临床任务上的潜力：髋关节图像分析，手术机器人工具检测和COVID-19肺病变分割。 Synthex提供了一个机会，可以极大地加速基于X射线药物的智能系统的概念，设计和评估。此外，模拟图像环境还提供了测试新颖仪器，设计互补手术方法的机会，并设想了改善结果，节省时间或减轻人为错误的新技术，从实时人类数据收集的道德和实际考虑方面摆脱了人为错误。

Purpose: This study aims to explore training strategies to improve convolutional neural network-based image-to-image registration for abdominal imaging. Methods: Different training strategies, loss functions, and transfer learning schemes were considered. Furthermore, an augmentation layer which generates artificial training image pairs on-the-fly was proposed, in addition to a loss layer that enables dynamic loss weighting. Results: Guiding registration using segmentations in the training step proved beneficial for deep-learning-based image registration. Finetuning the pretrained model from the brain MRI dataset to the abdominal CT dataset further improved performance on the latter application, removing the need for a large dataset to yield satisfactory performance. Dynamic loss weighting also marginally improved performance, all without impacting inference runtime. Conclusion: Using simple concepts, we improved the performance of a commonly used deep image registration architecture, VoxelMorph. In future work, our framework, DDMR, should be validated on different datasets to further assess its value.

Purpose: Trans-oral robotic surgery (TORS) using the da Vinci surgical robot is a new minimally-invasive surgery method to treat oropharyngeal tumors, but it is a challenging operation. Augmented reality (AR) based on intra-operative ultrasound (US) has the potential to enhance the visualization of the anatomy and cancerous tumors to provide additional tools for decision-making in surgery. Methods: We propose and carry out preliminary evaluations of a US-guided AR system for TORS, with the transducer placed on the neck for a transcervical view. Firstly, we perform a novel MRI-transcervical 3D US registration study. Secondly, we develop a US-robot calibration method with an optical tracker and an AR system to display the anatomy mesh model in the real-time endoscope images inside the surgeon console. Results: Our AR system reaches a mean projection error of 26.81 and 27.85 pixels for the projection from the US to stereo cameras in a water bath experiment. The average target registration error for MRI to 3D US is 8.90 mm for the 3D US transducer and 5.85 mm for freehand 3D US, and the average distance between the vessel centerlines is 2.32 mm. Conclusion: We demonstrate the first proof-of-concept transcervical US-guided AR system for TORS and the feasibility of trans-cervical 3D US-MRI registration. Our results show that trans-cervical 3D US is a promising technique for TORS image guidance.

The use of needles to access sites within organs is fundamental to many interventional medical procedures both for diagnosis and treatment. Safe and accurate navigation of a needle through living tissue to an intra-tissue target is currently often challenging or infeasible due to the presence of anatomical obstacles in the tissue, high levels of uncertainty, and natural tissue motion (e.g., due to breathing). Medical robots capable of automating needle-based procedures in vivo have the potential to overcome these challenges and enable an enhanced level of patient care and safety. In this paper, we show the first medical robot that autonomously navigates a needle inside living tissue around anatomical obstacles to an intra-tissue target. Our system leverages an aiming device and a laser-patterned highly flexible steerable needle, a type of needle capable of maneuvering along curvilinear trajectories to avoid obstacles. The autonomous robot accounts for anatomical obstacles and uncertainty in living tissue/needle interaction with replanning and control and accounts for respiratory motion by defining safe insertion time windows during the breathing cycle. We apply the system to lung biopsy, which is critical in the diagnosis of lung cancer, the leading cause of cancer-related death in the United States. We demonstrate successful performance of our system in multiple in vivo porcine studies and also demonstrate that our approach leveraging autonomous needle steering outperforms a standard manual clinical technique for lung nodule access.

Purpose: In laparoscopic liver surgery (LLS), pre-operative information can be overlaid onto the intra-operative scene by registering a 3D pre-operative model to the intra-operative partial surface reconstructed from the laparoscopic video. To assist with this task, we explore the use of learning-based feature descriptors, which, to our best knowledge, have not been explored for use in laparoscopic liver registration. Furthermore, a dataset to train and evaluate the use of learning-based descriptors does not exist. Methods: We present the LiverMatch dataset consisting of 16 preoperative models and their simulated intra-operative 3D surfaces. We also propose the LiverMatch network designed for this task, which outputs per-point feature descriptors, visibility scores, and matched points. Results: We compare the proposed LiverMatch network with anetwork closest to LiverMatch, and a histogram-based 3D descriptor on the testing split of the LiverMatch dataset, which includes two unseen pre-operative models and 1400 intra-operative surfaces. Results suggest that our LiverMatch network can predict more accurate and dense matches than the other two methods and can be seamlessly integrated with a RANSAC-ICP-based registration algorithm to achieve an accurate initial alignment. Conclusion: The use of learning-based feature descriptors in LLR is promising, as it can help achieve an accurate initial rigid alignment, which, in turn, serves as an initialization for subsequent non-rigid registration. We will release the dataset and code upon acceptance.

为了纠正PET成像中的呼吸运动，构建了一种可解释和无监督的深度学习技术。对网络进行了训练，以预测不同呼吸幅度范围的两个宠物框架之间的光流。训练有素的模型将不同的回顾性宠物图像对齐，提供了最终图像，其计数统计量与非门控图像相似，但没有模糊的效果。 Flownet-PET应用于拟人化数字幻影数据，该数据提供了设计强大指标以量化校正的可能性。当比较预测的光流与地面真相时，发现中值绝对误差小于像素和切片宽度。通过与没有运动的图像进行比较，并计算肿瘤的联合（IOU）以及在应用校正之前和之后NO-MOTION肿瘤体积内的封闭活性和变异系数（COV）进行比较。网络提供的平均相对改进分别为IOU，总活动和COV的64％，89％和75％。 Fownet-Pet获得了与常规回顾相结合方法相似的结果，但仅需要扫描持续时间的六分之一。代码和数据已公开可用（https://github.com/teaghan/flownet_pet）。

Coronary Computed Tomography Angiography (CCTA) provides information on the presence, extent, and severity of obstructive coronary artery disease. Large-scale clinical studies analyzing CCTA-derived metrics typically require ground-truth validation in the form of high-fidelity 3D intravascular imaging. However, manual rigid alignment of intravascular images to corresponding CCTA images is both time consuming and user-dependent. Moreover, intravascular modalities suffer from several non-rigid motion-induced distortions arising from distortions in the imaging catheter path. To address these issues, we here present a semi-automatic segmentation-based framework for both rigid and non-rigid matching of intravascular images to CCTA images. We formulate the problem in terms of finding the optimal \emph{virtual catheter path} that samples the CCTA data to recapitulate the coronary artery morphology found in the intravascular image. We validate our co-registration framework on a cohort of $n=40$ patients using bifurcation landmarks as ground truth for longitudinal and rotational registration. Our results indicate that our non-rigid registration significantly outperforms other co-registration approaches for luminal bifurcation alignment in both longitudinal (mean mismatch: 3.3 frames) and rotational directions (mean mismatch: 28.6 degrees). By providing a differentiable framework for automatic multi-modal intravascular data fusion, our developed co-registration modules significantly reduces the manual effort required to conduct large-scale multi-modal clinical studies while also providing a solid foundation for the development of machine learning-based co-registration approaches.

目的：我们对颅颌面（CMF）骨骼进行解剖地标，而无需明确分割它们。为此，我们提出了一种新的简单而有效的深层网络体系结构，称为\ textit {关系推理网络（RRN）}，以准确地学习CMF骨骼中地标之间的本地和全球关系；具体而言，下颌骨，上颌和鼻骨。方法：拟议的RRN以端到端的方式工作，利用基于密集块单元的地标的学习关系。对于给定的少数地标作为输入，RRN将地标的过程类似于数据推出问题，而数据插图问题被认为缺少了预测的地标。结果：我们将RRN应用于从250名患者获得的锥束计算机断层扫描扫描。使用4倍的交叉验证技术，我们获得了平均均方根误差，每个地标小于2 mm。我们提出的RRN揭示了地标之间的独特关系，这些关系帮助我们推断了关于地标的信息的几个\ textit {推理}。所提出的系统即使骨骼中存在严重的病理或变形，也可以准确地识别缺失的地标性位置。结论：准确识别解剖标志是CMF手术的变形分析和手术计划的关键步骤。实现这一目标而无需明确的骨骼分割解决了基于分割方法的主要局限性，在这种方法中，分割失败（在具有严重病理或变形的骨骼中通常情况下）很容易导致地标不正确。据我们所知，这是使用深度学习发现对象的解剖学关系的第一种此类算法。

在过去的十年中，卷积神经网络（Convnets）主导了医学图像分析领域。然而，发现脉搏的性能仍然可以受到它们无法模拟图像中体素之间的远程空间关系的限制。最近提出了众多视力变压器来解决哀悼缺点，在许多医学成像应用中展示最先进的表演。变压器可以是用于图像配准的强烈候选者，因为它们的自我注意机制能够更精确地理解移动和固定图像之间的空间对应。在本文中，我们呈现透射帧，一个用于体积医学图像配准的混合变压器-Cromnet模型。我们还介绍了三种变速器的变形，具有两个散晶变体，确保了拓扑保存的变形和产生良好校准的登记不确定性估计的贝叶斯变体。使用来自两个应用的体积医学图像的各种现有的登记方法和变压器架构进行广泛验证所提出的模型：患者间脑MRI注册和幻影到CT注册。定性和定量结果表明，传输和其变体导致基线方法的实质性改进，展示了用于医学图像配准的变压器的有效性。

机器学习和计算机视觉技术近年来由于其自动化，适合性和产生惊人结果的能力而迅速发展。因此，在本文中，我们调查了2014年至2022年之间发表的关键研究，展示了不同的机器学习算法研究人员用来分割肝脏，肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织（肝果，肝肿瘤或肝毒剂）对被调查的研究进行了划分，强调了同时解决多个任务的研究。此外，机器学习算法被归类为受监督或无监督的，如果属于某个方案的工作量很大，则将进一步分区。此外，对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论，强调了组织者的原始贡献和其他研究人员的贡献。同样，在我们的评论中提到了文献中过度使用的指标，这强调了它们与手头的任务的相关性。最后，强调创新研究人员应对需要解决的差距的关键挑战和未来的方向，例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。