位移估计是几乎所有超声弹性图（使用）技术的关键步骤。与一般的光流问题相比，这两个主要功能使这项任务与众不同：超声射频（RF）数据的高频性质和位移字段上物理的管理定律。最近，已经对光流网络的体系结构进行了修改，以便能够使用RF数据。同样，通过考虑以第一和第二个衍生式正规化器的形式考虑位移连续性的先验知识，已采用半监督和无监督的技术来使用。尽管尝试了这些尝试，但尚未考虑组织压缩模式，并且假定轴向和横向方向的位移是独立的。然而，组织运动模式受使用的物理定律的控制，使轴向和横向位移高度相关。在本文中，我们提出了对无监督的正则弹性图（图）的身体启发的约束，在此我们对泊松比的约束以改善侧向位移估计值。有关幻影和体内数据的实验表明，图片大大提高了横向位移估计的质量。

Convolutional Neural Networks (CNN) have shown promising results for displacement estimation in UltraSound Elastography (USE). Many modifications have been proposed to improve the displacement estimation of CNNs for USE in the axial direction. However, the lateral strain, which is essential in several downstream tasks such as the inverse problem of elasticity imaging, remains a challenge. The lateral strain estimation is complicated since the motion and the sampling frequency in this direction are substantially lower than the axial one, and a lack of carrier signal in this direction. In computer vision applications, the axial and the lateral motions are independent. In contrast, the tissue motion pattern in USE is governed by laws of physics which link the axial and lateral displacements. In this paper, inspired by Hooke's law, we first propose Physically Inspired ConsTraint for Unsupervised Regularized Elastography (PICTURE), where we impose a constraint on the Effective Poisson's ratio (EPR) to improve the lateral strain estimation. In the next step, we propose self-supervised PICTURE (sPICTURE) to further enhance the strain image estimation. Extensive experiments on simulation, experimental phantom and in vivo data demonstrate that the proposed methods estimate accurate axial and lateral strain maps.

从图像中学习心脏运动中的时空对应关系对于理解心脏解剖结构的潜在动力学很重要。许多方法明确施加了平滑度约束，例如位移矢量字段（DVF）上的$ \ Mathcal {l} _2 $ NORM，而通常忽略转换中的生物力学可行性。其他几何约束要么正规化特定的感兴趣区域，例如在心肌上施加不可压缩性，要么引入其他步骤，例如在物理模拟的数据集上训练单独的基于网络的正规器。在这项工作中，我们提出了一个明确的生物力学知识，因为在所有心脏结构中对更通用的生物力学上可行的转化进行建模，而无需引入额外的训练复杂性，因此对预测的DVF进行了正则化。在2D MRI数据的背景下，我们验证了两个公开可用数据集的方法，并执行广泛的实验，以说明与其他竞争性正规化方案相比，我们提出的方法的有效性和鲁棒性。我们提出的方法可以通过视觉评估更好地保留生物力学特性，并使用定量评估指标显示分割性能的优势。该代码可在\ url {https://github.com/voldemort108x/bioinformed_reg}上公开获得。

用于医学图像重建的深度神经网络传统上使用高质量的地基图像作为训练目标训练。最近关于噪声的工作（N2N）已经示出了使用与具有地面真理的多个噪声测量的潜力。然而，现有的基于N2N的方法不适合于从经历非身份变形的物体的测量来学习。本文通过补偿对象变形来提出用于训练深层重建网络的变形补偿学习（DecoLearn）方法来解决此问题。DecoLearn的一个关键组件是一个深度登记模块，它与深度重建网络共同培训，没有任何地理监督。我们在模拟和实验收集的磁共振成像（MRI）数据上验证了甲板，并表明它显着提高了成像质量。

光子计数CT（PCCT）通过更好的空间和能量分辨率提供了改进的诊断性能，但是开发可以处理这些大数据集的高质量图像重建方法是具有挑战性的。基于模型的解决方案结合了物理采集的模型，以重建更准确的图像，但取决于准确的前向操作员，并在寻找良好的正则化方面遇到困难。另一种方法是深度学习的重建，这在CT中表现出了巨大的希望。但是，完全数据驱动的解决方案通常需要大量的培训数据，并且缺乏解释性。为了结合两种方法的好处，同时最大程度地降低了各自的缺点，希望开发重建算法，以结合基于模型和数据驱动的方法。在这项工作中，我们基于展开/展开的迭代网络提出了一种新颖的深度学习解决方案，用于PCCT中的材料分解。我们评估了两种情况：一种学识渊博的后处理，隐含地利用了模型知识，以及一种学到的梯度，该梯度在体系结构中具有明确的基于模型的组件。借助我们提出的技术，我们解决了一个具有挑战性的PCCT模拟情况：低剂量，碘对比度和很小的训练样品支持的腹部成像中的三材料分解。在这种情况下，我们的方法的表现优于最大似然估计，一种变异方法以及一个完整的网络。

The identification of material parameters occurring in constitutive models has a wide range of applications in practice. One of these applications is the monitoring and assessment of the actual condition of infrastructure buildings, as the material parameters directly reflect the resistance of the structures to external impacts. Physics-informed neural networks (PINNs) have recently emerged as a suitable method for solving inverse problems. The advantages of this method are a straightforward inclusion of observation data. Unlike grid-based methods, such as the finite element method updating (FEMU) approach, no computational grid and no interpolation of the data is required. In the current work, we aim to further develop PINNs towards the calibration of the linear-elastic constitutive model from full-field displacement and global force data in a realistic regime. We show that normalization and conditioning of the optimization problem play a crucial role in this process. Therefore, among others, we identify the material parameters for initial estimates and balance the individual terms in the loss function. In order to reduce the dependence of the identified material parameters on local errors in the displacement approximation, we base the identification not on the stress boundary conditions but instead on the global balance of internal and external work. In addition, we found that we get a better posed inverse problem if we reformulate it in terms of bulk and shear modulus instead of Young's modulus and Poisson's ratio. We demonstrate that the enhanced PINNs are capable of identifying material parameters from both experimental one-dimensional data and synthetic full-field displacement data in a realistic regime. Since displacement data measured by, e.g., a digital image correlation (DIC) system is noisy, we additionally investigate the robustness of the method to different levels of noise.

定量超声（QUS）提供了有关组织特性的重要信息。可以通过将包络数据分为小重叠贴片并计算不同的斑点统计信息，例如中Nakagami的参数和knody k-Distribution（HK-Distribution）来形成QUS参数图像。计算出的QUS参数图像可能是错误的，因为补丁中只有几个独立的样本可用。另一个挑战是，假定斑块内的包膜样品来自相同的分布，这一假设通常会违反，因为该组织通常不是同质的。在本文中，我们提出了一种基于卷积神经网络（CNN）的方法，以估算QUS参数图像而无需修补。我们构建一个从HK分布中采样的大数据集，具有随机形状和QUS参数值的区域。然后，我们使用众所周知的网络以多任务学习方式估算QUS参数。我们的结果证实，所提出的方法能够减少错误并改善QUS参数图像中的边界定义。

物体的内部材料特性，而对人眼不可见，确定在其表面上观察到的运动。我们提出一种方法，该方法从其表面振动的单眼视频估计物体的异质材料特性。具体来说，我们展示了如何在具有已知几何形状的3D对象中估算杨氏模量和密度。了解这些值如何变化对象的变化对于模拟其运动和表征任何缺陷非常有用。传统的非破坏性测试方法，通常需要昂贵的仪器，通常只估计均质材料特性或只是识别缺陷的存在。相反，我们的方法利用单目一体视频来从物体的子像素运动识别图像空间模式，（2）直接从观察到的模式推断出空间不同的杨氏模量和密度值。我们在模拟和真实视频上展示了我们的方法。

双能计算机断层扫描（DECT）已广泛用于需要材料分解的许多应用中。图像域方法直接分解来自高能和低能量衰减图像的材料图像，因此，衰减图像上的噪声和伪影易感。本研究的目的是开发一种改进的迭代神经网络（INN），用于DECT中的高质量图像域材料分解，并研究其性质。我们为DECT材料分解提出了一个新的Inn架构。该建议的Inn Architection在图像精炼模块中使用不同的跨材料卷积神经网络（CNN），并在图像重建模块中使用图像分解物理。独特的交叉材料CNN炼油厂包括不同的编码解码滤波器和跨材料模型，其捕获不同材料之间的相关性。我们研究了具有贴片式重构和紧密框架条件的不同跨材料CNN炼油厂。扩展Cardiacorso（XCAT）幻像和临床数据的数值实验表明，所提出的INN显着提高了几种图像域材料分解方法的图像质量，包括使用边缘保留规范器的传统模型的图像分解（MBID）方法，最近使用预先学习的材料缺口变换的MBID方法，以及非特性深层CNN方法。我们的研究基于补丁的重新制作表明，不同的跨材料CNN炼油厂的学习过滤器可以大致满足紧密框架状态。

基于治疗期间的单投影图像的器官形状重建具有广泛的临床范围，例如在图像引导放射治疗和手术指导中。我们提出了一种图形卷积网络，该网络实现了用于单视点2D投影图像的3D器官网格的可变形登记。该框架使得能够同时训练两种类型的变换：从2D投影图像到位移图，以及从采样的每周顶点特征到满足网格结构的几何约束的3D位移。假设申请放射治疗，验证了2D / 3D可变形的登记性能，用于尚未瞄准迄今为止，即肝脏，胃，十二指肠和肾脏以及胰腺癌的多个腹部器官。实验结果表明，考虑多个器官之间的关系的形状预测可用于预测临床上可接受的准确性的数字重建射线照片的呼吸运动和变形。

许多注册方法都存在着早期工作，重点是基于优化的图像对方法。最近的工作着重于深度注册网络，以预测空间转换。在这两种情况下，通常使用的非参数登记模型，该模型估计转换功能而不是低维转换参数，都需要选择合适的正常器（鼓励平滑转换）及其参数。这使得模型难以调整，并将变形限制为所选正规器允许的变形空间。尽管存在不正常转换的光流的深度学习模型，而是完全依赖于数据，这些模型可能不会产生对医学图像注册期望的差异转换。因此，在这项工作中，我们在无监督的图标深度学习登记方法上开发了Gradicon，该方法仅使用逆矛盾进行正则化。但是，与图标相反，我们证明并从经验上验证，使用梯度反矛盾损失不仅显着改善了收敛性，而且还会导致所得转换图的类似隐式正则化。磁共振（MR）膝关节图像和计算机断层扫描（CT）肺图像的合成实验和实验表明Gradicon的表现出色。我们在保留简单的注册公式的同时，实现了最新的（SOTA）精度，这实际上很重要。

图像去噪是许多领域下游任务的先决条件。低剂量和光子计数计算断层扫描（CT）去噪可以在最小化辐射剂量下优化诊断性能。监督深层去噪方法是流行的，但需要成对的清洁或嘈杂的样本通常在实践中不可用。受独立噪声假设的限制，电流无监督的去噪方法不能处理与CT图像中的相关噪声。在这里，我们提出了一种基于类似的类似性的无人监督的无监督的深度去噪方法，称为Coxing2Sim，以非局部和非线性方式起作用，不仅抑制独立而且还具有相关的噪音。从理论上讲，噪声2SIM在温和条件下渐近相当于监督学习方法。通过实验，Nosie2SIM从嘈杂的低剂量CT和光子计数CT图像中的内在特征，从视觉上，定量和统计上有效地或甚至优于实际数据集的监督学习方法。 Coke2Sim是一般无监督的去噪方法，在不同的应用中具有很大的潜力。

The FlowNet demonstrated that optical flow estimation can be cast as a learning problem. However, the state of the art with regard to the quality of the flow has still been defined by traditional methods. Particularly on small displacements and real-world data, FlowNet cannot compete with variational methods. In this paper, we advance the concept of end-to-end learning of optical flow and make it work really well. The large improvements in quality and speed are caused by three major contributions: first, we focus on the training data and show that the schedule of presenting data during training is very important. Second, we develop a stacked architecture that includes warping of the second image with intermediate optical flow. Third, we elaborate on small displacements by introducing a subnetwork specializing on small motions. FlowNet 2.0 is only marginally slower than the original FlowNet but decreases the estimation error by more than 50%. It performs on par with state-of-the-art methods, while running at interactive frame rates. Moreover, we present faster variants that allow optical flow computation at up to 140fps with accuracy matching the original FlowNet.

无监督的对光流计算的深度学习取得了令人鼓舞的结果。大多数现有的基于深网的方法都依赖图像亮度一致性和局部平滑度约束来训练网络。他们的性能在发生重复纹理或遮挡的区域降低。在本文中，我们提出了深层的外两极流，这是一种无监督的光流方法，将全局几何约束结合到网络学习中。特别是，我们研究了多种方式在流量估计中强制执行外两极约束。为了减轻在可能存在多个动作的动态场景中遇到的“鸡肉和蛋”类型的问题，我们提出了一个低级别的约束以及对培训的订婚结合的约束。各种基准测试数据集的实验结果表明，与监督方法相比，我们的方法实现了竞争性能，并且优于最先进的无监督深度学习方法。

数字图像相关性（DIC）已成为一种行业标准，以检索拉伸试验和其他材料表征中的精确位移和应变测量。虽然传统的DIC为一般拉伸检测情况提供了高精度估计，但是在大变形或斑点图案开始撕裂时，预测变得不稳定。此外，传统的DIC需要长的计算时间，并且通常会产生受滤波和散斑图案质量影响的低空间分辨率输出。为了解决这些挑战，我们提出了一种新的深度学习的DIC方法 - 深层DIC，其中两个卷积神经网络，偏移和拉力纳特，旨在共同努力，以实现位移和菌株的端到端预测。 displacementNet预测位移字段并自适应地跟踪感兴趣的区域。 RATEDNET直接从图像输入预测应变场，而不依赖于位移预测，这显着提高了应变预测精度。开发了一种新的数据集生成方法以综合现实和全面的数据集，包括产生散斑图案和具有合成位移场的斑点图像的变形。虽然仅接受了合成数据集的培训，但深度DIC提供了从商业DIC软件获得的真实实验中获得的那些对位移和应变的高度一致和可比的预测，而即使在大型和局部变形和变化的变形和变化的模式质量和变化的模式质量方面，它占商业软件。 。此外，深DIC能够实时预测变形，并将计算时间降至毫秒。

心肌运动和变形是表征心脏功能的丰富描述符。图像注册是心肌运动跟踪最常用的技术，是一个不当的反问题，通常需要先前对解决方案空间进行假设。与大多数现有的方法相反，它们强加了明确的通用正则化（例如平滑度），在这项工作中，我们提出了一种新的方法，该方法可以隐式地学习了特定于应用程序的生物力学知识，并将其嵌入了神经网络参数化转换模型中。尤其是，提出的方法利用基于变异自动编码器的生成模型来学习生物力学上合理变形的多种多样。然后，可以通过穿越学习的歧管来搜索最佳转换时，在考虑序列信息时搜索最佳转换。该方法在三个公共心脏Cine MRI数据集中进行了验证，并具有全面的评估。结果表明，所提出的方法可以胜过其他方法，从而获得更高的运动跟踪精度，并具有合理的量保存和更好地变化数据分布的概括性。它还可以更好地估计心肌菌株，这表明该方法在表征时空特征以理解心血管疾病方面的潜力。

光学流量估计是视频分析领域的一个重要而有挑战性问题。卷积神经网络的不同语义级别/层的特征可以提供不同粒度的信息。为了利用如此灵活和全面的信息，我们提出了一个半监督的特征金字塔形相关和残余重建网络（FPCR-Net），用于框架对的光学流量估计。它由两个主要模块组成：金字塔相关映射和剩余重建。金字塔相关映射模块利用全局/本地补丁的多尺度相关性来通过聚合不同尺度的特征来形成多级成本卷。剩余重建模块旨在重建每个阶段中更精细的光学流的子带高频残差。基于金字塔相关映射，我们进一步提出了相关 - 扭曲 - 归一化（CWN）模块，以有效地利用相关性依赖性。实验结果表明，该方案在针对竞争基线方法的平均终点误差（AEE）方面，实现了最先进的性能，改善了0.80,1.15和0.10 - Flownet2，LiteFlowNet和PWC-Net Sintel DataSet的最终通过。

直接从图像中提取流体运动的信息具有挑战性。流体流量代表一个由Navier-Stokes方程控制的复杂动态系统。一般的光流法通常是为刚体运动设计的，因此如果直接应用于流体运动估计，则努力挣扎。此外，光流方法仅专注于两个连续的帧而不利用历史时间信息，而流体运动（速度场）可以被视为受时间依赖性偏微分方程（PDE）约束的连续轨迹。这种差异有可能引起身体上不一致的估计。在这里，我们提出了一种基于学习的预测校正方案，以进行流体流量估计。首先由PDE受限的光流预测器给出估计值，然后由基于物理的校正器来完善。与现有的基于基于学习的学习方法相比，所提出的方法比在基准数据集上的现有基于监督的学习方法相比，表现出竞争性结果。此外，所提出的方法可以推广到复杂的现实世界情景，在这种情况下，地面真理信息实际上是不可知的。最后，实验表明，物理校正器可以通过模仿通常在流体动力学模拟中使用的操作员分裂方法来完善流量估计。

在对肺癌患者的放疗治疗期间，需要最小化肿瘤周围健康组织的辐射，这由于呼吸运动和线性加速器系统的潜伏期很难。在拟议的研究中，我们首先使用Lucas-Kanade锥体光流算法来对四个肺癌患者的胸部计算机断层扫描图像进行可变形的图像登记。然后，我们根据先前计算的变形场跟踪靠近肺部肿瘤的三个内部点，并通过使用实时重复学习（RTRL）和梯度剪辑训练的复发神经网络（RNN）预测其位置。呼吸数据非常规规律，在约2.5Hz时采样，并在脊柱方向上包括人工漂移。轨道点的运动幅度范围为12.0mm至22.7mm。最后，我们提出了一种基于线性对应模型和Nadaraya-Watson非线性回归的最初肿瘤图像的恢复和预测3D肿瘤图像的简单方法。与测试集上RNN预测相对应的根平方误差，最大误差和抖动小于使用线性预测和最小平方（LMS）获得的相同性能度量。特别是，与RNN相关的最大预测误差等于1.51mm，比与线性预测和LMS相关的最大误差低16.1％和5.0％。 RTRL的平均预测时间等于119ms，小于400ms标记位置采样时间。预测图像中的肿瘤位置在视觉上似乎是正确的，这通过等于0.955的原始图像和预测图像之间的高平均互相关证实。

定量超声（例如，组织中的回答速度（SOS））提供有关具有诊断值的组织特性的信息。最近的研究表明，使用深层神经网络从Pulse-Echo超声原始数据（又称RF数据）中提取SOS信息的可能性，这些神经网络在模拟数据上进行了充分训练。这些方法将传感器域数据（即RF数据）作为输入和以端到端方式训练网络，以了解RF数据域和SOS域之间的隐式映射。但是，此类网络容易拟合模拟数据，这在测量数据测试时会导致性能和不稳定。我们提出了一种新的方法，用于使用从两个链接的自动编码器中学习的表示形式进行SOS映射。我们测试了从模仿幻影的人乳房获取的模拟和测量数据的方法。我们证明使用链接的自动编码器可以使用SOS映射。所提出的方法在模拟数据上的平均绝对百分比误差（MAPE）为2.39％。在测得的数据上，所提出的方法的预测接近MAPE为1.1％的预期值。与端到端训练的网络相比，提出的方法显示出更高的稳定性和可重复性。