眼睛跟踪器可以在超声(US)扫描期间为超声检查员提供视觉指导。对于经验丰富的运营商来说,这种指导可能是有价值的,可以提高他们在操纵探测器以实现所需飞机方面的扫描技能。在本文中,提出了一种多模式的指导方法(多模式形式的指导方法)来捕获现实世界中的视频信号,同步注视和统一框架内的探测运动之间的逐步依赖性。为了了解目光运动与探测运动之间的因果关系,我们的模型利用多任务学习共同学习了两个相关任务:预测经验丰富的超声仪将在常规产科扫描中执行的凝视运动和探测信号。这两个任务通过模态感知的空间图关联,以检测多模式输入之间的共发生并共享有用的跨模式信息。多模式形式的扫描路径不是确定性的扫描路径,可以通过估计实际扫描的概率分布来扫描多样性。通过三个典型的产科扫描检查进行的实验表明,新方法在探针运动指导和凝视运动预测方面都优于单任务学习。多模态偏见还提供了一个视觉引导信号,对于224x288 US图像,错误率小于10像素。
translated by 谷歌翻译
超声(US)成像通常用于协助诊断和脊柱疾病的干预,而通过手动操作探针进行标准化美国收购需要大量的经验和超声检查的培训。在这项工作中,我们提出了一种新的双代理框架,集成了强化学习(RL)代理和深度学习(DL)代理,以共同确定基于实时超声图像美国探测器的移动,以模拟专家超声检查操作者的决策过程,以实现脊柱超声自主标准视图收购。此外,通过美国传播的性质和脊柱解剖的特性的启发,我们引入一个视图特定的声影奖励利用阴影信息来隐式地引导朝向脊柱的不同标准视图探针的导航。我们的方法在从$ $ 17名志愿者获得的美国经济数据建立了一个模拟环境的定量和定性实验验证。平均导航精度朝向不同的标准视图达到$5.18毫米/ 5.25 ^ \ CIRC $ $和12.87毫米/ 17.49 ^ \ CIRC $在分子内和主体间设置,分别。结果表明,我们的方法可以有效地解释美国的图像和导航探头获取脊柱多种标准的意见。
translated by 谷歌翻译
眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展,由于眼睛外观,眼头相互作用,遮挡,图像质量和照明条件的独特性,自动凝视分析仍然具有挑战性。有几个开放的问题,包括在没有先验知识的情况下,在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展,以阐明这些基本问题,确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法,尤其是在无监督和弱监督的领域中。我们的分析表明,强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战,例如不受限制的设置和学习,并减少了监督。最后,我们讨论了设计现实的目光分析系统的未来研究方向,该系统可以传播到其他领域,包括计算机视觉,增强现实(AR),虚拟现实(VR)和人类计算机交互(HCI)。项目页面:https://github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey
translated by 谷歌翻译
机器人超声(US)成像旨在克服美国自由企业考试的一些局限性,例如难以保证操作员可重复性。然而,由于患者之间的解剖学和生理变化以及解剖下结构的相对运动,富有鲁棒性产生最佳轨迹以检查感兴趣的解剖学时,当他们构成明确的关节时,这是一项挑战。为了应对这一挑战,本文提出了一种基于视觉的方法,允许自动机器人美国肢体扫描。为此,使用带注释的血管结构的人臂的Atlas MRI模板用于生成轨迹并注册并将其投射到患者的皮肤表面上,以进行机器人的美国获得。为了有效地细分并准确地重建目标的3D容器,我们通过将通道注意模块纳入U-NET型神经网络中,利用连续美国框架中的空间连续性。自动轨迹生成方法对具有各种铰接关节角度的六名志愿者进行评估。在所有情况下,该系统都可以成功地获取志愿者四肢上计划的血管结构。对于一名志愿者,还提供了MRI扫描,可以评估美国图像中扫描动脉的平均半径,从而导致半径估计($ 1.2 \ pm0.05〜mm $)可与MRI地面真相相当($ 1.2 \ $ $) PM0.04〜mm $)。
translated by 谷歌翻译
人类姿势估计的常规方法要么通过依靠许多惯性测量单元(IMU)或通过依赖外部摄像头来限制记录空间,要么需要高度的仪器。这些缺陷是通过从稀疏IMU数据中估计人姿势估计的方法来解决的。我们定义邻接自适应图卷积长期记忆网络(AAGC-LSTM),以基于六个IMU的人体姿势估计,同时将人体图形结构直接纳入网络。 AAGC-LSTM在单个网络操作中结合了空间依赖性和时间依赖性,比以前的方法更有效地内存。通过将图形卷积装置为邻接的适应性,这可以使其成为可能,从而消除了深层或经常性图网络中信息丢失的问题,同时还可以学习人体关节之间的未知依赖性。为了进一步提高准确性,我们提出纵向减肥来考虑自然运动模式。通过我们提出的方法,我们能够利用人体的固有图形本质,因此可以超越最稀疏IMU数据的人类姿势估计的最新状态(SOTA)。
translated by 谷歌翻译
机器人超声(US)成像已被视为克服美国自由手检查的局限性,即操作员互操作机构的局限性。 \修订{然而,机器人美国系统在扫描过程中无法对主体运动做出反应,这限制了他们的临床接受。}关于人类超声检查员,他们经常通过重新定位探针甚至重新启动摄取,尤其是因为扫描而对患者的运动做出反应。具有较长结构等肢体动脉的解剖学。为了实现这一特征,我们提出了一个基于视觉的系统来监视受试者的运动并自动更新扫描轨迹,从而无缝获得目标解剖结构的完整3D图像。使用RGB图像中的分段对象掩码开发运动监视模块。一旦受试者移动,机器人将通过使用迭代最接近点算法在移动前后获得的对象的表面点云来停止并重新计算合适的轨迹。之后,为了确保重新定位US探针后的最佳接触条件,使用基于置信的微调过程来避免探针和接触表面之间的潜在间隙。最后,整个系统在具有不均匀表面的人类臂幻象上进行了验证,而对象分割网络也在志愿者上得到验证。结果表明,提出的系统可以对对象运动做出反应,并可靠地提供准确的3D图像。
translated by 谷歌翻译
在核医学中,规定放射性碘治疗以治疗甲状腺功能亢进等疾病。规定剂量的计算在甲状腺体积上取决于其他因素。目前使用传统的2D超声成像估计这一点。但是,这种模态本质上是依赖的,导致体积估计的高变异性。为了提高再现性和一致性,我们用甲状腺体积的自动机器人超声扫描唯一地结合了基于神经网络的分割。通过使用具有连接超声探头的6 DOF机器人臂实现机器人采集。其运动基于每个甲状腺叶的在线分割和美国图像的外观。在后处理期间,将美国图像分段以获得体积估计。在一种消融研究中,与机器人在体积精度方面执行的与机器人执行的天真线性运动相比,我们证明了机器人臂运动的运动引导算法的优越性。在对幻影的用户研究中,我们将传统的2D超声测量与机器人系统进行了比较。与地面真理相比,超声专家用户的平均体积测量误差可能会从20.85 +/- 16.10%显着降低到仅8.23 +/- 3.10%。在非专家用户中观察到这种趋势,其中测量了与机器人系统的平均误差改善,以高达85美元的价格,这显然显示了机器人支持的优势。
translated by 谷歌翻译
注意缺陷/多动症(ADHD)是一种神经发育障碍,高度流行,需要临床专家才能诊断。众所周知,个人的观察行为反映在眼睛运动中,直接与注意机制和高阶认知过程有关。因此,我们探讨了是否可以根据记录的眼动动作以及在免费观看任务中的视频刺激信息进行检测到多动症。为此,我们开发了一个基于端到端的深度学习序列模型%,该模型%使用眼动扫描路径,我们将其预先培训在相关任务上,该任务可获得更多数据。我们发现该方法实际上能够检测ADHD并胜过相关的基线。我们在消融研究中研究了输入特征的相关性。有趣的是,我们发现该模型的性能与视频内容密切相关,该视频为未来的实验设计提供了见解。
translated by 谷歌翻译
本文认为共同解决估计3D人体的高度相关任务,并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示,提出了一种新的自投影机制,自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点,这使我们能够利用两个任务共享的公共场所。最后,提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估,从而获得与最先进的竞争性能。
translated by 谷歌翻译
睡眠是一种基本的生理过程,对于维持健康的身心至关重要。临床睡眠监测的黄金标准是多核桃摄影(PSG),基于哪个睡眠可以分为五个阶段,包括尾脉冲睡眠(REM睡眠)/非REM睡眠1(N1)/非REM睡眠2 (n2)/非REM睡眠3(n3)。然而,PSG昂贵,繁重,不适合日常使用。对于长期睡眠监测,无处不在的感测可以是解决方案。最近,心脏和运动感测在分类三阶段睡眠方面变得流行,因为两种方式都可以从研究级或消费者级设备中获得(例如,Apple Watch)。但是,为最大准确性融合数据的最佳仍然是一个打开的问题。在这项工作中,我们综合地研究了深度学习(DL)的高级融合技术,包括三种融合策略,三个融合方法以及三级睡眠分类,基于两个公共数据集。实验结果表明,通过融合心脏/运动传感方式可以可靠地分类三阶段睡眠,这可能成为在睡眠中进行大规模睡眠阶段评估研究或长期自动跟踪的实用工具。为了加快普遍存在/可穿戴计算社区的睡眠研究的进展,我们制作了该项目开源,可以在:https://github.com/bzhai/ubi-sleepnet找到代码。
translated by 谷歌翻译
近期对抗性生成建模的突破导致了能够生产高质量的视频样本的模型,即使在真实世界视频的大型和复杂的数据集上也是如此。在这项工作中,我们专注于视频预测的任务,其中给出了从视频中提取的一系列帧,目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的实证研究并提出产生更快的收敛性和更高性能的系统来提高本领域的最新技术。然后,我们分析发电机中的复发单元,并提出了一种新的复发单元,其根据预测的运动样本来改变其过去的隐藏状态,并改进它以处理DIS闭塞,场景变化和其他复杂行为。我们表明,这种经常性单位始终如一地优于以前的设计。我们的最终模型导致最先进的性能中的飞跃,从大型动力学-600数据集中获得25.7的测试集Frechet视频距离为25.7,下降到69.2。
translated by 谷歌翻译
Videos are multimodal in nature. Conventional video recognition pipelines typically fuse multimodal features for improved performance. However, this is not only computationally expensive but also neglects the fact that different videos rely on different modalities for predictions. This paper introduces Hierarchical and Conditional Modality Selection (HCMS), a simple yet efficient multimodal learning framework for efficient video recognition. HCMS operates on a low-cost modality, i.e., audio clues, by default, and dynamically decides on-the-fly whether to use computationally-expensive modalities, including appearance and motion clues, on a per-input basis. This is achieved by the collaboration of three LSTMs that are organized in a hierarchical manner. In particular, LSTMs that operate on high-cost modalities contain a gating module, which takes as inputs lower-level features and historical information to adaptively determine whether to activate its corresponding modality; otherwise it simply reuses historical information. We conduct extensive experiments on two large-scale video benchmarks, FCVID and ActivityNet, and the results demonstrate the proposed approach can effectively explore multimodal information for improved classification performance while requiring much less computation.
translated by 谷歌翻译
Three-dimensional (3D) freehand ultrasound (US) reconstruction without a tracker can be advantageous over its two-dimensional or tracked counterparts in many clinical applications. In this paper, we propose to estimate 3D spatial transformation between US frames from both past and future 2D images, using feed-forward and recurrent neural networks (RNNs). With the temporally available frames, a further multi-task learning algorithm is proposed to utilise a large number of auxiliary transformation-predicting tasks between them. Using more than 40,000 US frames acquired from 228 scans on 38 forearms of 19 volunteers in a volunteer study, the hold-out test performance is quantified by frame prediction accuracy, volume reconstruction overlap, accumulated tracking error and final drift, based on ground-truth from an optical tracker. The results show the importance of modelling the temporal-spatially correlated input frames as well as output transformations, with further improvement owing to additional past and/or future frames. The best performing model was associated with predicting transformation between moderately-spaced frames, with an interval of less than ten frames at 20 frames per second (fps). Little benefit was observed by adding frames more than one second away from the predicted transformation, with or without LSTM-based RNNs. Interestingly, with the proposed approach, explicit within-sequence loss that encourages consistency in composing transformations or minimises accumulated error may no longer be required. The implementation code and volunteer data will be made publicly available ensuring reproducibility and further research.
translated by 谷歌翻译
基于学习的视觉自我运动估计是有希望的,但尚未准备好在现实世界中浏览敏捷的移动机器人。在本文中,我们提出了Cuahn-Vio,这是一款适用于配备了向下式摄像头的微型航空车(MAVS)的强大而有效的单眼视觉惯性镜(VIO)。视觉前端是一个内容和不确定性的同型同构网络(CUAHN),它对非主体摄影图像内容和网络预测的故障案例非常有力。它不仅可以预测截然变换,还可以估计其不确定性。培训是自学的,因此它不需要通常难以获得的地面真理。该网络具有良好的概括,可以在不进行微调的情况下在新环境中部署“插件”。轻巧的扩展卡尔曼过滤器(EKF)用作VIO后端,并利用网络中的平均预测和方差估计进行视觉测量更新。 Cuahn-Vio在高速公共数据集上进行了评估,并显示出与最先进(SOTA)VIO方法的竞争精度。由于运动模糊,低网络推理时间(〜23ms)和稳定的处理延迟(〜26ms),Cuahn-Vio成功运行了NVIDIA JETSON TX2嵌入式处理器,以导航快速自动驾驶MAV。
translated by 谷歌翻译
预测人类运动对于辅助机器人和AR/VR应用至关重要,在这种机器人和AR/VR应用中,与人类的互动需要安全舒适。同时,准确的预测取决于理解场景上下文和人类意图。尽管许多作品研究场景 - 意识到人类的运动预测,但由于缺乏以自我为中心的观点,这些观点揭示了人类意图以及运动和场景的多样性有限,因此后者在很大程度上并没有得到充实的影响。为了减少差距,我们提出了一个大规模的人类运动数据集,该数据集可提供高质量的身体姿势序列,场景扫描以及以自我为中心的视图,目光注视,这是推断人类意图的代孕。通过使用惯性传感器进行运动捕获,我们的数据收集与特定场景无关,这进一步增强了从主题中观察到的运动动力学。我们对利用眼睛目光进行以自我为中心的人类运动预测的优势进行了广泛的研究,并进行了各种最新的架构。此外,为了实现目光的全部潜力,我们提出了一种新型的网络体系结构,该架构可以在目光和运动分支之间进行双向交流。我们的网络在拟议的数据集上实现了人类运动预测的最高性能,这要归功于眼睛凝视的意图信息以及动作调制的DeNocied Ceaze特征。代码和数据可以在https://github.com/y-zheng18/gimo上找到。
translated by 谷歌翻译
标准平面(SP)定位对于常规临床超声(US)诊断至关重要。与2D US相比,3D US可以一次扫描获得多个视图平面,并通过添加冠状平面提供完整的解剖结构。但是,由于方向的可变性和巨大的搜索空间,在3D US中手动导航SPS是费力的和有偏见的。在这项研究中,我们介绍了3D US中自动SP本地化的新型增强学习(RL)框架。我们的贡献是三倍。首先,我们将3D中的SP定位作为RL中的基于切线的问题,以重组动作空间并大大降低搜索空间。其次,我们设计了一种辅助任务学习策略,以增强模型识别跨越平面搜索中非SPS和SP的微妙差异的能力。最后,我们通过同时利用空间和解剖学信息来提出空间 - 动态奖励,以有效地指导学习轨迹。我们探讨了我们方法在子宫和胎儿脑数据集上定位四个SP的功效。实验表明,我们的方法达到了较高的定位精度以及稳健的性能。
translated by 谷歌翻译
舞蹈挑战现在是Tiktok这样的视频社区中的病毒性。一旦挑战变得流行,就会在几天内上传成千上万的短型视频。因此,来自舞蹈挑战的病毒预测具有很大的商业价值,具有广泛的应用,例如智能推荐和普及促销。本文提出了一种集成骨骼,整体外观,面部和景区提示的新型多模态框架,以综合舞蹈病毒预测。为了模拟身体运动,我们提出了一种层次地改进了时空骨架图的金字塔骨架图卷积网络(PSGCN)。同时,我们介绍了一个关系时间卷积网络(RTCN),以利用非局部时间关系利用外观动态。最终提出了一种细心的融合方法,以自适应地从不同方式汇总预测。为了验证我们的方法,我们介绍了一个大规模的病毒舞蹈视频(VDV)数据集,其中包含超过4,000个病毒舞蹈挑战的舞蹈剪辑。 VDV数据集的广泛实验证明了我们模型的功效。对VDV数据集的广泛实验良好地证明了我们方法的有效性。此外,我们表明,可以从我们的模型中派生类似多维推荐和动作反馈等的短视频应用。
translated by 谷歌翻译
安装在微空中车辆(MAV)上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而,合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达(GPSAR)系统。该系统由空间校准和时间上同步的工业级传感器套件组成,使得在地面上方,雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形(GPSAR)轨迹的生成和自动执行,以及空中成像调查飞行。基于因子图基于Dual接收机实时运动(RTK)全局导航卫星系统(GNSS)和惯性测量单元(IMU)的测量值,以获得精确,高速平台位置和方向。地面真理实验表明,传感器时机为0.8美元,正如0.1美元的那样,定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比,双位置因子配方可提高高达40%,批量定位精度高达59%。我们的现场试验验证了本地化准确性和精度,使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。
translated by 谷歌翻译
显着性预测是指建模公开注意的计算任务。社会提示极大地影响了我们的注意力,从而改变了我们的眼睛运动和行为。为了强调此类特征的功效,我们提出了一种神经模型,用于整合社会提示和加权其影响。我们的模型包括两个阶段。在第一阶段,我们通过关注凝视,估计凝视方向和认识情感来检测两个社会线索。然后,通过图像处理操作将这些特征转化为时空图。转换的表示形式传播到第二阶段(GASP),在那里我们探索了晚期融合的各种技术,以整合社会提示并引入两个子网络,以将注意力引向相关的刺激。我们的实验表明,融合方法为静态整合方法获得了更好的结果,而非融合方法每种模态的影响尚不清楚,当与复发模型进行动态显着性预测相结合时,会产生更好的结果。我们表明,与没有社交线索的动态显着性模型相​​比,凝视方向和情感表示对基础真相对应的提高至少为5%。此外,情感表示可以改善喘气,支持在预测显着性方面考虑偏见的注意力。
translated by 谷歌翻译
我们研究了从单个运动毛发图像中恢复详细运动的挑战性问题。该问题的现有解决方案估算一个单个图像序列,而无需考虑每个区域的运动歧义。因此,结果倾向于收敛到多模式可能性的平均值。在本文中,我们明确说明了这种运动歧义,使我们能够详细地生成多个合理的解决方案。关键思想是引入运动引导表示,这是对仅有四个离散运动方向的2D光流的紧凑量量化。在运动引导的条件下,模糊分解通过使用新型的两阶段分解网络导致了特定的,明确的解决方案。我们提出了一个模糊分解的统一框架,该框架支持各种界面来生成我们的运动指导,包括人类输入,来自相邻视频帧的运动信息以及从视频数据集中学习。关于合成数据集和现实世界数据的广泛实验表明,所提出的框架在定性和定量上优于以前的方法,并且还具有生产物理上合理和多样的解决方案的优点。代码可从https://github.com/zzh-tech/animation-from-blur获得。
translated by 谷歌翻译