在核医学中，规定放射性碘治疗以治疗甲状腺功能亢进等疾病。规定剂量的计算在甲状腺体积上取决于其他因素。目前使用传统的2D超声成像估计这一点。但是，这种模态本质上是依赖的，导致体积估计的高变异性。为了提高再现性和一致性，我们用甲状腺体积的自动机器人超声扫描唯一地结合了基于神经网络的分割。通过使用具有连接超声探头的6 DOF机器人臂实现机器人采集。其运动基于每个甲状腺叶的在线分割和美国图像的外观。在后处理期间，将美国图像分段以获得体积估计。在一种消融研究中，与机器人在体积精度方面执行的与机器人执行的天真线性运动相比，我们证明了机器人臂运动的运动引导算法的优越性。在对幻影的用户研究中，我们将传统的2D超声测量与机器人系统进行了比较。与地面真理相比，超声专家用户的平均体积测量误差可能会从20.85 +/- 16.10％显着降低到仅8.23 +/- 3.10％。在非专家用户中观察到这种趋势，其中测量了与机器人系统的平均误差改善，以高达85美元的价格，这显然显示了机器人支持的优势。

机器人超声（US）成像已被视为克服美国自由手检查的局限性，即操作员互操作机构的局限性。 \修订{然而，机器人美国系统在扫描过程中无法对主体运动做出反应，这限制了他们的临床接受。}关于人类超声检查员，他们经常通过重新定位探针甚至重新启动摄取，尤其是因为扫描而对患者的运动做出反应。具有较长结构等肢体动脉的解剖学。为了实现这一特征，我们提出了一个基于视觉的系统来监视受试者的运动并自动更新扫描轨迹，从而无缝获得目标解剖结构的完整3D图像。使用RGB图像中的分段对象掩码开发运动监视模块。一旦受试者移动，机器人将通过使用迭代最接近点算法在移动前后获得的对象的表面点云来停止并重新计算合适的轨迹。之后，为了确保重新定位US探针后的最佳接触条件，使用基于置信的微调过程来避免探针和接触表面之间的潜在间隙。最后，整个系统在具有不均匀表面的人类臂幻象上进行了验证，而对象分割网络也在志愿者上得到验证。结果表明，提出的系统可以对对象运动做出反应，并可靠地提供准确的3D图像。

超声（US）成像通常用于协助诊断和脊柱疾病的干预，而通过手动操作探针进行标准化美国收购需要大量的经验和超声检查的培训。在这项工作中，我们提出了一种新的双代理框架，集成了强化学习（RL）代理和深度学习（DL）代理，以共同确定基于实时超声图像美国探测器的移动，以模拟专家超声检查操作者的决策过程，以实现脊柱超声自主标准视图收购。此外，通过美国传播的性质和脊柱解剖的特性的启发，我们引入一个视图特定的声影奖励利用阴影信息来隐式地引导朝向脊柱的不同标准视图探针的导航。我们的方法在从$ $ 17名志愿者获得的美国经济数据建立了一个模拟环境的定量和定性实验验证。平均导航精度朝向不同的标准视图达到$5.18毫米/ 5.25 ^ \ CIRC $ $和12.87毫米/ 17.49 ^ \ CIRC $在分子内和主体间设置，分别。结果表明，我们的方法可以有效地解释美国的图像和导航探头获取脊柱多种标准的意见。

机器人超声（US）成像旨在克服美国自由企业考试的一些局限性，例如难以保证操作员可重复性。然而，由于患者之间的解剖学和生理变化以及解剖下结构的相对运动，富有鲁棒性产生最佳轨迹以检查感兴趣的解剖学时，当他们构成明确的关节时，这是一项挑战。为了应对这一挑战，本文提出了一种基于视觉的方法，允许自动机器人美国肢体扫描。为此，使用带注释的血管结构的人臂的Atlas MRI模板用于生成轨迹并注册并将其投射到患者的皮肤表面上，以进行机器人的美国获得。为了有效地细分并准确地重建目标的3D容器，我们通过将通道注意模块纳入U-NET型神经网络中，利用连续美国框架中的空间连续性。自动轨迹生成方法对具有各种铰接关节角度的六名志愿者进行评估。在所有情况下，该系统都可以成功地获取志愿者四肢上计划的血管结构。对于一名志愿者，还提供了MRI扫描，可以评估美国图像中扫描动脉的平均半径，从而导致半径估计（$ 1.2 \ pm0.05〜mm $）可与MRI地面真相相当（$ 1.2 \ $ $） PM0.04〜mm $）。

本文介绍了全髋关节置换术（THA）的手术机器人系统的开发和实验评估。尽管在关节置换手术中使用的现有机器人系统已经取得了一些进展，但机器人组必须在操作过程中准确地位于目标位置，这在很大程度上取决于外科医生的经验。此外，手持式髋臼铰刀通常表现出不均匀的强度和研磨文件。此外，缺乏实时测量股骨颈长度的技术可能导致结果不佳。为了应对这些挑战，我们提出了一种可实时可追溯的光学定位策略，以减少手术期间对机器人臂的不必要的手动调整，一种稳定磨削的最终效用系统，以及提供股骨颈的实时测量的光学探测器长度和其他参数用于选择适当的假体。下肢的长度在安装假体时测量。实验评估结果表明，根据其准确性，执行能力和鲁棒性，提出的手术机器人系统对于THA是可行的。

脑出血（ICH）是最致命的中风子类型，死亡率高达52％。由于颅骨切开术引起的潜在皮质破坏，保守管理（注意等待）历史上一直是一种常见的治疗方法。最小的侵入性疏散最近已成为一种可公认的治疗方法，用于体积30-50 mL的深座性血肿的患者，但适当的可视化和工具敏感性仍然受到常规内窥镜方法的限制，尤其是较大的血肿体积（> 50 mL）。在本文中，我们描述了Aspihre的发展（脑部出血机器人疏散的手术平台），这是有史以来的第一个同心管机器人，该机器人使用现成的塑料管来进行MR引导ICH撤离，改善工具敏感性和程序可视化。机器人运动学模型是基于基于校准的方法和试管力学建模开发的，使模型可以考虑可变曲率和扭转偏转。使用可变增益PID算法控制旋转精度为0.317 +/- 0.3度。硬件和理论模型在一系列系统的基准和MRI实验中进行了验证，导致1.39 +\ -0.54 mm的管尖的位置精度。验证靶向准确性后，在MR引导的幻影凝块疏散实验中测试了机器人的疏散功效。该机器人能够在5分钟内撤离最初38.36 mL的凝块，使残留血肿为8.14 mL，远低于15 mL指南，表明良好的后疏散临床结果。

Ultrasound is progressing toward becoming an affordable and versatile solution to medical imaging. With the advent of COVID-19 global pandemic, there is a need to fully automate ultrasound imaging as it requires trained operators in close proximity to patients for long period of time. In this work, we investigate the important yet seldom-studied problem of scan target localization, under the setting of lung ultrasound imaging. We propose a purely vision-based, data driven method that incorporates learning-based computer vision techniques. We combine a human pose estimation model with a specially designed regression model to predict the lung ultrasound scan targets, and deploy multiview stereo vision to enhance the consistency of 3D target localization. While related works mostly focus on phantom experiments, we collect data from 30 human subjects for testing. Our method attains an accuracy level of 15.52 (9.47) mm for probe positioning and 4.32 (3.69){\deg} for probe orientation, with a success rate above 80% under an error threshold of 25mm for all scan targets. Moreover, our approach can serve as a general solution to other types of ultrasound modalities. The code for implementation has been released.

视网膜手术是一种复杂的医疗程序，需要特殊的专业知识和灵巧。为此目的，目前正在开发几种机器人平台，以实现或改善显微外科任务的结果。由于这种机器人的控制通常被设计用于在视网膜附近导航，成功的套管针对接并将仪器插入眼睛中代表了一种额外的认知努力，因此是机器人视网膜手术中的开放挑战之一。为此目的，我们为自主套管针对接的平台结合了计算机愿景和机器人设置。灵感来自古巴Colibri（蜂鸟）使用只使用视觉将其喙对齐，我们将相机安装到机器人系统的内逸线器上。通过估计套管针的位置和姿势，机器人能够自主地对齐并导航仪器朝向贸易圈的入口点（TEP），最后执行插入。我们的实验表明，该方法能够精确地估计套管针的位置和姿势，实现可重复的自主对接。这项工作的目的是降低机器人设置准备在手术任务之前的复杂性，因此增加了系统集成到临床工作流程的直观。

休眠季节葡萄树修剪需要熟练的季节性工人，这在冬季变得越来越缺乏。随着在短期季节性招聘文化和低工资的短期季节性招聘文化和低工资的时间内，随着工人更少的葡萄藤，葡萄藤往往被修剪不一致地导致葡萄化物不平衡。除此之外，目前现有的机械方法无法选择性地修剪葡萄园和手动后续操作，通常需要进一步提高生产成本。在本文中，我们展示了崎岖，全自治机器人的设计和田间评估，用于休眠季节葡萄园的端到最终修剪。该设计的设计包括新颖的相机系统，运动冗余机械手，地面机器人和在感知系统中的新颖算法。所提出的研究原型机器人系统能够在213秒/葡萄藤中完全从两侧刺激一排藤蔓，总修枝精度为87％。与机械预灌浆试验相比，商业葡萄园中自治系统的初始现场测试显示出休眠季节修剪的显着变化。在手稿中描述了设计方法，系统组件，经验教训，未来增强以及简要的经济分析。

许多钥匙孔干预依赖于双手动处理外科手术器械，强迫主要外科医生依靠第二个外科医生作为相机助理。除了过度涉及手术人员的负担外，这可能导致图像稳定性降低，增加任务完成时间，有时由于任务的单调而有时会出现错误。由一组基本说明控制的机器人内窥镜持有者已被提出作为替代方案，但它们的不自然处理可能会增加（SOLO）外科医生的认知负荷，这阻碍了它们的临床验收。如果机器人内窥镜持有者通过语义上丰富的指令与操作外科医生合作的机器人内窥镜持有者，则可以实现手术工作流程的更无缝集成。作为概念证明，本文介绍了一种新颖的系统，为外科医生和机器人内窥镜支架之间的协同相互作用铺平了道路。该拟议的平台允许外科医生执行生理协调和导航任务，而机器人臂自动执行内窥镜定位任务。在我们的系统中，我们提出了一种基于外科刀具分割的新型工具提示定位方法和一种新型的视觉伺服方法，可确保内窥镜摄像机的平滑和适当的运动。我们验证了我们的视觉管道并运行了对该系统的用户学习。通过使用欧洲妇科手术课程验证的腹腔镜运动来确保研究的临床相关性，涉及双部手动协调和导航。我们拟议的系统的成功应用提供了更广泛的临床采用机器人内窥镜架的有希望的起点。

本文介绍了使用腿收割机进行精密收集任务的集成系统。我们的收割机在狭窄的GPS拒绝了森林环境中的自主导航和树抓取了一项挑战性的任务。提出了映射，本地化，规划和控制的策略，并集成到完全自主系统中。任务从使用定制的传感器模块开始使用人员映射感兴趣区域。随后，人类专家选择树木进行收获。然后将传感器模块安装在机器上并用于给定地图内的本地化。规划算法在单路径规划问题中搜索一个方法姿势和路径。我们设计了一个路径，后面的控制器利用腿的收割机的谈判粗糙地形的能力。在达接近姿势时，机器用通用夹具抓住一棵树。此过程重复操作员选择的所有树。我们的系统已经在与树干和自然森林中的测试领域进行了测试。据我们所知，这是第一次在现实环境中运行的全尺寸液压机上显示了这一自主权。

The use of needles to access sites within organs is fundamental to many interventional medical procedures both for diagnosis and treatment. Safe and accurate navigation of a needle through living tissue to an intra-tissue target is currently often challenging or infeasible due to the presence of anatomical obstacles in the tissue, high levels of uncertainty, and natural tissue motion (e.g., due to breathing). Medical robots capable of automating needle-based procedures in vivo have the potential to overcome these challenges and enable an enhanced level of patient care and safety. In this paper, we show the first medical robot that autonomously navigates a needle inside living tissue around anatomical obstacles to an intra-tissue target. Our system leverages an aiming device and a laser-patterned highly flexible steerable needle, a type of needle capable of maneuvering along curvilinear trajectories to avoid obstacles. The autonomous robot accounts for anatomical obstacles and uncertainty in living tissue/needle interaction with replanning and control and accounts for respiratory motion by defining safe insertion time windows during the breathing cycle. We apply the system to lung biopsy, which is critical in the diagnosis of lung cancer, the leading cause of cancer-related death in the United States. We demonstrate successful performance of our system in multiple in vivo porcine studies and also demonstrate that our approach leveraging autonomous needle steering outperforms a standard manual clinical technique for lung nodule access.

这封信报告了一种新型手持机器人的设计，构造和实验验证，用于在人声褶皱的办公室激光手术中。办公室内窥镜激光手术是喉咙学的一种新兴趋势：它有望以成本的一小部分提供相同的传统手术治疗（即手术室）的患者结局。不幸的是，办公室程序可能具有挑战性。用于激光输送的光纤只能以视线方式向前发出光，这严重限制了解剖学访问。我们在这封信中提出的机器人旨在克服这些挑战。机器人的最终效应子是可通的激光纤维，通过将薄光纤纤维（0.225 mm）与肌腱驱动的镍氨基烷凹口鞘的组合组合而产生，可提供弯曲。该设备可以与大多数市售的内窥镜无缝使用，因为它足够小（1.1 mm）可以通过工作通道。为了控制纤维，我们提出了一个可以安装在内窥镜手柄顶部的紧凑型致动单元，以便在手术过程中，操作医生可以单手同时操作内窥镜和可驾驶的纤维。我们报告了模拟和幻影实验，表明与当前的临床纤维相比，该提议的设备大大增强了手术通道。

当没有光学信息可用时，在不确定环境下的机器人探索具有挑战性。在本文中，我们提出了一种自主解决方案，即仅基于触觉感测，探索一个未知的任务空间。我们首先根据MEMS晴雨表设备设计了晶须传感器。该传感器可以通过非侵入性与环境进行交互来获取联系信息。该传感器伴随着一种计划技术，可以通过使用触觉感知来产生探索轨迹。该技术依赖于触觉探索的混合政策，其中包括用于对象搜索的主动信息路径计划，以及用于轮廓跟踪的反应性HOPF振荡器。结果表明，混合勘探政策可以提高对象发现的效率。最后，通过细分对象和分类来促进场景的理解。开发了一个分类器，以根据晶须传感器收集的几何特征识别对象类别。这种方法证明了晶须传感器以及触觉智能，可以提供足够的判别特征来区分对象。

随着基于粉末的添加剂制造的快速开发，DepeDdering是去除覆盖3D打印零件的未使用粉末的过程，已成为进一步提高其生产力的主要瓶颈。传统的手动缩减非常耗时且昂贵，并且一些先前的自动化系统要么需要预处理或缺乏对不同3D打印零件的适应性。为了解决这些问题，我们引入了一个机器人系统，该机器人系统会自动从3D打印零件的表面上去除未加入的粉末。关键组件是一个视觉感知系统，该系统由一个姿势跟踪模块组成，该模块可实时跟踪6D姿势的粉末封闭零件，以及一个估计缩减完成百分比的进度估计模块。跟踪模块可以在高达60 fps的笔记本电脑CPU上有效运行。实验表明，我们的退化系统可以从各种3D打印零件的表面上除去未持续的粉末，而不会造成任何损坏。据我们所知，这是第一个基于视觉的机器人脱皮系统之一，可适应各种形状的部分而无需预多供款。

本文提出了一种新颖的方法，用于在具有复杂拓扑结构的地下领域的搜索和救援行动中自动合作。作为CTU-Cras-Norlab团队的一部分，拟议的系统在DARPA SubT决赛的虚拟轨道中排名第二。与专门为虚拟轨道开发的获奖解决方案相反，该建议的解决方案也被证明是在现实世界竞争极为严峻和狭窄的环境中飞行的机上实体无人机的强大系统。提出的方法可以使无缝模拟转移的无人机团队完全自主和分散的部署，并证明了其优于不同环境可飞行空间的移动UGV团队的优势。该论文的主要贡献存在于映射和导航管道中。映射方法采用新颖的地图表示形式 - 用于有效的风险意识长距离计划，面向覆盖范围和压缩的拓扑范围的LTVMAP领域，以允许在低频道通信下进行多机器人合作。这些表示形式与新的方法一起在导航中使用，以在一般的3D环境中可见性受限的知情搜索，而对环境结构没有任何假设，同时将深度探索与传感器覆盖的剥削保持平衡。所提出的解决方案还包括一条视觉感知管道，用于在没有专用GPU的情况下在5 Hz处进行四个RGB流中感兴趣的对象的板上检测和定位。除了参与DARPA SubT外，在定性和定量评估的各种环境中，在不同的环境中进行了广泛的实验验证，UAV系统的性能得到了支持。

本文介绍了一种系统集成方法，用于一种6-DOF（自由度）协作机器人，以操作移液液的移液液。它的技术发展是三倍。首先，我们设计了用于握住和触发手动移液器的最终效果。其次，我们利用协作机器人的优势来识别基于公认姿势的实验室姿势和计划的机器人运动。第三，我们开发了基于视觉的分类器来预测和纠正定位误差，从而精确地附着在一次性技巧上。通过实验和分析，我们确认开发的系统，尤其是计划和视觉识别方法，可以帮助确保高精度和柔性液体分配。开发的系统适用于低频，高更改的生化液体分配任务。我们预计它将促进协作机器人的部署进行实验室自动化，从而提高实验效率，而不会显着自定义实验室环境。

安装在微空中车辆（MAV）上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而，合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达（GPSAR）系统。该系统由空间校准和时间上同步的工业级传感器套件组成，使得在地面上方，雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形（GPSAR）轨迹的生成和自动执行，以及空中成像调查飞行。基于因子图基于Dual接收机实时运动（RTK）全局导航卫星系统（GNSS）和惯性测量单元（IMU）的测量值，以获得精确，高速平台位置和方向。地面真理实验表明，传感器时机为0.8美元，正如0.1美元的那样，定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比，双位置因子配方可提高高达40％，批量定位精度高达59％。我们的现场试验验证了本地化准确性和精度，使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。

腹主动脉瘤（AAA）是一种血管疾病，其中主动脉的一部分肿大，削弱其壁并可能破裂血管。腹部超声已用于诊断，但由于其图像质量和操作员的依赖性有限，通常需要进行CT扫描进行监测和治疗计划。最近，腹部CT数据集已成功用于训练深神经网络以进行自动主动脉分割。因此，可以利用从这项解决的任务中收集的知识来改善我们的AAA诊断和监测分段。为此，我们提出了Cactuss：一种常见的解剖CT-US空间，它是CT和美国模式之间的虚拟桥梁，以实现自动AAA筛选超声检查。仙人掌利用公开可用的标记数据来学习基于从美国和CT继承属性的中介表示。我们在此新表示中训练分割网络，并采用附加的图像到图像翻译网络，使我们的模型能够在真实的B模式图像上执行。与完全监督的方法进行的定量比较证明了在骰子评分和诊断指标方面的能力，这表明我们的方法还满足了AAA扫描和诊断的临床要求。

Robotic teleoperation is a key technology for a wide variety of applications. It allows sending robots instead of humans in remote, possibly dangerous locations while still using the human brain with its enormous knowledge and creativity, especially for solving unexpected problems. A main challenge in teleoperation consists of providing enough feedback to the human operator for situation awareness and thus create full immersion, as well as offering the operator suitable control interfaces to achieve efficient and robust task fulfillment. We present a bimanual telemanipulation system consisting of an anthropomorphic avatar robot and an operator station providing force and haptic feedback to the human operator. The avatar arms are controlled in Cartesian space with a direct mapping of the operator movements. The measured forces and torques on the avatar side are haptically displayed to the operator. We developed a predictive avatar model for limit avoidance which runs on the operator side, ensuring low latency. The system was successfully evaluated during the ANA Avatar XPRIZE competition semifinals. In addition, we performed in lab experiments and carried out a small user study with mostly untrained operators.