我们建议学习使用隐式功能通过灵巧的手来产生抓握运动来操纵。通过连续的时间输入，该模型可以生成连续且平滑的抓握计划。我们命名了建议的模型连续掌握函数（CGF）。 CGF是通过使用3D人类演示的有条件变异自动编码器的生成建模来学习的。我们将首先通过运动重试将大规模的人类对象相互作用轨迹转换为机器人演示，然后使用这些演示训练CGF。在推断期间，我们使用CGF进行采样，以在模拟器中生成不同的抓握计划，并选择成功的抓握计划以转移到真实的机器人中。通过对不同人类数据的培训，我们的CGF允许概括来操纵多个对象。与以前的计划算法相比，CGF更有效，并且在转移到真正的Allegro手抓住的情况下，成功率显着提高。我们的项目页面位于https://jianglongye.com/cgf

在现实世界中，教授多指的灵巧机器人在现实世界中掌握物体，这是一个充满挑战的问题，由于其高维状态和动作空间。我们提出了一个机器人学习系统，该系统可以进行少量的人类示范，并学会掌握在某些被遮挡的观察结果的情况下掌握看不见的物体姿势。我们的系统利用了一个小型运动捕获数据集，并为多指的机器人抓手生成具有多种多样且成功的轨迹的大型数据集。通过添加域随机化，我们表明我们的数据集提供了可以将其转移到策略学习者的强大抓地力轨迹。我们训练一种灵活的抓紧策略，该策略将对象的点云作为输入，并预测连续的动作以从不同初始机器人状态掌握对象。我们在模拟中评估了系统对22多伏的浮动手的有效性，并在现实世界中带有kuka手臂的23多杆Allegro机器人手。从我们的数据集中汲取的政策可以很好地概括在模拟和现实世界中的看不见的对象姿势

我们引入了来自多个机器人手的对象的神经隐式表示。多个机器人手之间的不同抓地力被编码为共享的潜在空间。学会了每个潜在矢量以两个3D形状的签名距离函数来解码对象的3D形状和机器人手的3D形状。此外，学会了潜在空间中的距离度量，以保留不同机器人手之间的graSps之间的相似性，其中根据机器人手的接触区域定义了grasps的相似性。该属性使我们能够在包括人手在内的不同抓地力之间转移抓地力，并且GRASP转移有可能在机器人之间分享抓地力，并使机器人能够从人类那里学习掌握技能。此外，我们隐式表示中对象和grasps的编码符号距离函数可用于6D对象姿势估计，并从部分点云中掌握触点优化，这可以在现实世界中启用机器人抓握。

操纵铰接对象通常需要多个机器人臂。使多个机器人武器能够在铰接物体上协作地完成操纵任务是一项挑战性。在本文中，我们呈现$ \ textbf {v-mao} $，这是一个学习铰接物体的多臂操纵的框架。我们的框架包括一个变分生成模型，可以为每个机器人臂的物体刚性零件学习接触点分布。从与模拟环境的交互获得训练信号，该模拟环境是通过规划和用于铰接对象的对象控制的新颖制定的新颖制定。我们在定制的Mujoco仿真环境中部署了我们的框架，并证明我们的框架在六种不同的对象和两个不同的机器人上实现了高成功率。我们还表明，生成建模可以有效地学习铰接物体上的接触点分布。

We formulate grasp learning as a neural field and present Neural Grasp Distance Fields (NGDF). Here, the input is a 6D pose of a robot end effector and output is a distance to a continuous manifold of valid grasps for an object. In contrast to current approaches that predict a set of discrete candidate grasps, the distance-based NGDF representation is easily interpreted as a cost, and minimizing this cost produces a successful grasp pose. This grasp distance cost can be incorporated directly into a trajectory optimizer for joint optimization with other costs such as trajectory smoothness and collision avoidance. During optimization, as the various costs are balanced and minimized, the grasp target is allowed to smoothly vary, as the learned grasp field is continuous. In simulation benchmarks with a Franka arm, we find that joint grasping and planning with NGDF outperforms baselines by 63% execution success while generalizing to unseen query poses and unseen object shapes. Project page: https://sites.google.com/view/neural-grasp-distance-fields.

虽然对理解计算机视觉中的手对象交互进行了重大进展，但机器人执行复杂的灵巧操纵仍然非常具有挑战性。在本文中，我们提出了一种新的平台和管道DEXMV（来自视频的Dexerous操纵）以进行模仿学习。我们设计了一个平台：（i）具有多指机器人手和（ii）计算机视觉系统的复杂灵巧操纵任务的仿真系统，以记录进行相同任务的人类手的大规模示范。在我们的小说管道中，我们从视频中提取3D手和对象姿势，并提出了一种新颖的演示翻译方法，将人类运动转换为机器人示范。然后，我们将多个仿制学习算法与演示进行应用。我们表明，示威活动确实可以通过大幅度提高机器人学习，并解决独自增强学习无法解决的复杂任务。具有视频的项目页面：https://yzqin.github.io/dexmv

3D视觉输入的对象操纵对构建可宽大的感知和政策模型构成了许多挑战。然而，现有基准中的3D资产主要缺乏与拓扑和几何中的现实世界内复杂的3D形状的多样性。在这里，我们提出了Sapien操纵技能基准（Manishill）以在全物理模拟器中的各种物体上基准操纵技巧。 Manishill中的3D资产包括大型课堂内拓扑和几何变化。仔细选择任务以涵盖不同类型的操纵挑战。 3D Vision的最新进展也使我们认为我们应该定制基准，以便挑战旨在邀请研究3D深入学习的研究人员。为此，我们模拟了一个移动的全景摄像头，返回以自我为中心的点云或RGB-D图像。此外，我们希望Manishill是为一个对操纵研究感兴趣的广泛研究人员提供服务。除了支持从互动的政策学习，我们还支持学习 - 从演示（LFD）方法，通过提供大量的高质量演示（〜36,000个成功的轨迹，总共〜1.5米点云/ RGB-D帧）。我们提供使用3D深度学习和LFD算法的基线。我们的基准（模拟器，环境，SDK和基线）的所有代码都是开放的，并且将基于基准举办跨学科研究人员面临的挑战。

6D在杂乱的场景中抓住是机器人操纵中的长期存在。由于状态估计不准确，开环操作管道可能会失败，而大多数端到端的掌握方法尚未缩放到具有障碍物的复杂场景。在这项工作中，我们提出了一种新的杂乱场景掌握的最终学习方法。我们的分层框架基于部分点云观测学习无碰撞目标驱动的抓取性。我们学习嵌入空间来编码培训期间的专家掌握计划和一个变形式自动化器，以在测试时间上采样不同的抓握轨迹。此外，我们培训批评网络的计划选择和选项分类器，用于通过分层加强学习切换到实例掌握策略。我们评估我们的方法并与仿真中的几个基线进行比较，并证明我们的潜在规划可以概括为真实的杂乱场景掌握任务。我们的视频和代码可以在https://sites.google.com/view/latent-grasping中找到。

当前机器人拾取方法的管道通常包括几个阶段：抓握姿势检测，寻找检测到的姿势的逆运动溶液，计划无碰撞轨迹，然后用开放环轨迹执行对Grasp Pose的执行。低级跟踪控制器。虽然这些抓握方法在将静态对象掌握在台式顶上方面表现出良好的性能，但在受约束环境中抓住动态对象的问题仍然是一个开放的问题。我们提出了神经运动场，这是一种新颖的对象表示，将对象点云和相对任务轨迹编码为由神经网络参数化的隐式值函数。以对象为中心的表示形式在SE（3）空间上建模了连续分布，并使我们能够通过利用基于采样的MPC来反应地执行握把以优化此值函数。

抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得

对于移动机器人而言，与铰接式对象的交互是一项具有挑战性但重要的任务。为了应对这一挑战，我们提出了一条新型的闭环控制管道，该管道将负担能力估计的操纵先验与基于采样的全身控制相结合。我们介绍了完全反映了代理的能力和体现的代理意识提供的概念，我们表明它们的表现优于其最先进的对应物，这些对应物仅以最终效果的几何形状为条件。此外，发现闭环负担推论使代理可以将任务分为多个非连续运动，并从失败和意外状态中恢复。最后，管道能够执行长途移动操作任务，即在现实世界中开放和关闭烤箱，成功率很高（开放：71％，关闭：72％）。

人类抓握合成具有许多应用，包括AR / VR，视频游戏和机器人。虽然已经提出了一些方法来为对象抓握和操纵产生现实的手对象交互，但通常只考虑手动与对象交互。在这项工作中，我们的目标是综合全身掌握运动。鉴于3D对象，我们的目标是产生多样化和自然的全身人类动作，方法和掌握物体。这项任务是具有挑战性的，因为它需要建模全身动态和灵巧的手指运动。为此，我们提出了由两个关键部件组成的Saga（随机全身抓取）：（a）静态全身抓取姿势。具体地，我们提出了一种多任务生成模型，共同学习静态全身抓姿和人对象触点。 （b）抓住运动infilling。鉴于初始姿势和产生的全身抓握姿势作为运动的起始和结束姿势，我们设计了一种新的联络感知生成运动infilling模块，以产生各种掌握的掌握运动。我们展示了我们方法是第一代生物和表达全身运动的第一代框架，该方法是随机放置并掌握未经看的对象的逼真和表达全身运动。代码和视频可用于：https：//jiahaoplus.github.io/saga/saga.html。

成功掌握对象的能力在机器人中是至关重要的，因为它可以实现多个交互式下游应用程序。为此，大多数方法要么计算兴趣对象的完整6D姿势，要么学习预测一组掌握点。虽然前一种方法对多个对象实例或类没有很好地扩展，但后者需要大的注释数据集，并且受到新几何形状的普遍性能力差的阻碍。为了克服这些缺点，我们建议教授一个机器人如何用简单而简短的人类示范掌握一个物体。因此，我们的方法既不需要许多注释图像，也不限于特定的几何形状。我们首先介绍了一个小型RGB-D图像，显示人对象交互。然后利用该序列来构建表示所描绘的交互的相关手和对象网格。随后，我们完成重建对象形状的缺失部分，并估计了场景中的重建和可见对象之间的相对变换。最后，我们从物体和人手之间的相对姿势转移a-prioriz知识，随着当前对象在场景中的估计到机器人的必要抓握指令。与丰田的人类支持机器人（HSR）在真实和合成环境中的详尽评估证明了我们所提出的方法的适用性及其优势与以前的方法相比。

Reliably planning fingertip grasps for multi-fingered hands lies as a key challenge for many tasks including tool use, insertion, and dexterous in-hand manipulation. This task becomes even more difficult when the robot lacks an accurate model of the object to be grasped. Tactile sensing offers a promising approach to account for uncertainties in object shape. However, current robotic hands tend to lack full tactile coverage. As such, a problem arises of how to plan and execute grasps for multi-fingered hands such that contact is made with the area covered by the tactile sensors. To address this issue, we propose an approach to grasp planning that explicitly reasons about where the fingertips should contact the estimated object surface while maximizing the probability of grasp success. Key to our method's success is the use of visual surface estimation for initial planning to encode the contact constraint. The robot then executes this plan using a tactile-feedback controller that enables the robot to adapt to online estimates of the object's surface to correct for errors in the initial plan. Importantly, the robot never explicitly integrates object pose or surface estimates between visual and tactile sensing, instead it uses the two modalities in complementary ways. Vision guides the robots motion prior to contact; touch updates the plan when contact occurs differently than predicted from vision. We show that our method successfully synthesises and executes precision grasps for previously unseen objects using surface estimates from a single camera view. Further, our approach outperforms a state of the art multi-fingered grasp planner, while also beating several baselines we propose.

我们旨在教机器人通过观看单个视频演示来执行简单的对象操纵任务。为了实现这一目标，我们提出了一种优化方法，该方法输出了一个粗糙且在时间上不断发展的3D场景，以模仿输入视频中所示的动作。与以前的工作相似，可区分的渲染器可确保3D场景和2D视频之间的感知忠诚度。我们的关键新颖性在于包含一种可区分方法来求解一组普通微分方程（ODE），该方程使我们能够近似建模物理定律，例如重力，摩擦，手动对象或对象对象相互作用。这不仅使我们能够显着提高估计的手和物体状态的质量，而且还可以产生可接受的轨迹，这些轨迹可以直接转化为机器人，而无需进行昂贵的强化学习。我们在3D重建任务上评估了我们的方法，该任务由54个视频演示组成，这些视频演示来自9个动作，例如将某物从右到左拉或将某物放在某物前。我们的方法将以前的最先进的方法提高了近30％，在涉及两个物体（例如将某物）的物理互动的特别挑战性的动作上表现出了卓越的质量。最后，我们在Franka Emika Panda机器人上展示了博学的技能。

学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。

多目标高维运动优化问题在机器人技术中无处不在，并且信息丰富的梯度受益。为此，我们要求所有成本函数都可以微分。我们建议学习任务空间，数据驱动的成本功能作为扩散模型。扩散模型代表表达性的多模式分布，并在整个空间中表现出适当的梯度。我们通过将学习的成本功能与单个目标功能中的其他潜在学到的或手工调整的成本相结合，并通过梯度下降共同优化所有这些属性来优化运动。我们在一组复杂的掌握和运动计划问题中展示了联合优化的好处，并与将掌握的掌握选择与运动优化相提并论相比。

在机器人操作中，以前未见的新物体的自主抓住是一个持续的挑战。在过去的几十年中，已经提出了许多方法来解决特定机器人手的问题。最近引入的Unigrasp框架具有推广到不同类型的机器人抓手的能力。但是，此方法不适用于具有闭环约束的抓手，并且当应用于具有MultiGRASP配置的机器人手时，具有数据范围。在本文中，我们提出了有效绘制的，这是一种独立于抓手模型规范的广义掌握合成和抓地力控制方法。有效绘制利用抓地力工作空间功能，而不是Unigrasp的抓属属性输入。这在训练过程中将记忆使用量减少了81.7％，并可以推广到更多类型的抓地力，例如具有闭环约束的抓手。通过在仿真和现实世界中进行对象抓住实验来评估有效绘制的有效性；结果表明，所提出的方法在仅考虑没有闭环约束的抓手时也胜过Unigrasp。在这些情况下，有效抓取在产生接触点的精度高9.85％，模拟中的握把成功率提高了3.10％。现实世界实验是用带有闭环约束的抓地力进行的，而Unigrasp无法处理，而有效绘制的成功率达到了83.3％。分析了该方法的抓地力故障的主要原因，突出了增强掌握性能的方法。

As the basis for prehensile manipulation, it is vital to enable robots to grasp as robustly as humans. In daily manipulation, our grasping system is prompt, accurate, flexible and continuous across spatial and temporal domains. Few existing methods cover all these properties for robot grasping. In this paper, we propose a new methodology for grasp perception to enable robots these abilities. Specifically, we develop a dense supervision strategy with real perception and analytic labels in the spatial-temporal domain. Additional awareness of objects' center-of-mass is incorporated into the learning process to help improve grasping stability. Utilization of grasp correspondence across observations enables dynamic grasp tracking. Our model, AnyGrasp, can generate accurate, full-DoF, dense and temporally-smooth grasp poses efficiently, and works robustly against large depth sensing noise. Embedded with AnyGrasp, we achieve a 93.3% success rate when clearing bins with over 300 unseen objects, which is comparable with human subjects under controlled conditions. Over 900 MPPH is reported on a single-arm system. For dynamic grasping, we demonstrate catching swimming robot fish in the water.