机器人可变形的操纵是机器人行业的挑战，因为可变形物体具有复杂和各种物体状态。预测这些对象状态并更新操纵计划是耗时的，并且计算昂贵。在本文中，我们提出了学习已知的服装配置，以允许机器人识别服装状态，并选择一个预先设计的操纵计划以使衣服变平。
translated by 谷歌翻译
由于物体状态的高维度，服装扁平的管道需要识别机器人制作/选择操纵计划以使服装弄平的服装的配置。在本文中，我们提出了一种以数据为中心的方法，以根据已知的配置网络（KCNET）识别已知的服装配置，该配置是在深度图像上训练的，该图像捕获了已知的服装配置和服装形状的先验知识。在本文中，我们提出了一种以数据为中心的方法，以根据已知的配置网络（KCNET）识别已知的服装配置，该配置是在深度图像上训练的，这些图像捕获了已知的服装配置和服装形状的先验知识。服装的已知配置是当机器人在空气中间悬挂衣服时的服装配置。我们发现，如果我们让机器人识别服装的常见悬挂配置（已知配置），则可以实现92 \％的精度。我们还通过双臂百特机器人提出的方法证明了有效的机器人服装使管道扁平化。机器人的平均运营时间为221.6秒，并成功操纵了五种不同形状的服装。
translated by 谷歌翻译
可变形的物体操纵（DOM）是机器人中的新兴研究问题。操纵可变形对象的能力赋予具有更高自主权的机器人，并承诺在工业，服务和医疗领域中的新应用。然而，与刚性物体操纵相比，可变形物体的操纵相当复杂，并且仍然是开放的研究问题。解决DOM挑战在机器人学的几乎各个方面，即硬件设计，传感，（变形）建模，规划和控制的挑战突破。在本文中，我们审查了最近的进步，并在考虑每个子场中的变形时突出主要挑战。我们论文的特殊焦点在于讨论这些挑战并提出未来的研究方向。
translated by 谷歌翻译
Fabric manipulation is a long-standing challenge in robotics due to the enormous state space and complex dynamics. Learning approaches stand out as promising for this domain as they allow us to learn behaviours directly from data. Most prior methods however rely heavily on simulation, which is still limited by the large sim-to-real gap of deformable objects or rely on large datasets. A promising alternative is to learn fabric manipulation directly from watching humans perform the task. In this work, we explore how demonstrations for fabric manipulation tasks can be collected directly by human hands, providing an extremely natural and fast data collection pipeline. Then, using only a handful of such demonstrations, we show how a sample-efficient pick-and-place policy can be learned and deployed on a real robot, without any robot data collection at all. We demonstrate our approach on a fabric folding task, showing that our policy can reliably reach folded states from crumpled initial configurations.
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
机器人仿真一直是数据驱动的操作任务的重要工具。但是，大多数现有的仿真框架都缺乏与触觉传感器的物理相互作用的高效和准确模型，也没有逼真的触觉模拟。这使得基于触觉的操纵任务的SIM转交付仍然具有挑战性。在这项工作中，我们通过建模接触物理学来整合机器人动力学和基于视觉的触觉传感器的模拟。该触点模型使用机器人最终效应器上的模拟接触力来告知逼真的触觉输出。为了消除SIM到真实传输差距，我们使用现实世界数据校准了机器人动力学，接触模型和触觉光学模拟器的物理模拟器，然后我们在零摄像机上演示了系统的有效性 - 真实掌握稳定性预测任务，在各种对象上，我们达到平均准确性为90.7％。实验揭示了将我们的模拟框架应用于更复杂的操纵任务的潜力。我们在https://github.com/cmurobotouch/taxim/tree/taxim-robot上开放仿真框架。
translated by 谷歌翻译
我们提出了一种对机器人洗衣任务的持续感知的方法。我们的假设是通过神经网络可以通过学习从视频序列的衣服的动态变化的神经网络来看看服装形状和权重的视觉预测。通过输入连续框架在训练期间利用连续感知，其中网络了解衣服如何变形。为了评估我们的假设，我们捕获了40k RGB和40K深度视频序列的数据集，而被操纵衣服。我们还进行了消融研究，了解神经网络是否了解服装的物理和动态性质。我们的研究结果表明，改进的AlexNet-LSTM架构对服装的形状和重量具有最佳分类性能。为了进一步提供证据，即连续感知促进了服装的形状和重量的预测，我们在看不见的视频序列上评估了我们的网络，并在一系列预测上计算了“移动平均”。我们发现，我们的网络分别具有48％和60％的衣服的分类准确性，适用于服装的形状和重量。
translated by 谷歌翻译
虽然机器人提供了一个机会，为老年人和床上移动性损伤的人提供物理援助，但人们经常在床上休息，毯子覆盖着他们的大部分的毯子。为许多日常自我保健任务提供帮助，例如沐浴，敷料或守护，护理人员必须先从人体的一部分揭开毯子。在这项工作中，我们介绍了一个关于机器人床上用品操作的制定，其中一个机器人从目标身体部位揭开毯子，同时确保人体的其余部分仍然被覆盖。我们比较两种方法来优化提供具有掌握和释放点的机器人的策略，即揭示身体的目标部分：1）加强学习和2）通过优化来生成培训数据的自我监督学习。我们在物理模拟环境中培训并进行了评估，该政策包括覆盖床上模拟人类仰卧的可变形布网格。此外，我们还将模拟训练的政策转移到真正的移动操纵器，并证明它可以从躺在床上的人体模型的目标身体部位揭开毯子。源代码在线获取。
translated by 谷歌翻译
机器人外科助理（RSAs）通常用于通过专家外科医生进行微创手术。然而，长期以来充满了乏味和重复的任务，如缝合可以导致外科医生疲劳，激励缝合的自动化。随着薄反射针的视觉跟踪极具挑战性，在未反射对比涂料的情况下修改了针。作为朝向无修改针的缝合子任务自动化的步骤，我们提出了休斯顿：切换未经修改，外科手术，工具障碍针，一个问题和算法，它使用学习的主动传感策略与立体声相机本地化并对齐针头进入另一臂的可见和可访问的姿势。为了补偿机器人定位和针头感知误差，然后算法执行使用多个摄像机的高精度抓握运动。在使用Da Vinci研究套件（DVRK）的物理实验中，休斯顿成功通过了96.7％的成功率，并且能够在故障前平均地在臂32.4倍之间顺序地执行切换。在培训中看不见的针头，休斯顿实现了75-92.9％的成功率。据我们所知，这项工作是第一个研究未修改的手术针的切换。查看https://tinyurl.com/huston-surgery用于额外的材料。
translated by 谷歌翻译
从示范中学习（LFD）提供了一种方便的手段，可以在机器人固有坐标中获得示范时为机器人提供灵巧的技能。但是，长期和复杂技能中复杂错误的问题减少了其广泛的部署。由于大多数此类复杂的技能由组合的较小运动组成，因此将目标技能作为一系列紧凑的运动原语似乎是合理的。在这里，需要解决的问题是确保电动机以允许成功执行后续原始的状态结束。在这项研究中，我们通过提议学习明确的校正政策来关注这个问题，当时未达到原始人之间的预期过渡状态。校正策略本身是通过使用最先进的运动原始学习结构，条件神经运动原语（CNMP）来学习的。然后，学识渊博的校正政策能够以背景方式产生各种运动轨迹。拟议系统比学习完整任务的优点在模拟中显示了一个台式设置，其中必须以两个步骤将对象通过走廊推动。然后，通过为上身类人生物机器人配备具有在3D空间中的条上打结的技巧，显示了所提出的方法在现实世界中进行双重打结的适用性。实验表明，即使面对校正案例不属于人类示范集的一部分，机器人也可以执行成功的打结。
translated by 谷歌翻译
使用高维操作空间来控制机器人操纵器来实现灵巧的任务是一个具有挑战性的问题。受到人类操纵的启发，研究人员研究了机器人手的产生和使用姿势协同作用来完成操纵任务，从而利用了协同作用空间的较低维度。但是，其中许多作品需要从现有控制器中获得的预收集数据，以便通过降低维度来得出这样的子空间。在本文中，我们提出了一个框架，该框架同时发现了协同空间和多任务策略，该策略在这个低维操作空间上运作以完成多种操纵任务。我们证明，我们的端到端方法能够使用少量协同作用执行多个任务，并且优于将维度降低降低到独立收集的数据的顺序方法。我们还表明，使用多个任务得出协同作用可以导致一个子空间，该子空间使机器人能够有效地学习新的操作任务以及与新对象的交互。
translated by 谷歌翻译
在本文中，我们建议通过通过物理相似度网络（PhysNet）学习模拟织物之间的物理相似性来预测真实织物和服装的物理参数。为此，我们估计电风扇和面积重量产生的风速，以预测模拟和真实织物和服装的弯曲刚度。我们发现，与贝叶斯优化器相结合的Physnet可以预测物理参数，并将最先进的真实面料提高34％，而真正的服装为68％。
translated by 谷歌翻译
部件组件是机器人中的典型但具有挑战性的任务，机器人将一组各个部件组装成完整的形状。在本文中，我们开发了用于家具组件的机器人组装仿真环境。我们将零件装配任务制定为混凝土加固学习问题，并提出了一种机器人的管道，以学习组装多种椅子。实验表明，当使用看不见的椅子进行测试时，我们的方法在以上对象的环境下实现了74.5％的成功率，并在完整环境下实现了50.0％。我们采用RRT-CONNECT算法作为基线，在计算时间明显更长的时间后，只能实现18.8％的成功率。我们的项目网页提供了补充材料和视频。
translated by 谷歌翻译
强化学习是机器人抓握的一种有前途的方法，因为它可以在困难的情况下学习有效的掌握和掌握政策。但是，由于问题的高维度，用精致的机器人手来实现类似人类的操纵能力是具有挑战性的。尽管可以采用奖励成型或专家示范等补救措施来克服这个问题，但它们通常导致过分简化和有偏见的政策。我们介绍了Dext-Gen，这是一种在稀疏奖励环境中灵巧抓握的强化学习框架，适用于各种抓手，并学习无偏见和复杂的政策。通过平滑方向表示实现了抓地力和物体的完全方向控制。我们的方法具有合理的培训时间，并提供了包括所需先验知识的选项。模拟实验证明了框架对不同方案的有效性和适应性。
translated by 谷歌翻译
长期以来，可变形的物体操纵任务被视为具有挑战性的机器人问题。但是，直到最近，对这个主题的工作很少，大多数机器人操纵方法正在为刚性物体开发。可变形的对象更难建模和模拟，这限制了对模型的增强学习（RL）策略的使用，因为它们需要仅在模拟中满足的大量数据。本文提出了针对可变形线性对象（DLOS）的新形状控制任务。更值得注意的是，我们介绍了有关弹性塑性特性对这种类型问题的影响的第一个研究。在各种应用中发现具有弹性性的物体（例如金属线），并且由于其非线性行为而挑战。我们首先强调了从RL角度来解决此类操纵任务的挑战，尤其是在定义奖励时。然后，基于差异几何形状的概念，我们提出了使用离散曲率和扭转的固有形状表示。最后，我们通过一项实证研究表明，为了成功地使用深层确定性策略梯度（DDPG）成功解决所提出的任务，奖励需要包括有关DLO形状的内在信息。
translated by 谷歌翻译
We describe a learning-based approach to handeye coordination for robotic grasping from monocular images. To learn hand-eye coordination for grasping, we trained a large convolutional neural network to predict the probability that task-space motion of the gripper will result in successful grasps, using only monocular camera images and independently of camera calibration or the current robot pose. This requires the network to observe the spatial relationship between the gripper and objects in the scene, thus learning hand-eye coordination. We then use this network to servo the gripper in real time to achieve successful grasps. To train our network, we collected over 800,000 grasp attempts over the course of two months, using between 6 and 14 robotic manipulators at any given time, with differences in camera placement and hardware. Our experimental evaluation demonstrates that our method achieves effective real-time control, can successfully grasp novel objects, and corrects mistakes by continuous servoing.
translated by 谷歌翻译
学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。
translated by 谷歌翻译
成功掌握对象的能力在机器人中是至关重要的，因为它可以实现多个交互式下游应用程序。为此，大多数方法要么计算兴趣对象的完整6D姿势，要么学习预测一组掌握点。虽然前一种方法对多个对象实例或类没有很好地扩展，但后者需要大的注释数据集，并且受到新几何形状的普遍性能力差的阻碍。为了克服这些缺点，我们建议教授一个机器人如何用简单而简短的人类示范掌握一个物体。因此，我们的方法既不需要许多注释图像，也不限于特定的几何形状。我们首先介绍了一个小型RGB-D图像，显示人对象交互。然后利用该序列来构建表示所描绘的交互的相关手和对象网格。随后，我们完成重建对象形状的缺失部分，并估计了场景中的重建和可见对象之间的相对变换。最后，我们从物体和人手之间的相对姿势转移a-prioriz知识，随着当前对象在场景中的估计到机器人的必要抓握指令。与丰田的人类支持机器人（HSR）在真实和合成环境中的详尽评估证明了我们所提出的方法的适用性及其优势与以前的方法相比。
translated by 谷歌翻译
非结构化环境中的多步操纵任务对于学习的机器人来说非常具有挑战性。这些任务相互作用，包括可以获得的预期状态，可以实现整体任务和低级推理，以确定哪些行动将产生这些国家。我们提出了一种无模型的深度加强学习方法来学习多步理操作任务。我们介绍了一个基于视觉的模型架构的机器人操纵网络（ROMANNET），以了解动作值函数并预测操纵操作候选。我们定义基于Gaussian（TPG）奖励函数的任务进度，基于导致成功的动作原语的行动和实现整体任务目标的进展来计算奖励。为了平衡探索/剥削的比率，我们介绍了一个损失调整后的探索（LAE）政策，根据亏损估计的Boltzmann分配来确定来自行动候选人的行动。我们通过培训ROMANNET来展示我们方法的有效性，以了解模拟和现实世界中的几个挑战的多步机械管理任务。实验结果表明，我们的方法优于现有的方法，并在成功率和行动效率方面实现了最先进的性能。消融研究表明，TPG和LAE对多个块堆叠的任务特别有益。代码可用：https：//github.com/skumra/romannet
translated by 谷歌翻译
我们研究机器人如何自主学习需要联合导航和抓握的技能。虽然原则上的加固学习提供自动机器人技能学习，但在实践中，在现实世界中的加固学习是挑战性的，并且往往需要大量的仪器和监督。我们的宗旨是以无论没有人为干预的自主方式，设计用于学习导航和操纵的机器人强化学习系统，在没有人为干预的情况下，在现实的假设下实现持续学习。我们建议的系统relmm，可以在没有任何环境仪器的现实世界平台上不断学习，没有人为干预，而无需访问特权信息，例如地图，对象位置或环境的全局视图。我们的方法采用模块化策略与组件进行操纵和导航，其中操纵政策不确定性驱动导航控制器的探索，操作模块为导航提供奖励。我们在房间清理任务上评估我们的方法，机器人必须导航到并拾取散落在地板上的物品。在掌握课程训练阶段之后，relmm可以在自动真实培训的大约40小时内自动学习导航并完全抓住。
translated by 谷歌翻译