先前的软组织操纵研究假设已知抓地点并可以实现目标变形。在操作过程中，约束应该是恒定的，并且软组织周围没有障碍物。为了超越这些假设，在未知的约束下（例如筋膜施加的力量）提出了一个具有先验知识的深入加强学习框架。先验知识是通过直观的操纵策略来表示的。作为代理的作用，使用调节因子来协调直觉方法和故意的网络。奖励功能旨在平衡探索和剥削的大变形。成功的仿真结果验证了所提出的框架可以操纵软组织，同时避免障碍物并增加新的位置限制。与软参与者（SAC）算法相比，所提出的框架可以加速训练程序并改善概括。
translated by 谷歌翻译
长期以来，可变形的物体操纵任务被视为具有挑战性的机器人问题。但是，直到最近，对这个主题的工作很少，大多数机器人操纵方法正在为刚性物体开发。可变形的对象更难建模和模拟，这限制了对模型的增强学习（RL）策略的使用，因为它们需要仅在模拟中满足的大量数据。本文提出了针对可变形线性对象（DLOS）的新形状控制任务。更值得注意的是，我们介绍了有关弹性塑性特性对这种类型问题的影响的第一个研究。在各种应用中发现具有弹性性的物体（例如金属线），并且由于其非线性行为而挑战。我们首先强调了从RL角度来解决此类操纵任务的挑战，尤其是在定义奖励时。然后，基于差异几何形状的概念，我们提出了使用离散曲率和扭转的固有形状表示。最后，我们通过一项实证研究表明，为了成功地使用深层确定性策略梯度（DDPG）成功解决所提出的任务，奖励需要包括有关DLO形状的内在信息。
translated by 谷歌翻译
通过杂乱无章的场景推动对象是一项具有挑战性的任务，尤其是当要推动的对象最初具有未知的动态和触摸其他实体时，必须避免降低损害的风险。在本文中，我们通过应用深入的强化学习来解决此问题，以制造出作用在平面表面上的机器人操纵器的推动动作，在该机器人表面上必须将物体推到目标位置，同时避免同一工作空间中的其他项目。通过从场景的深度图像和环境的其他观察结果中学到的潜在空间，例如末端效应器和对象之间的接触信息以及与目标的距离，我们的框架能够学习接触率丰富的推动行动避免与其他物体发生冲突。随着实验结果具有六个自由度机器人臂的显示，我们的系统能够从开始到端位置成功地将物体推向，同时避免附近的物体。此外，我们与移动机器人的最先进的推动控制器相比，我们评估了我们的学术策略，并表明我们的代理在成功率，与其他对象的碰撞以及在各种情况下连续对象联系方面的性能更好。
translated by 谷歌翻译
In order to avoid conventional controlling methods which created obstacles due to the complexity of systems and intense demand on data density, developing modern and more efficient control methods are required. In this way, reinforcement learning off-policy and model-free algorithms help to avoid working with complex models. In terms of speed and accuracy, they become prominent methods because the algorithms use their past experience to learn the optimal policies. In this study, three reinforcement learning algorithms; DDPG, TD3 and SAC have been used to train Fetch robotic manipulator for four different tasks in MuJoCo simulation environment. All of these algorithms are off-policy and able to achieve their desired target by optimizing both policy and value functions. In the current study, the efficiency and the speed of these three algorithms are analyzed in a controlled environment.
translated by 谷歌翻译
强化学习方法作为一种有前途的技术在自由浮动太空机器人的运动计划中取得了卓越的成果。但是，由于计划维度的增加和系统动态耦合的加剧，双臂自由浮动太空机器人的运动计划仍然是一个开放的挑战。特别是，由于缺乏最终效果的姿势约束，当前的研究无法处理捕获非合作对象的任务。为了解决该问题，我们提出了一种新型算法，即有效的算法，以促进基于RL的方法有效提高计划准确性。我们的核心贡献是通过先验知识指导构建一项混合政策，并引入无限规范以构建更合理的奖励功能。此外，我们的方法成功地捕获了具有不同旋转速度的旋转对象。
translated by 谷歌翻译
由于配置空间的高维度以及受各种材料特性影响的动力学的复杂性，布料操纵是一项具有挑战性的任务。复杂动力学的效果甚至在动态折叠中更为明显，例如，当平方板通过单个操纵器将一块织物折叠为两种时。为了说明复杂性和不确定性，使用例如通常需要视觉。但是，构建动态布折叠的视觉反馈政策是一个开放的问题。在本文中，我们提出了一种解决方案，该解决方案可以使用强化学习（RL）学习模拟政策，并将学识渊博的政策直接转移到现实世界中。此外，要学习一种操纵多种材料的单一策略，我们将模拟中的材料属性随机化。我们评估了现实世界实验中视觉反馈和材料随机化的贡献。实验结果表明，所提出的解决方案可以使用现实世界中的动态操作成功地折叠不同的面料类型。代码，数据和视频可从https://sites.google.com/view/dynamic-cloth-folding获得
translated by 谷歌翻译
生成的对抗性模仿学习（GAIL）可以学习政策，而无需明确定义示威活动的奖励功能。盖尔有可能学习具有高维观测值的政策，例如图像。通过将Gail应用于真正的机器人，也许可以为清洗，折叠衣服，烹饪和清洁等日常活动获得机器人政策。但是，由于错误，人类示范数据通常是不完美的，这会降低由此产生的政策的表现。我们通过关注以下功能来解决此问题：1）许多机器人任务是目标任务，而2）在演示数据中标记此类目标状态相对容易。考虑到这些，本文提出了目标感知的生成对抗性模仿学习（GA-GAIL），该学习通过引入第二个歧视者来训练政策，以与指示演示数据的第一个歧视者并行区分目标状态。这扩展了一个标准的盖尔框架，即使通过促进实现目标状态的目标状态歧视者，甚至可以从不完美的演示中学习理想的政策。此外，GA-GAIL采用熵最大化的深层P-NETWORK（EDPN）作为发电机，该发电机考虑了策略更新中的平滑度和因果熵，以从两个歧视者中获得稳定的政策学习。我们提出的方法成功地应用于两项真正的布料操作任务：将手帕翻过来折叠衣服。我们确认它在没有特定特定任务奖励功能设计的情况下学习了布料操作政策。实际实验的视频可在https://youtu.be/h_nii2ooure上获得。
translated by 谷歌翻译
可变形的物体操纵（DOM）是机器人中的新兴研究问题。操纵可变形对象的能力赋予具有更高自主权的机器人，并承诺在工业，服务和医疗领域中的新应用。然而，与刚性物体操纵相比，可变形物体的操纵相当复杂，并且仍然是开放的研究问题。解决DOM挑战在机器人学的几乎各个方面，即硬件设计，传感，（变形）建模，规划和控制的挑战突破。在本文中，我们审查了最近的进步，并在考虑每个子场中的变形时突出主要挑战。我们论文的特殊焦点在于讨论这些挑战并提出未来的研究方向。
translated by 谷歌翻译
Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.
translated by 谷歌翻译
深度加固学习（DRL）使机器人能够结束结束地执行一些智能任务。然而，长地平线稀疏奖励机器人机械手任务仍存在许多挑战。一方面，稀疏奖励设置会导致探索效率低下。另一方面，使用物理机器人的探索是高成本和不安全的。在本文中，我们提出了一种学习使用本文中名为基础控制器的一个或多个现有传统控制器的长地平线稀疏奖励任务。基于深度确定性的政策梯度（DDPG），我们的算法将现有基础控制器融入勘探，价值学习和策略更新的阶段。此外，我们介绍了合成不同基础控制器以整合它们的优点的直接方式。通过从堆叠块到杯子的实验，证明学习的国家或基于图像的策略稳定优于基础控制器。与以前的示范中的学习作品相比，我们的方法通过数量级提高了样品效率，提高了性能。总体而言，我们的方法具有利用现有的工业机器人操纵系统来构建更灵活和智能控制器的可能性。
translated by 谷歌翻译
强化学习是机器人抓握的一种有前途的方法，因为它可以在困难的情况下学习有效的掌握和掌握政策。但是，由于问题的高维度，用精致的机器人手来实现类似人类的操纵能力是具有挑战性的。尽管可以采用奖励成型或专家示范等补救措施来克服这个问题，但它们通常导致过分简化和有偏见的政策。我们介绍了Dext-Gen，这是一种在稀疏奖励环境中灵巧抓握的强化学习框架，适用于各种抓手，并学习无偏见和复杂的政策。通过平滑方向表示实现了抓地力和物体的完全方向控制。我们的方法具有合理的培训时间，并提供了包括所需先验知识的选项。模拟实验证明了框架对不同方案的有效性和适应性。
translated by 谷歌翻译
我们研究机器人如何自主学习需要联合导航和抓握的技能。虽然原则上的加固学习提供自动机器人技能学习，但在实践中，在现实世界中的加固学习是挑战性的，并且往往需要大量的仪器和监督。我们的宗旨是以无论没有人为干预的自主方式，设计用于学习导航和操纵的机器人强化学习系统，在没有人为干预的情况下，在现实的假设下实现持续学习。我们建议的系统relmm，可以在没有任何环境仪器的现实世界平台上不断学习，没有人为干预，而无需访问特权信息，例如地图，对象位置或环境的全局视图。我们的方法采用模块化策略与组件进行操纵和导航，其中操纵政策不确定性驱动导航控制器的探索，操作模块为导航提供奖励。我们在房间清理任务上评估我们的方法，机器人必须导航到并拾取散落在地板上的物品。在掌握课程训练阶段之后，relmm可以在自动真实培训的大约40小时内自动学习导航并完全抓住。
translated by 谷歌翻译
2022-03-08
移动操作（MM）系统是在非结构化现实世界环境中扮演个人助理角色的理想候选者。除其他挑战外，MM需要有效协调机器人的实施例，以执行需要移动性和操纵的任务。强化学习（RL）的承诺是将机器人具有自适应行为，但是大多数方法都需要大量的数据来学习有用的控制策略。在这项工作中，我们研究了机器人可及先验在参与者批判性RL方法中的整合，以加速学习和获取任务的MM学习。也就是说，我们考虑了最佳基础位置的问题以及是否激活ARM达到6D目标的后续决定。为此，我们设计了一种新型的混合RL方法，该方法可以共同处理离散和连续的动作，从而诉诸Gumbel-Softmax重新聚集化。接下来，我们使用来自经典方法的操作机器人工作区中的数据训练可及性。随后，我们得出了增强的混合RL（BHYRL），这是一种通过将其建模为残留近似器的总和来学习Q功能的新型算法。每当需要学习新任务时，我们都可以转移我们学到的残差并了解特定于任务的Q功能的组成部分，从而从先前的行为中维护任务结构。此外，我们发现将目标政策与先前的策略正规化产生更多的表达行为。我们评估了我们在达到难度增加和提取任务的模拟方面的方法，并显示了Bhyrl在基线方法上的卓越性能。最后，我们用Bhyrl零转移了我们学到的6D提取政策，以归功于我们的MM机器人Tiago ++。有关更多详细信息和代码发布，请参阅我们的项目网站：irosalab.com/rlmmbp
translated by 谷歌翻译
无监督的表示学习的最新进展显着提高了模拟环境中培训强化学习政策的样本效率。但是，尚未看到针对实体强化学习的类似收益。在这项工作中，我们专注于从像素中启用数据有效的实体机器人学习。我们提出了有效的机器人学习（编码器）的对比前训练和数据增强，该方法利用数据增强和无监督的学习来从稀疏奖励中实现对实体ARM策略的样本效率培训。虽然对比预训练，数据增强，演示和强化学习不足以进行有效学习，但我们的主要贡献表明，这些不同技术的组合导致了一种简单而数据效率的方法。我们表明，只有10个示范，一个机器人手臂可以从像素中学习稀疏的奖励操纵策略，例如到达，拾取，移动，拉动大物体，翻转开关并在短短30分钟内打开抽屉现实世界训练时间。我们在项目网站上包括视频和代码：https：//sites.google.com/view/felfficited-robotic-manipulation/home
translated by 谷歌翻译
为了解决控制循环的耦合问题和多输入多输出（MIMO）PID控制系统中的自适应参数调谐问题，基于深度加强学习（RL）和Lyapunov-提出了一种自适应LSAC-PID算法本文基于奖励塑造。对于复杂和未知的移动机器人控制环境，首先呈现了基于RL的MIMO PID混合控制策略。根据移动机器人的动态信息和环境反馈，RL代理可以实时输出最佳MIMO PID参数，而不知道数学模型和解耦多个控制回路。然后，提高RL的收敛速度和移动机器人的稳定性，基于Lyapunov理论和基于潜在的奖励整形方法提出了一种基于Lyapunov的奖励塑形软演员 - 评论仪（LSAC）算法。算法的收敛性和最优性在于软政策迭代的策略评估和改进步骤。此外，对于线路跟随机器人，改进了该区域生长方法，以适应叉和环境干扰的影响。通过比较，测试和交叉验证，仿真和实际实验结果均显示出所提出的LSAC-PID调谐算法的良好性能。
translated by 谷歌翻译
最近，深度加固学习（RL）在机器人操作应用中表现出了一些令人印象深刻的成功。但是，由于样本效率和安全性问题，现实世界中的培训机器人是不平凡的。提出了SIM到现实的转移来解决上述问题，但引入了一个名为“现实差距”的新问题。在这项工作中，我们通过使用单个摄像头的输入来解决上述问题，为基于视觉的组装任务引入SIM模型学习框架，并在模拟环境中进行培训。我们提出了一种基于循环一致的生成对抗网络（CycleGAN）和力量控制转移方法来弥合现实差距的域适应方法。我们证明，在模拟环境中训练有训练的拟议框架可以成功地转移到真实的孔洞设置中。
translated by 谷歌翻译
近年来，太空中出现了不合作的物体，例如失败的卫星和太空垃圾。这些对象通常由自由浮动双臂空间操纵器操作或收集。由于消除了建模和手动参数调整的困难，强化学习（RL）方法在空间操纵器的轨迹计划中表现出了更有希望的标志。尽管以前的研究证明了它们的有效性，但不能应用于跟踪旋转未知（非合作对象）的动态靶标。在本文中，我们提出了一个学习系统，用于将自由浮动双臂空间操纵器（FFDASM）的运动计划朝向非合作对象。具体而言，我们的方法由两个模块组成。模块I意识到了大型目标空间内两个最终效应的多目标轨迹计划。接下来，模块II将非合件对象的点云作为输入来估计运动属性，然后可以预测目标点在非合作对象上的位置。我们利用模块I和模块II的组合来成功地跟踪具有未知规律性的旋转对象上的目标点。此外，实验还证明了我们学习系统的可扩展性和概括。
translated by 谷歌翻译
在现实世界中学习机器人任务仍然是高度挑战性的，有效的实用解决方案仍有待发现。在该领域使用的传统方法是模仿学习和强化学习，但是当应用于真正的机器人时，它们都有局限性。将强化学习与预先收集的演示结合在一起是一种有前途的方法，可以帮助学习控制机器人任务的控制政策。在本文中，我们提出了一种使用新技术来利用离线和在线培训来利用离线专家数据的算法，以获得更快的收敛性和提高性能。拟议的算法（AWET）用新颖的代理优势权重对批评损失进行了加权，以改善专家数据。此外，AWET利用自动的早期终止技术来停止和丢弃与专家轨迹不同的策略推出 - 以防止脱离专家数据。在一项消融研究中，与在四个标准机器人任务上的最新基线相比，AWET表现出改善和有希望的表现。
translated by 谷歌翻译
软执行器为轻柔的抓握和灵活的操纵等任务提供了一种安全，适应性的方法。但是，由于可变形材料的复杂物理学，创建准确的模型来控制此类系统是具有挑战性的。准确的有限元方法（FEM）模型具有用于闭环使用的过度计算复杂性。使用可区分的模拟器是一种有吸引力的替代方案，但是它们适用于软执行器，可变形材料仍然没有被忽略。本文提出了一个结合两者优势的框架。我们学习了一个由材料属性神经网络和其余操纵任务的分析动力学模型组成的可区分模型。该物理信息模型是使用FEM生成的数据训练的，可用于闭环控制和推理。我们在介电弹性体执行器（DEA）硬币提取任务上评估我们的框架。我们模拟使用DEA使用摩擦接触，使用FEM沿着表面拉动硬币的任务，并评估物理信息模型以进行模拟，控制和推理。与FEM相比，我们的模型达到了<5％的仿真误差，我们将其用作MPC控制器的基础，MPC控制器比无模型的参与者 - 批评者，PD和启发式策略所需的迭代率更少。
translated by 谷歌翻译
血管内操作中的自主机器人有可能安全可靠地浏览循环系统，同时降低对人体错误的敏感性。但是，训练机器人的过程涉及许多挑战，例如由于机器学习算法的效率低下而导致的长期培训持续时间以及导管与血管内幻影之间的相互作用引起的安全问题。物理模拟器已在血管内手术的背景下使用，但通常用于员工培训，通常不符合自主插管目标。此外，大多数当前的模拟器都是封闭消息，它阻碍了安全可靠的自主系统的协作开发。在这项工作中，我们介绍了Cathsim，Cathsim是一种开源模拟环境，可加快用于自主内血管内导航的机器学习算法的开发。我们首先使用最先进的血管内机器人模拟高保真导管和主动脉。然后，我们在模拟环境中提供了导管和主动脉之间实时力传感的能力。我们通过使用两种流行的强化学习算法，近端策略优化（PPO）和软参与者（SAC）在两个主要动脉内执行两个不同的导管插入任务来验证我们的模拟器。实验结果表明，使用我们的开源模拟器，我们可以成功训练增强型学习剂以执行不同的自主插管任务。
translated by 谷歌翻译