Physical interactions can often help reveal information that is not readily apparent. For example, we may tug at a table leg to evaluate whether it is built well, or turn a water bottle upside down to check that it is watertight. We propose to train robots to acquire such interactive behaviors automatically, for the purpose of evaluating the result of an attempted robotic skill execution. These evaluations in turn serve as "interactive reward functions" (IRFs) for training reinforcement learning policies to perform the target skill, such as screwing the table leg tightly. In addition, even after task policies are fully trained, IRFs can serve as verification mechanisms that improve online task execution. For any given task, our IRFs can be conveniently trained using only examples of successful outcomes, and no further specification is needed to train the task policy thereafter. In our evaluations on door locking and weighted block stacking in simulation, and screw tightening on a real robot, IRFs enable large performance improvements, even outperforming baselines with access to demonstrations or carefully engineered rewards. Project website: https://sites.google.com/view/lirf-corl-2022/

Complex and contact-rich robotic manipulation tasks, particularly those that involve multi-fingered hands and underactuated object manipulation, present a significant challenge to any control method. Methods based on reinforcement learning offer an appealing choice for such settings, as they can enable robots to learn to delicately balance contact forces and dexterously reposition objects without strong modeling assumptions. However, running reinforcement learning on real-world dexterous manipulation systems often requires significant manual engineering. This negates the benefits of autonomous data collection and ease of use that reinforcement learning should in principle provide. In this paper, we describe a system for vision-based dexterous manipulation that provides a "programming-free" approach for users to define new tasks and enable robots with complex multi-fingered hands to learn to perform them through interaction. The core principle underlying our system is that, in a vision-based setting, users should be able to provide high-level intermediate supervision that circumvents challenges in teleoperation or kinesthetic teaching which allow a robot to not only learn a task efficiently but also to autonomously practice. Our system includes a framework for users to define a final task and intermediate sub-tasks with image examples, a reinforcement learning procedure that learns the task autonomously without interventions, and experimental results with a four-finger robotic hand learning multi-stage object manipulation tasks directly in the real world, without simulation, manual modeling, or reward engineering.

现实的操纵任务要求机器人与具有长时间运动动作序列的环境相互作用。尽管最近出现了深厚的强化学习方法，这是自动化操作行为的有希望的范式，但由于勘探负担，它们通常在长途任务中缺乏。这项工作介绍了操纵原始增强的强化学习（Maple），这是一个学习框架，可通过预定的行为原始库来增强标准强化学习算法。这些行为原始素是专门实现操纵目标（例如抓住和推动）的强大功能模块。为了使用这些异质原始素，我们制定了涉及原语的层次结构策略，并使用输入参数实例化执行。我们证明，枫树的表现优于基线方法，通过一系列模拟的操纵任务的大幅度。我们还量化了学习行为的组成结构，并突出了我们方法将策略转移到新任务变体和物理硬件的能力。视频和代码可从https://ut-aut-autin-rpl.github.io/maple获得

我们调查视觉跨实施的模仿设置，其中代理商学习来自其他代理的视频（例如人类）的策略，示范相同的任务，但在其实施例中具有缺点差异 - 形状，动作，终效应器动态等。在这项工作中，我们证明可以从对这些差异强大的跨实施例证视频自动发现和学习基于视觉的奖励功能。具体而言，我们介绍了一种用于跨实施的跨实施的自我监督方法（XIRL），它利用时间周期 - 一致性约束来学习深度视觉嵌入，从而从多个专家代理的示范的脱机视频中捕获任务进度，每个都执行相同的任务不同的原因是实施例差异。在我们的工作之前，从自我监督嵌入产生奖励通常需要与参考轨迹对齐，这可能难以根据STARK实施例的差异来获取。我们凭经验显示，如果嵌入式了解任务进度，则只需在学习的嵌入空间中占据当前状态和目标状态之间的负距离是有用的，作为培训与加强学习的培训政策的奖励。我们发现我们的学习奖励功能不仅适用于在训练期间看到的实施例，而且还概括为完全新的实施例。此外，在将现实世界的人类示范转移到模拟机器人时，我们发现XIRL比当前最佳方法更具样本。 https://x-irl.github.io提供定性结果，代码和数据集

我们研究了复杂几何物体的机器人堆叠问题。我们提出了一个挑战和多样化的这些物体，这些物体被精心设计，以便要求超出简单的“拾取”解决方案之外的策略。我们的方法是加强学习（RL）方法与基于视觉的互动政策蒸馏和模拟到现实转移相结合。我们的学习政策可以有效地处理现实世界中的多个对象组合，并展示各种各样的堆叠技能。在一个大型的实验研究中，我们调查在模拟中学习这种基于视觉的基于视觉的代理的选择，以及对真实机器人的最佳转移产生了什么影响。然后，我们利用这些策略收集的数据并通过离线RL改善它们。我们工作的视频和博客文章作为补充材料提供。

在本文中，我们研究了可以从原始图像中学习低级技能的曲目的问题，这些曲目可以测序以完成长效的视觉运动任务。强化学习（RL）是一种自主获取短疗法技能的有前途的方法。但是，RL算法的重点很大程度上是这些个人技能的成功，而不是学习和扎根大量的技能曲目，这些技能可以对这些技能进行测序，这些技能可以对完成扩展的多阶段任务进行测序。后者需要稳健性和持久性，因为技能的错误会随着时间的流逝而复杂，并且可能要求机器人在其曲目中具有许多原始技能，而不仅仅是一个。为此，我们介绍了Ember，Ember是一种基于模型的RL方法，用于学习原始技能，适合完成长途视觉运动任务。 Ember使用学识渊博的模型，评论家和成功分类器学习和计划，成功分类器既可以作为RL的奖励功能，又是一种基础机制，可连续检测机器人在失败或扰动下是否应重试技能。此外，学到的模型是任务不合时宜的，并使用来自所有技能的数据进行了培训，从而使机器人能够有效地学习许多不同的原语。这些视觉运动原始技能及其相关的前后条件可以直接与现成的符号计划者结合在一起，以完成长途任务。在Franka Emika机器人部门上，我们发现Ember使机器人能够以85％的成功率完成三个长马视觉运动任务，例如组织办公桌，文件柜和抽屉，需要排序多达12个技能，这些技能最多需要12个技能，涉及14个独特的学识渊博，并要求对新物体进行概括。

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques. * Equal contribution. Order was determined by coin flip.

第三人称视频的逆增强学习（IRL）研究表明，令人鼓舞的结果是消除了对机器人任务的手动奖励设计的需求。但是，大多数先前的作品仍然受到相对受限域视频领域的培训的限制。在本文中，我们认为第三人称IRL的真正潜力在于增加视频的多样性以更好地扩展。为了从不同的视频中学习奖励功能，我们建议在视频上执行图形抽象，然后在图表空间中进行时间匹配，以衡量任务进度。我们的见解是，可以通过形成图形的实体交互来描述任务，并且该图抽象可以帮助删除无关紧要的信息，例如纹理，从而产生更强大的奖励功能。我们评估了我们的方法，即Graphirl，关于X魔术中的跨体制学习，并从人类的示范中学习进行真实机器人操纵。我们对以前的方法表现出对各种视频演示的鲁棒性的显着改善，甚至比真正的机器人推动任务上的手动奖励设计获得了更好的结果。视频可从https://sateeshkumar21.github.io/graphirl获得。

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.

我们介绍了栖息地2.0（H2.0），这是一个模拟平台，用于培训交互式3D环境和复杂物理的场景中的虚拟机器人。我们为体现的AI堆栈 - 数据，仿真和基准任务做出了全面的贡献。具体来说，我们提出：（i）复制：一个由艺术家的，带注释的，可重新配置的3D公寓（匹配真实空间）与铰接对象（例如可以打开/关闭的橱柜和抽屉）； （ii）H2.0：一个高性能物理学的3D模拟器，其速度超过8-GPU节点上的每秒25,000个模拟步骤（实时850x实时），代表先前工作的100倍加速；和（iii）家庭助理基准（HAB）：一套辅助机器人（整理房屋，准备杂货，设置餐桌）的一套常见任务，以测试一系列移动操作功能。这些大规模的工程贡献使我们能够系统地比较长期结构化任务中的大规模加固学习（RL）和经典的感官平面操作（SPA）管道，并重点是对新对象，容器和布局的概括。 。我们发现（1）与层次结构相比，（1）平面RL政策在HAB上挣扎； （2）具有独立技能的层次结构遭受“交接问题”的困扰，（3）水疗管道比RL政策更脆。

我们研究了从机器人交互的大型离线数据集学习一系列基于视觉的操纵任务的问题。为了实现这一目标，人类需要简单有效地将任务指定给机器人。目标图像是一种流行的任务规范形式，因为它们已经在机器人的观察空间接地。然而，目标图像也有许多缺点：它们对人类提供的不方便，它们可以通过提供导致稀疏奖励信号的所需行为，或者在非目标达到任务的情况下指定任务信息。自然语言为任务规范提供了一种方便而灵活的替代方案，而是随着机器人观察空间的接地语言挑战。为了可扩展地学习此基础，我们建议利用具有人群源语言标签的离线机器人数据集（包括高度最佳，自主收集的数据）。使用此数据，我们学习一个简单的分类器，该分类器预测状态的更改是否完成了语言指令。这提供了一种语言调节奖励函数，然后可以用于离线多任务RL。在我们的实验中，我们发现，在语言条件的操作任务中，我们的方法优于目标 - 图像规格和语言条件仿制技术超过25％，并且能够从自然语言中执行Visuomotor任务，例如“打开右抽屉“和”移动订书机“，在弗兰卡·埃米卡熊猫机器人上。

通过各种物体学习各种灵巧的操纵行为仍然是一个开放的巨大挑战。虽然政策学习方法为攻击此问题提供了强大的途径，但它们需要大量的每任务工程和算法调整。本文试图通过开发预先保证的灵巧操纵（PGDM）框架来逃避这些约束，从而在没有任何特定于任务的推理或超级参数调整的情况下会产生各种灵活的操纵行为。 PGD​​M的核心是一种众所周知的机器人构建体，即pre grasps（即用于对象相互作用的手工置序）。这种简单的原始性足以诱导有效的探索策略来获取复杂的灵巧操纵行为。为了详尽地验证这些主张，我们介绍了TCDM，这是根据多个对象和灵巧的操纵器定义的50个不同操纵任务的基准。 TCDM的任务是使用来自各种来源（动画师，人类行为等）的示例对象轨迹自动定义的，而无需任何执行任务工程和/或监督。我们的实验验证了PGDM的探索策略，该策略是由令人惊讶的简单成分（单个预抓姿势）引起的，与先前方法的性能相匹配，这些方法需要昂贵的每任意功能/奖励工程，专家监督和高参数调整。有关动画可视化，训练有素的策略和项目代码，请参阅：https：//pregrasps.github.io/

Reinforcement learning holds the promise of enabling autonomous robots to learn large repertoires of behavioral skills with minimal human intervention. However, robotic applications of reinforcement learning often compromise the autonomy of the learning process in favor of achieving training times that are practical for real physical systems. This typically involves introducing hand-engineered policy representations and human-supplied demonstrations. Deep reinforcement learning alleviates this limitation by training general-purpose neural network policies, but applications of direct deep reinforcement learning algorithms have so far been restricted to simulated settings and relatively simple tasks, due to their apparent high sample complexity. In this paper, we demonstrate that a recent deep reinforcement learning algorithm based on offpolicy training of deep Q-functions can scale to complex 3D manipulation tasks and can learn deep neural network policies efficiently enough to train on real physical robots. We demonstrate that the training times can be further reduced by parallelizing the algorithm across multiple robots which pool their policy updates asynchronously. Our experimental evaluation shows that our method can learn a variety of 3D manipulation skills in simulation and a complex door opening skill on real robots without any prior demonstrations or manually designed representations.

机器人操纵可以配制成诱导一系列空间位移：其中移动的空间可以包括物体，物体的一部分或末端执行器。在这项工作中，我们提出了一个简单的模型架构，它重新排列了深度功能，以从视觉输入推断出可视输入的空间位移 - 这可以参数化机器人操作。它没有对象的假设（例如规范姿势，模型或关键点），它利用空间对称性，并且比我们学习基于视觉的操纵任务的基准替代方案更高的样本效率，并且依赖于堆叠的金字塔用看不见的物体组装套件;从操纵可变形的绳索，以将堆积的小物体推动，具有闭环反馈。我们的方法可以表示复杂的多模态策略分布，并推广到多步顺序任务，以及6dof拾取器。 10个模拟任务的实验表明，它比各种端到端基线更快地学习并概括，包括使用地面真实对象姿势的政策。我们在现实世界中使用硬件验证我们的方法。实验视频和代码可在https://transporternets.github.io获得

加强学习是机器人获得从经验中获得技能的强大框架，但通常需要大量的在线数据收集。结果，很难收集机器人概括所需的足够多样化的经验。另一方面，人类的视频是一种易于获得的广泛和有趣的经历来源。在本文中，我们考虑问题：我们可以直接进行强化学习，以便在人类收集的经验吗？这种问题特别困难，因为这种视频没有用动作注释并相对于机器人的实施例展示了大量的视觉畴偏移。为了解决这些挑战，我们提出了一种与视频（RLV）的强化学习框架。 RLV使用人类收集的经验结合机器人收集的数据来了解策略和价值函数。在我们的实验中，我们发现RLV能够利用此类视频来学习基于视觉的愿景技能，以不到一半的样本作为从头开始学习的RL方法。

Adversarial imitation learning (AIL) has become a popular alternative to supervised imitation learning that reduces the distribution shift suffered by the latter. However, AIL requires effective exploration during an online reinforcement learning phase. In this work, we show that the standard, naive approach to exploration can manifest as a suboptimal local maximum if a policy learned with AIL sufficiently matches the expert distribution without fully learning the desired task. This can be particularly catastrophic for manipulation tasks, where the difference between an expert and a non-expert state-action pair is often subtle. We present Learning from Guided Play (LfGP), a framework in which we leverage expert demonstrations of multiple exploratory, auxiliary tasks in addition to a main task. The addition of these auxiliary tasks forces the agent to explore states and actions that standard AIL may learn to ignore. Additionally, this particular formulation allows for the reusability of expert data between main tasks. Our experimental results in a challenging multitask robotic manipulation domain indicate that LfGP significantly outperforms both AIL and behaviour cloning, while also being more expert sample efficient than these baselines. To explain this performance gap, we provide further analysis of a toy problem that highlights the coupling between a local maximum and poor exploration, and also visualize the differences between the learned models from AIL and LfGP.

长摩根和包括一系列隐性子任务的日常任务仍然在离线机器人控制中构成了重大挑战。尽管许多先前的方法旨在通过模仿和离线增强学习的变体来解决这种设置，但学习的行为通常是狭窄的，并且经常努力实现可配置的长匹配目标。由于这两个范式都具有互补的优势和劣势，因此我们提出了一种新型的层次结构方法，结合了两种方法的优势，以从高维相机观察中学习任务无关的长胜压策略。具体而言，我们结合了一项低级政策，该政策通过模仿学习和从离线强化学习中学到的高级政策学习潜在的技能，以促进潜在的行为先验。各种模拟和真实机器人控制任务的实验表明，我们的配方使以前看不见的技能组合能够通过“缝制”潜在技能通过目标链条，并在绩效上提高绩效的顺序，从而实现潜在的目标。艺术基线。我们甚至还学习了一个多任务视觉运动策略，用于现实世界中25个不同的操纵任务，这既优于模仿学习和离线强化学习技术。

3D视觉输入的对象操纵对构建可宽大的感知和政策模型构成了许多挑战。然而，现有基准中的3D资产主要缺乏与拓扑和几何中的现实世界内复杂的3D形状的多样性。在这里，我们提出了Sapien操纵技能基准（Manishill）以在全物理模拟器中的各种物体上基准操纵技巧。 Manishill中的3D资产包括大型课堂内拓扑和几何变化。仔细选择任务以涵盖不同类型的操纵挑战。 3D Vision的最新进展也使我们认为我们应该定制基准，以便挑战旨在邀请研究3D深入学习的研究人员。为此，我们模拟了一个移动的全景摄像头，返回以自我为中心的点云或RGB-D图像。此外，我们希望Manishill是为一个对操纵研究感兴趣的广泛研究人员提供服务。除了支持从互动的政策学习，我们还支持学习 - 从演示（LFD）方法，通过提供大量的高质量演示（〜36,000个成功的轨迹，总共〜1.5米点云/ RGB-D帧）。我们提供使用3D深度学习和LFD算法的基线。我们的基准（模拟器，环境，SDK和基线）的所有代码都是开放的，并且将基于基准举办跨学科研究人员面临的挑战。

技能链是一种希望通过顺序结合以前学习的技能来合成复杂行为的有希望的方法。然而，当政策遭遇在培训期间从未见过的起始状态时，幼稚的技能组成失败。对于成功的技能链接，先前的方法试图扩大策略的起始状态分布。然而，这些方法需要覆盖更大的状态分布，因为更多的策略进行测序，因此仅限于短的技能序列。在本文中，我们通过在对抗学习框架中规范终端状态分布来提出连锁多个初始状态分布的多重政策。我们评估了我们对家具组件的两个复杂的长地平衡任务的方法。我们的结果表明，我们的方法建立了第一种无模型加强学习算法来解决这些任务;而先前的技能链接方法失败。代码和视频可在https://clvrai.com/skill-chaining上获得

我们通过在野外观看人类来解决学习问题。尽管在现实世界中学习的传统方法和强化学习对于学习是有希望的，但它们要么是效率低下的样本，要么被限制在实验室环境中。同时，处理被动的，非结构化的人类数据已经取得了很大的成功。我们建议通过有效的一声机器人学习算法解决此问题，该算法围绕第三人称的角度学习。我们称我们的方法旋转：野生人类模仿机器人学习。旋转对人类演示者的意图提取先前，并使用它来初始化代理商的策略。我们介绍了一种有效的现实世界政策学习方案，该方案可以使用交互作用进行改进。我们的主要贡献是一种简单的基于抽样的策略优化方法，这是一种对齐人和机器人视频的新型目标功能，以及一种提高样本效率的探索方法。我们在现实世界中展示了单一的概括和成功，其中包括野外的20个不同的操纵任务。视频并在https://human2robot.github.io上进行交谈