在几次拍摄的仿制学习（FSIL）中，使用行为克隆（BC）来解决少数专家演示的看不见的任务成为一个流行的研究方向。以下功能在机器人应用中至关重要：（1）在包含多个阶段的复合任务中行为。 （2）从少量变体和未对准示范中检索知识。 （3）从不同的专家学习。以前没有工作可以同时达到这些能力。在这项工作中，我们在上述设置的联盟下进行FSIL问题，并介绍一个小说阶段意识注意网络（扫描），以同时检索来自少数示范的知识。扫描使用注意模块识别长度变体演示中的每个阶段。此外，它是根据演示条件的政策设计，了解专家和代理人之间的关系。实验结果表明，扫描可以从不同的专家中学习，而不进行微调和优于复杂的复合任务的基线，可视化可视化。

我们调查视觉跨实施的模仿设置，其中代理商学习来自其他代理的视频（例如人类）的策略，示范相同的任务，但在其实施例中具有缺点差异 - 形状，动作，终效应器动态等。在这项工作中，我们证明可以从对这些差异强大的跨实施例证视频自动发现和学习基于视觉的奖励功能。具体而言，我们介绍了一种用于跨实施的跨实施的自我监督方法（XIRL），它利用时间周期 - 一致性约束来学习深度视觉嵌入，从而从多个专家代理的示范的脱机视频中捕获任务进度，每个都执行相同的任务不同的原因是实施例差异。在我们的工作之前，从自我监督嵌入产生奖励通常需要与参考轨迹对齐，这可能难以根据STARK实施例的差异来获取。我们凭经验显示，如果嵌入式了解任务进度，则只需在学习的嵌入空间中占据当前状态和目标状态之间的负距离是有用的，作为培训与加强学习的培训政策的奖励。我们发现我们的学习奖励功能不仅适用于在训练期间看到的实施例，而且还概括为完全新的实施例。此外，在将现实世界的人类示范转移到模拟机器人时，我们发现XIRL比当前最佳方法更具样本。 https://x-irl.github.io提供定性结果，代码和数据集

Transformer, originally devised for natural language processing, has also attested significant success in computer vision. Thanks to its super expressive power, researchers are investigating ways to deploy transformers to reinforcement learning (RL) and the transformer-based models have manifested their potential in representative RL benchmarks. In this paper, we collect and dissect recent advances on transforming RL by transformer (transformer-based RL or TRL), in order to explore its development trajectory and future trend. We group existing developments in two categories: architecture enhancement and trajectory optimization, and examine the main applications of TRL in robotic manipulation, text-based games, navigation and autonomous driving. For architecture enhancement, these methods consider how to apply the powerful transformer structure to RL problems under the traditional RL framework, which model agents and environments much more precisely than deep RL methods, but they are still limited by the inherent defects of traditional RL algorithms, such as bootstrapping and "deadly triad". For trajectory optimization, these methods treat RL problems as sequence modeling and train a joint state-action model over entire trajectories under the behavior cloning framework, which are able to extract policies from static datasets and fully use the long-sequence modeling capability of the transformer. Given these advancements, extensions and challenges in TRL are reviewed and proposals about future direction are discussed. We hope that this survey can provide a detailed introduction to TRL and motivate future research in this rapidly developing field.

有效的探索仍然是一个重要的挑战，这可以防止为许多物理系统部署加强学习。对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。挑战在稀疏奖励环境中强调，其中设计密集奖励设计所需的低级状态信息不可用。对手仿制学习（AIL）可以通过利用专家生成的最佳行为和基本上提供替代奖励信息的替代来部分克服这一屏障。不幸的是，专家示范的可用性并不一定能够改善代理商有效探索的能力，并且正如我们经常展现所在，可以导致效率低或停滞不前。我们从引导播放（LFGP）中展示了一个框架，其中我们利用了专家演示，除了主要任务，多个辅助任务。随后，使用修改的AIL过程来使用分层模型来学习每个任务奖励和策略，其中通过组合不同任务的调度程序强制对所有任务的探索。这提供了许多好处：具有挑战瓶颈转换的主要任务的学习效率得到改善，专家数据在任务之间可重复使用，并且通过重用学习辅助任务模型的传输学习成为可能。我们在一个具有挑战性的多任务机器人操纵域中的实验结果表明我们的方法有利地对监督模仿学习和最先进的AIL方法进行比较。代码可在https://github.com/utiasstars/lfgp获得。

Poor sample efficiency continues to be the primary challenge for deployment of deep Reinforcement Learning (RL) algorithms for real-world applications, and in particular for visuo-motor control. Model-based RL has the potential to be highly sample efficient by concurrently learning a world model and using synthetic rollouts for planning and policy improvement. However, in practice, sample-efficient learning with model-based RL is bottlenecked by the exploration challenge. In this work, we find that leveraging just a handful of demonstrations can dramatically improve the sample-efficiency of model-based RL. Simply appending demonstrations to the interaction dataset, however, does not suffice. We identify key ingredients for leveraging demonstrations in model learning -- policy pretraining, targeted exploration, and oversampling of demonstration data -- which forms the three phases of our model-based RL framework. We empirically study three complex visuo-motor control domains and find that our method is 150%-250% more successful in completing sparse reward tasks compared to prior approaches in the low data regime (100K interaction steps, 5 demonstrations). Code and videos are available at: https://nicklashansen.github.io/modemrl

长摩根和包括一系列隐性子任务的日常任务仍然在离线机器人控制中构成了重大挑战。尽管许多先前的方法旨在通过模仿和离线增强学习的变体来解决这种设置，但学习的行为通常是狭窄的，并且经常努力实现可配置的长匹配目标。由于这两个范式都具有互补的优势和劣势，因此我们提出了一种新型的层次结构方法，结合了两种方法的优势，以从高维相机观察中学习任务无关的长胜压策略。具体而言，我们结合了一项低级政策，该政策通过模仿学习和从离线强化学习中学到的高级政策学习潜在的技能，以促进潜在的行为先验。各种模拟和真实机器人控制任务的实验表明，我们的配方使以前看不见的技能组合能够通过“缝制”潜在技能通过目标链条，并在绩效上提高绩效的顺序，从而实现潜在的目标。艺术基线。我们甚至还学习了一个多任务视觉运动策略，用于现实世界中25个不同的操纵任务，这既优于模仿学习和离线强化学习技术。

Exploration in environments with sparse rewards has been a persistent problem in reinforcement learning (RL). Many tasks are natural to specify with a sparse reward, and manually shaping a reward function can result in suboptimal performance. However, finding a non-zero reward is exponentially more difficult with increasing task horizon or action dimensionality. This puts many real-world tasks out of practical reach of RL methods. In this work, we use demonstrations to overcome the exploration problem and successfully learn to perform long-horizon, multi-step robotics tasks with continuous control such as stacking blocks with a robot arm. Our method, which builds on top of Deep Deterministic Policy Gradients and Hindsight Experience Replay, provides an order of magnitude of speedup over RL on simulated robotics tasks. It is simple to implement and makes only the additional assumption that we can collect a small set of demonstrations. Furthermore, our method is able to solve tasks not solvable by either RL or behavior cloning alone, and often ends up outperforming the demonstrator policy.

Adversarial imitation learning (AIL) has become a popular alternative to supervised imitation learning that reduces the distribution shift suffered by the latter. However, AIL requires effective exploration during an online reinforcement learning phase. In this work, we show that the standard, naive approach to exploration can manifest as a suboptimal local maximum if a policy learned with AIL sufficiently matches the expert distribution without fully learning the desired task. This can be particularly catastrophic for manipulation tasks, where the difference between an expert and a non-expert state-action pair is often subtle. We present Learning from Guided Play (LfGP), a framework in which we leverage expert demonstrations of multiple exploratory, auxiliary tasks in addition to a main task. The addition of these auxiliary tasks forces the agent to explore states and actions that standard AIL may learn to ignore. Additionally, this particular formulation allows for the reusability of expert data between main tasks. Our experimental results in a challenging multitask robotic manipulation domain indicate that LfGP significantly outperforms both AIL and behaviour cloning, while also being more expert sample efficient than these baselines. To explain this performance gap, we provide further analysis of a toy problem that highlights the coupling between a local maximum and poor exploration, and also visualize the differences between the learned models from AIL and LfGP.

Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.

3D视觉输入的对象操纵对构建可宽大的感知和政策模型构成了许多挑战。然而，现有基准中的3D资产主要缺乏与拓扑和几何中的现实世界内复杂的3D形状的多样性。在这里，我们提出了Sapien操纵技能基准（Manishill）以在全物理模拟器中的各种物体上基准操纵技巧。 Manishill中的3D资产包括大型课堂内拓扑和几何变化。仔细选择任务以涵盖不同类型的操纵挑战。 3D Vision的最新进展也使我们认为我们应该定制基准，以便挑战旨在邀请研究3D深入学习的研究人员。为此，我们模拟了一个移动的全景摄像头，返回以自我为中心的点云或RGB-D图像。此外，我们希望Manishill是为一个对操纵研究感兴趣的广泛研究人员提供服务。除了支持从互动的政策学习，我们还支持学习 - 从演示（LFD）方法，通过提供大量的高质量演示（〜36,000个成功的轨迹，总共〜1.5米点云/ RGB-D帧）。我们提供使用3D深度学习和LFD算法的基线。我们的基准（模拟器，环境，SDK和基线）的所有代码都是开放的，并且将基于基准举办跨学科研究人员面临的挑战。

每个房屋都是不同的，每个人都喜欢以特殊方式完成的事情。因此，未来的家庭机器人需要既需要理由就日常任务的顺序性质，又要推广到用户的偏好。为此，我们提出了一个变压器任务计划者（TTP），该计划通过利用基于对象属性的表示来从演示中学习高级动作。TTP可以在多个偏好上进行预训练，并显示了使用单个演示作为模拟洗碗机加载任务中的提示的概括性的概括。此外，我们使用TTP与Franka Panda机器人臂一起展示了现实世界中的重排，并使用单一的人类示范引起了这种情况。

为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。

元加强学习（META-RL）是一种方法，即从解决各种任务中获得的经验被蒸馏成元政策。当仅适应一个小（或仅一个）数量的步骤时，元派利赛能够在新的相关任务上近距离执行。但是，采用这种方法来解决现实世界中的问题的主要挑战是，它们通常与稀疏的奖励功能相关联，这些功能仅表示任务是部分或完全完成的。我们考虑到某些数据可能由亚最佳代理生成的情况，可用于每个任务。然后，我们使用示范（EMRLD）开发了一类名为“增强元RL”的算法，即使在训练过程中获得了次优的指导，也可以利用此信息。我们展示了EMRLD如何共同利用RL和在离线数据上进行监督学习，以生成一个显示单调性能改进的元数据。我们还开发了一个称为EMRLD-WS的温暖开始的变体，该变体对于亚最佳演示数据特别有效。最后，我们表明，在包括移动机器人在内的各种稀疏奖励环境中，我们的EMRLD算法显着优于现有方法。

将监督学习的力量（SL）用于更有效的强化学习（RL）方法，这是最近的趋势。我们通过交替在线RL和离线SL来解决稀疏奖励目标条件问题，提出一种新颖的阶段方法。在在线阶段，我们在离线阶段进行RL培训并收集推出数据，我们对数据集的这些成功轨迹执行SL。为了进一步提高样本效率，我们在在线阶段采用其他技术，包括减少任务以产生更可行的轨迹和基于价值的基于价值的内在奖励，以减轻稀疏的回报问题。我们称此总体算法为阶段性的自我模拟还原（Pair）。对稀疏的奖励目标机器人控制问题（包括具有挑战性的堆叠任务），对基本上优于非强调RL和Phasic SL基线。 Pair是第一个学习堆叠6个立方体的RL方法，只有0/1成功从头开始奖励。

第三人称视频的逆增强学习（IRL）研究表明，令人鼓舞的结果是消除了对机器人任务的手动奖励设计的需求。但是，大多数先前的作品仍然受到相对受限域视频领域的培训的限制。在本文中，我们认为第三人称IRL的真正潜力在于增加视频的多样性以更好地扩展。为了从不同的视频中学习奖励功能，我们建议在视频上执行图形抽象，然后在图表空间中进行时间匹配，以衡量任务进度。我们的见解是，可以通过形成图形的实体交互来描述任务，并且该图抽象可以帮助删除无关紧要的信息，例如纹理，从而产生更强大的奖励功能。我们评估了我们的方法，即Graphirl，关于X魔术中的跨体制学习，并从人类的示范中学习进行真实机器人操纵。我们对以前的方法表现出对各种视频演示的鲁棒性的显着改善，甚至比真正的机器人推动任务上的手动奖励设计获得了更好的结果。视频可从https://sateeshkumar21.github.io/graphirl获得。

在移动操作（MM）中，机器人可以在内部导航并与其环境进行交互，因此能够完成比仅能够导航或操纵的机器人的更多任务。在这项工作中，我们探讨如何应用模仿学习（IL）来学习MM任务的连续Visuo-Motor策略。许多事先工作表明，IL可以为操作或导航域训练Visuo-Motor策略，但很少有效应用IL到MM域。这样做是挑战的两个原因：在数据方面，当前的接口使得收集高质量的人类示范困难，在学习方面，有限数据培训的政策可能会在部署时遭受协变速转变。为了解决这些问题，我们首先提出了移动操作Roboturk（Momart），这是一种新颖的遥控框架，允许同时导航和操纵移动操纵器，并在现实的模拟厨房设置中收集一类大规模的大规模数据集。然后，我们提出了一个学习错误检测系统来解决通过检测代理处于潜在故障状态时的协变量转变。我们从该数据中培训表演者的IL政策和错误探测器，在专家数据培训时，在多个多级任务中达到超过45％的任务成功率和85％的错误检测成功率。 CodeBase，DataSets，Visualization，以及更多可用的https://sites.google.com/view/il-for-mm/home。

虽然现代政策优化方法可以从感官数据进行复杂的操作，但他们对延长时间的地平线和多个子目标的问题挣扎。另一方面，任务和运动计划（夯实）方法规模缩放到长视野，但它们是计算昂贵的并且需要精确跟踪世界状态。我们提出了一种借鉴两种方法的方法：我们训练一项政策来模仿夯实求解器的输出。这产生了一种前馈策略，可以从感官数据完成多步任务。首先，我们构建一个异步分布式夯实求解器，可以快速产生足够的监督数据以进行模仿学习。然后，我们提出了一种分层策略架构，让我们使用部分训练的控制策略来加速夯实求解器。在具有7-自由度的机器人操纵任务中，部分训练有素的策略将规划所需的时间减少到2.6倍。在这些任务中，我们可以学习一个解决方案4对象拣选任务88％的策略从对象姿态观测和解决机器人9目标基准79％从RGB图像的时间（取平均值）跨越9个不同的任务）。

虽然视觉模仿学习提供了从视觉演示中学习最有效的方法之一，但从它们中概括需要数百个不同的演示，任务特定的前瞻或大型难以列车的参数模型。此类复杂性出现的一个原因是因为标准的视觉模仿框架尝试一次解决两个耦合问题：从不同的视觉数据中学习简洁但良好的表示，同时学习将显示的动作与这样的表示相关联。这种联合学习导致这两个问题之间的相互依存，这通常会导致需要大量的学习演示。为了解决这一挑战，我们建议与对视觉模仿的行为学习的表现脱钩。首先，我们使用标准监督和自我监督的学习方法从离线数据中学习视觉表示编码器。培训表示，我们使用非参数局部加权回归来预测动作。我们通过实验表明，与目视模仿的先前工作相比，这种简单的去耦可提高离线演示数据集和实际机器人门开口的视觉模仿模型的性能。我们所有生成的数据，代码和机器人视频都在https://jyopari.github.io/vinn/处公开提供。

在人类环境中，预计在简单的自然语言指导下，机器人将完成各种操纵任务。然而，机器人的操纵极具挑战性，因为它需要精细颗粒的运动控制，长期记忆以及对以前看不见的任务和环境的概括。为了应对这些挑战，我们提出了一种基于统一的变压器方法，该方法考虑了多个输入。特别是，我们的变压器体系结构集成了（i）自然语言指示和（ii）多视图场景观察，而（iii）跟踪观察和动作的完整历史。这种方法使历史和指示之间的学习依赖性可以使用多个视图提高操纵精度。我们评估我们的方法在具有挑战性的RLBench基准和现实世界机器人方面。值得注意的是，我们的方法扩展到74个不同的RLBench任务，并超越了最新的现状。我们还解决了指导条件的任务，并证明了对以前看不见的变化的出色概括。

我们研究了从机器人交互的大型离线数据集学习一系列基于视觉的操纵任务的问题。为了实现这一目标，人类需要简单有效地将任务指定给机器人。目标图像是一种流行的任务规范形式，因为它们已经在机器人的观察空间接地。然而，目标图像也有许多缺点：它们对人类提供的不方便，它们可以通过提供导致稀疏奖励信号的所需行为，或者在非目标达到任务的情况下指定任务信息。自然语言为任务规范提供了一种方便而灵活的替代方案，而是随着机器人观察空间的接地语言挑战。为了可扩展地学习此基础，我们建议利用具有人群源语言标签的离线机器人数据集（包括高度最佳，自主收集的数据）。使用此数据，我们学习一个简单的分类器，该分类器预测状态的更改是否完成了语言指令。这提供了一种语言调节奖励函数，然后可以用于离线多任务RL。在我们的实验中，我们发现，在语言条件的操作任务中，我们的方法优于目标 - 图像规格和语言条件仿制技术超过25％，并且能够从自然语言中执行Visuomotor任务，例如“打开右抽屉“和”移动订书机“，在弗兰卡·埃米卡熊猫机器人上。