最近，目睹了利用专家国家在模仿学习（IL）中的各种成功应用。然而，来自视觉输入（ILFVI）的另一个IL设定 - IL，它通过利用在线视觉资源而具有更大的承诺，它具有低数据效率和良好的性能，从政策学习方式和高度产生了差 - 宣称视觉输入。我们提出了由禁止策略学习方式，数据增强和编码器技术组成的OPIFVI（视觉输入的偏离策略模仿），分别分别解决所提到的挑战。更具体地，为了提高数据效率，OPIFVI以脱策方式进行IL，可以多次使用采样数据。此外，我们提高了opifvi与光谱归一化的稳定性，以减轻脱助政策培训的副作用。我们认为代理商的ILFVI表现不佳的核心因素可能不会从视觉输入中提取有意义的功能。因此，Opifvi采用计算机愿望的数据增强，以帮助列车编码器，可以更好地从视觉输入中提取功能。另外，对编码器的梯度背交量的特定结构旨在稳定编码器训练。最后，我们证明OPIFVI能够实现专家级性能和优于现有的基线，无论是通过使用Deepmind控制套件的广泛实验，无论视觉演示还是视觉观测。

需要大量人类努力和迭代的奖励功能规范仍然是通过深入的强化学习来学习行为的主要障碍。相比之下，提供所需行为的视觉演示通常会提供一种更简单，更自然的教师的方式。我们考虑为代理提供了一个固定的视觉演示数据集，说明了如何执行任务，并且必须学习使用提供的演示和无监督的环境交互来解决任务。此设置提出了许多挑战，包括对视觉观察的表示，由于缺乏固定的奖励或学习信号而导致的，由于高维空间而引起的样本复杂性以及学习不稳定。为了解决这些挑战，我们开发了一种基于变异模型的对抗模仿学习（V-Mail）算法。基于模型的方法为表示学习，实现样本效率并通过实现派利学习来提高对抗性训练的稳定性提供了强烈的信号。通过涉及几种基于视觉的运动和操纵任务的实验，我们发现V-Mail以样本有效的方式学习了成功的视觉运动策略，与先前的工作相比，稳定性更高，并且还可以实现较高的渐近性能。我们进一步发现，通过传输学习模型，V-Mail可以从视觉演示中学习新任务，而无需任何其他环境交互。所有结果在内的所有结果都可以在\ url {https://sites.google.com/view/variational-mail}在线找到。

本文考虑了从专家演示中学习机器人运动和操纵任务。生成对抗性模仿学习（GAIL）训练一个区分专家与代理转换区分开的歧视者，进而使用歧视器输出定义的奖励来优化代理商的策略生成器。这种生成的对抗训练方法非常强大，但取决于歧视者和发电机培训之间的微妙平衡。在高维问题中，歧视训练可能很容易过度拟合或利用与任务 - 核定功能进行过渡分类的关联。这项工作的一个关键见解是，在合适的潜在任务空间中进行模仿学习使训练过程稳定，即使在挑战高维问题中也是如此。我们使用动作编码器模型来获得低维的潜在动作空间，并使用对抗性模仿学习（Lapal）训练潜在政策。可以从州行动对脱机来训练编码器模型，以获得任务无关的潜在动作表示或与歧视器和发电机培训同时在线获得，以获得任务意识到的潜在行动表示。我们证明了Lapal训练是稳定的，具有近乎单的性能的改进，并在大多数运动和操纵任务中实现了专家性能，而Gail基线收敛速度较慢，并且在高维环境中无法实现专家的表现。

Deep reinforcement learning (DRL) provides a new way to generate robot control policy. However, the process of training control policy requires lengthy exploration, resulting in a low sample efficiency of reinforcement learning (RL) in real-world tasks. Both imitation learning (IL) and learning from demonstrations (LfD) improve the training process by using expert demonstrations, but imperfect expert demonstrations can mislead policy improvement. Offline to Online reinforcement learning requires a lot of offline data to initialize the policy, and distribution shift can easily lead to performance degradation during online fine-tuning. To solve the above problems, we propose a learning from demonstrations method named A-SILfD, which treats expert demonstrations as the agent's successful experiences and uses experiences to constrain policy improvement. Furthermore, we prevent performance degradation due to large estimation errors in the Q-function by the ensemble Q-functions. Our experiments show that A-SILfD can significantly improve sample efficiency using a small number of different quality expert demonstrations. In four Mujoco continuous control tasks, A-SILfD can significantly outperform baseline methods after 150,000 steps of online training and is not misled by imperfect expert demonstrations during training.

我们提出了一种从演示方法（LFD）方法的新颖学习，即示范（DMFD）的可变形操作，以使用状态或图像作为输入（给定的专家演示）来求解可变形的操纵任务。我们的方法以三种不同的方式使用演示，并平衡在线探索环境和使用专家的指导之间进行权衡的权衡，以有效地探索高维空间。我们在一组一维绳索的一组代表性操纵任务上测试DMFD，并从软件套件中的一套二维布和2维布进行测试，每个任务都带有状态和图像观测。对于基于状态的任务，我们的方法超过基线性能高达12.9％，在基于图像的任务上最多超过33.44％，具有可比或更好的随机性。此外，我们创建了两个具有挑战性的环境，用于使用基于图像的观测值折叠2D布，并为其设定性能基准。与仿真相比，我们在现实世界执行过程中归一化性能损失最小的真实机器人（约为6％），我们将DMFD部署为最小。源代码在github.com/uscresl/dmfd上

如何在演示相对较大时更加普遍地进行模仿学习一直是强化学习（RL）的持续存在问题。糟糕的示威活动导致狭窄和偏见的日期分布，非马洛维亚人类专家演示使代理商难以学习，而过度依赖子最优轨迹可以使代理商努力提高其性能。为了解决这些问题，我们提出了一种名为TD3FG的新算法，可以平稳地过渡从专家到学习从经验中学习。我们的算法在Mujoco环境中实现了有限的有限和次优的演示。我们使用行为克隆来将网络作为参考动作发生器训练，并在丢失函数和勘探噪声方面使用它。这种创新可以帮助代理商从示威活动中提取先验知识，同时降低了糟糕的马尔科维亚特性的公正的不利影响。与BC +微调和DDPGFD方法相比，它具有更好的性能，特别是当示范相对有限时。我们调用我们的方法TD3FG意味着来自发电机的TD3。

模仿学习在有效地学习政策方面对复杂的决策问题有着巨大的希望。当前的最新算法经常使用逆增强学习（IRL），在给定一组专家演示的情况下，代理会替代奖励功能和相关的最佳策略。但是，这种IRL方法通常需要在复杂控制问题上进行实质性的在线互动。在这项工作中，我们提出了正规化的最佳运输（ROT），这是一种新的模仿学习算法，基于最佳基于最佳运输轨迹匹配的最新进展。我们的主要技术见解是，即使只有少量演示，即使只有少量演示，也可以自适应地将轨迹匹配的奖励与行为克隆相结合。我们对横跨DeepMind Control Suite，OpenAI Robotics和Meta-World基准的20个视觉控制任务进行的实验表明，与先前最新的方法相比，平均仿真达到了90％的专家绩效的速度，达到了90％的专家性能。 。在现实世界的机器人操作中，只有一次演示和一个小时的在线培训，ROT在14个任务中的平均成功率为90.1％。

近年来，深度加固学习（DRL）已经成功地进入了复杂的决策应用，例如机器人，自动驾驶或视频游戏。违规算法往往比其策略对应物更具样本效率，并且可以从存储在重放缓冲区中存储的任何违规数据中受益。专家演示是此类数据的流行来源：代理人接触到成功的国家和行动，可以加速学习过程并提高性能。在过去，已经提出了多种想法来充分利用缓冲区中的演示，例如仅在演示或最小化额外的成本函数的预先估算。我们继续进行研究，以孤立地评估这些想法中的几个想法，以了解哪一个具有最大的影响。我们还根据给予示范和成功集中的奖励奖金，为稀疏奖励任务提供了一种新的方法。首先，我们向来自示威活动的过渡提供奖励奖金，以鼓励代理商符合所证明的行为。然后，在收集成功的剧集时，我们将其在将其添加到重播缓冲区之前与相同的奖金转换，鼓励代理也与其先前的成功相匹配。我们的实验的基本算法是流行的软演员 - 评论家（SAC），用于连续动作空间的最先进的脱核算法。我们的实验专注于操纵机器人，特别是在模拟中的机器人手臂的3D到达任务。我们表明，我们的方法Sacr2根据奖励重新标记提高了此任务的性能，即使在没有示范的情况下也是如此。

仅国家模仿学习的最新进展将模仿学习的适用性扩展到现实世界中的范围，从而减轻了观察专家行动的需求。但是，现有的解决方案只学会从数据中提取州对行动映射策略，而无需考虑专家如何计划到目标。这阻碍了利用示威游行并限制政策的灵活性的能力。在本文中，我们介绍了解耦政策优化（DEPO），该策略优化（DEPO）明确将策略脱离为高级状态计划者和逆动力学模型。借助嵌入式的脱钩策略梯度和生成对抗训练，DEPO可以将知识转移到不同的动作空间或状态过渡动态，并可以将规划师推广到无示威的状态区域。我们的深入实验分析表明，DEPO在学习最佳模仿性能的同时学习通用目标状态计划者的有效性。我们证明了DEPO通过预训练跨任务转移的吸引力，以及与各种技能共同培训的潜力。

近年来，深度加固学习（DRL）已经成功地进入了复杂的决策应用，例如机器人，自动驾驶或视频游戏。在寻找更多采样高效的算法中，有希望的方向是利用尽可能多的外部偏离策略数据。这种数据驱动方法的一个主题是从专家演示中学习。在过去，已经提出了多种想法来利用添加到重放缓冲区的示范，例如仅在演示中预先预订或最小化额外的成本函数。我们提出了一种新的方法，能够利用任何稀疏奖励环境中在线收集的演示和剧集，以任何违规算法在线。我们的方法基于奖励奖金，给出了示范和成功的剧集，鼓励专家模仿和自模仿。首先，我们向来自示威活动的过渡提供奖励奖金，以鼓励代理商符合所证明的行为。然后，在收集成功的剧集时，我们将其在将其添加到重播缓冲区之前与相同的奖金转换，鼓励代理也与其先前的成功相匹配。我们的实验专注于操纵机器人，特别是在模拟中有6个自由的机器人手臂的三个任务。我们表明，即使在没有示范的情况下，我们基于奖励重新标记的方法可以提高基础算法（SAC和DDPG）对这些任务的性能。此外，集成到我们的方法中的两种改进来自以前的作品，允许我们的方法优于所有基线。

模仿学习研究社区最近取得了重大进展，以使人工代理人仅凭视频演示模仿行为。然而，由于视频观察的高维质性质，针对此问题开发的当前最新方法表现出很高的样本复杂性。为了解决这个问题，我们在这里介绍了一种新的算法，称为使用状态观察者VGAIFO-SO从观察中获得的，称为视觉生成对抗性模仿。 Vgaifo-So以此为核心，试图使用一种新型的自我监管的状态观察者来解决样本效率低下，该观察者从高维图像中提供了较低维度的本体感受状态表示的估计。我们在几个连续的控制环境中进行了实验表明，Vgaifo-SO比其他IFO算法更有效地从仅视频演示中学习，有时甚至可以实现与观察（Gaifo）算法的生成对抗性模仿（Gaifo）算法的性能，该算法有特权访问访问权限示威者的本体感知状态信息。

样本效率对于仿制学习方法来说至关重要，以适用于现实世界应用。许多研究通过延长对抗性模仿的违法行为来提高样本效率，无论这些违规延迟是否可以改变原始目标或涉及复杂的优化。我们重新审视对抗性模仿的基础，并提出了一种不需要对抗性培训或最小最大优化的脱营式样本有效方法。我们的配方在两个主要见解中大写：（1）Bellman方程和静止状态 - 动作分配方程之间的相似性使我们能够推导出一种新的时间差异（TD）学习方法; （2）使用确定性政策简化了TD学习。结合，这些见解产生了一种实用的算法，确定性和鉴别的模仿（D2仿真），其通过第一分区样本来分为两个重放缓冲区，然后通过禁止策略加强学习学习确定性政策。我们的经验结果表明，D2模仿在实现良好的样本效率方面有效，表现出对许多控制任务的对抗模仿的几种违规延伸方法。

可推广的对象操纵技能对于智能和多功能机器人在现实世界中的复杂场景中工作至关重要。尽管在强化学习方面取得了最新进展，但学习可以处理一类几何多样的铰接物体的可推广的操纵政策仍然非常具有挑战性。在这项工作中，我们通过以任务不合时宜的方式模仿学习来解决此类别级别的对象操纵政策学习问题，我们假设没有手工制作的密集奖励，而只是最终的奖励。鉴于这个新颖且具有挑战性的概括性政策学习问题，我们确定了几个关键问题，这些问题可能使以前的模仿学习算法失败，并阻碍了概括是看不见的实例。然后，我们提出了几种一般但至关重要的技术，包括从演示中学习的生成性对抗性自我象征学习，歧视者的逐步增长以及对专家缓冲区的实例平衡，可以准确地指出和解决这些问题，并可以受益于类别级别的操纵政策学习，而不管有什么问题任务。我们对Maniskill基准测试的实验表明，所有任务都有显着的改进，而我们的消融研究进一步验证了每种提出的技术的贡献。

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

How to learn an effective reinforcement learning-based model for control tasks from high-level visual observations is a practical and challenging problem. A key to solving this problem is to learn low-dimensional state representations from observations, from which an effective policy can be learned. In order to boost the learning of state encoding, recent works are focused on capturing behavioral similarities between state representations or applying data augmentation on visual observations. In this paper, we propose a novel meta-learner-based framework for representation learning regarding behavioral similarities for reinforcement learning. Specifically, our framework encodes the high-dimensional observations into two decomposed embeddings regarding reward and dynamics in a Markov Decision Process (MDP). A pair of meta-learners are developed, one of which quantifies the reward similarity and the other quantifies dynamics similarity over the correspondingly decomposed embeddings. The meta-learners are self-learned to update the state embeddings by approximating two disjoint terms in on-policy bisimulation metric. To incorporate the reward and dynamics terms, we further develop a strategy to adaptively balance their impacts based on different tasks or environments. We empirically demonstrate that our proposed framework outperforms state-of-the-art baselines on several benchmarks, including conventional DM Control Suite, Distracting DM Control Suite and a self-driving task CARLA.

在现实世界中学习机器人任务仍然是高度挑战性的，有效的实用解决方案仍有待发现。在该领域使用的传统方法是模仿学习和强化学习，但是当应用于真正的机器人时，它们都有局限性。将强化学习与预先收集的演示结合在一起是一种有前途的方法，可以帮助学习控制机器人任务的控制政策。在本文中，我们提出了一种使用新技术来利用离线和在线培训来利用离线专家数据的算法，以获得更快的收敛性和提高性能。拟议的算法（AWET）用新颖的代理优势权重对批评损失进行了加权，以改善专家数据。此外，AWET利用自动的早期终止技术来停止和丢弃与专家轨迹不同的策略推出 - 以防止脱离专家数据。在一项消融研究中，与在四个标准机器人任务上的最新基线相比，AWET表现出改善和有希望的表现。

我们研究了离线模仿学习（IL）的问题，在该问题中，代理商旨在学习最佳的专家行为政策，而无需其他在线环境互动。取而代之的是，该代理来自次优行为的补充离线数据集。解决此问题的先前工作要么要求专家数据占据离线数据集的大部分比例，要么需要学习奖励功能并在以后执行离线加强学习（RL）。在本文中，我们旨在解决问题，而无需进行奖励学习和离线RL培训的其他步骤，当时示范包含大量次优数据。基于行为克隆（BC），我们引入了一个额外的歧视者，以区分专家和非专家数据。我们提出了一个合作框架，以增强这两个任务的学习，基于此框架，我们设计了一种新的IL算法，其中歧视者的输出是BC损失的权重。实验结果表明，与基线算法相比，我们提出的算法可获得更高的回报和更快的训练速度。

仿制学习（IL）是一个框架，了解从示范中模仿专家行为。最近，IL显示了高维和控制任务的有希望的结果。然而，IL通常遭受环境互动方面的样本低效率，这严重限制了它们对模拟域的应用。在工业应用中，学习者通常具有高的相互作用成本，与环境的互动越多，对环境的损害越多，学习者本身就越多。在本文中，我们努力通过引入逆钢筋学习的新颖方案来提高样本效率。我们的方法，我们调用\ texit {model redion函数基础的模仿学习}（mrfil），使用一个集合动态模型作为奖励功能，是通过专家演示培训的内容。关键的想法是通过在符合专家示范分布时提供积极奖励，为代理商提供与漫长地平线相匹配的演示。此外，我们展示了新客观函数的收敛保证。实验结果表明，与IL方法相比，我们的算法达到了竞争性能，并显着降低了环境交互。

We propose a simple data augmentation technique that can be applied to standard model-free reinforcement learning algorithms, enabling robust learning directly from pixels without the need for auxiliary losses or pre-training. The approach leverages input perturbations commonly used in computer vision tasks to transform input examples, as well as regularizing the value function and policy. Existing model-free approaches, such as Soft Actor-Critic (SAC) [22], are not able to train deep networks effectively from image pixels. However, the addition of our augmentation method dramatically improves SAC's performance, enabling it to reach state-of-the-art performance on the DeepMind control suite, surpassing model-based [23,38,24] methods and recently proposed contrastive learning [50]. Our approach, which we dub DrQ: Data-regularized Q, can be combined with any model-free reinforcement learning algorithm. We further demonstrate this by applying it to DQN [43] and significantly improve its data-efficiency on the Atari 100k [31] benchmark. An implementation can be found at https://sites. google.com/view/data-regularized-q.

由于在存在障碍物和高维视觉观测的情况下，由于在存在障碍和高维视觉观测的情况下，学习复杂的操纵任务是一个具有挑战性的问题。事先工作通过整合运动规划和强化学习来解决勘探问题。但是，运动计划程序增强策略需要访问状态信息，该信息通常在现实世界中不可用。为此，我们建议通过（1）视觉行为克隆以通过（1）视觉行为克隆来将基于国家的运动计划者增强策略，以删除运动计划员依赖以及其抖动运动，以及（2）基于视觉的增强学习来自行为克隆代理的平滑轨迹的指导。我们在阻塞环境中的三个操作任务中评估我们的方法，并将其与各种加固学习和模仿学习基线进行比较。结果表明，我们的框架是高度采样的和优于最先进的算法。此外，与域随机化相结合，我们的政策能够用零击转移到未经分散的人的未经环境环境。 https://clvrai.com/mopa-pd提供的代码和视频