我们提出了一种层次结构的增强学习方法Hidio，可以以自我监督的方式学习任务不合时宜的选项，同时共同学习利用它们来解决稀疏的奖励任务。与当前倾向于制定目标的低水平任务或预定临时的低级政策不同的层次RL方法不同，Hidio鼓励下级选项学习与手头任务无关，几乎不需要假设或很少的知识任务结构。这些选项是通过基于选项子对象的固有熵最小化目标来学习的。博学的选择是多种多样的，任务不可能的。在稀疏的机器人操作和导航任务的实验中，Hidio比常规RL基准和两种最先进的层次RL方法，其样品效率更高。

Hierarchical Reinforcement Learning (HRL) algorithms have been demonstrated to perform well on high-dimensional decision making and robotic control tasks. However, because they solely optimize for rewards, the agent tends to search the same space redundantly. This problem reduces the speed of learning and achieved reward. In this work, we present an Off-Policy HRL algorithm that maximizes entropy for efficient exploration. The algorithm learns a temporally abstracted low-level policy and is able to explore broadly through the addition of entropy to the high-level. The novelty of this work is the theoretical motivation of adding entropy to the RL objective in the HRL setting. We empirically show that the entropy can be added to both levels if the Kullback-Leibler (KL) divergence between consecutive updates of the low-level policy is sufficiently small. We performed an ablative study to analyze the effects of entropy on hierarchy, in which adding entropy to high-level emerged as the most desirable configuration. Furthermore, a higher temperature in the low-level leads to Q-value overestimation and increases the stochasticity of the environment that the high-level operates on, making learning more challenging. Our method, SHIRO, surpasses state-of-the-art performance on a range of simulated robotic control benchmark tasks and requires minimal tuning.

基于模型的增强学习（RL）是一种通过利用学习的单步动力学模型来计划想象中的动作来学习复杂行为的样本效率方法。但是，计划为长马操作计划的每项行动都是不切实际的，类似于每个肌肉运动的人类计划。相反，人类有效地计划具有高级技能来解决复杂的任务。从这种直觉中，我们提出了一个基于技能的RL框架（SKIMO），该框架能够使用技能动力学模型在技能空间中进行计划，该模型直接预测技能成果，而不是预测中级状态中的所有小细节，逐步。为了准确有效的长期计划，我们共同学习了先前经验的技能动力学模型和技能曲目。然后，我们利用学到的技能动力学模型准确模拟和计划技能空间中的长范围，这可以有效地学习长摩盛，稀疏的奖励任务。导航和操纵域中的实验结果表明，Skimo扩展了基于模型的方法的时间范围，并提高了基于模型的RL和基于技能的RL的样品效率。代码和视频可在\ url {https://clvrai.com/skimo}上找到

Hierarchical methods in reinforcement learning have the potential to reduce the amount of decisions that the agent needs to perform when learning new tasks. However, finding a reusable useful temporal abstractions that facilitate fast learning remains a challenging problem. Recently, several deep learning approaches were proposed to learn such temporal abstractions in the form of options in an end-to-end manner. In this work, we point out several shortcomings of these methods and discuss their potential negative consequences. Subsequently, we formulate the desiderata for reusable options and use these to frame the problem of learning options as a gradient-based meta-learning problem. This allows us to formulate an objective that explicitly incentivizes options which allow a higher-level decision maker to adjust in few steps to different tasks. Experimentally, we show that our method is able to learn transferable components which accelerate learning and performs better than existing prior methods developed for this setting. Additionally, we perform ablations to quantify the impact of using gradient-based meta-learning as well as other proposed changes.

智能代理需要选择长时间的动作序列来解决复杂的任务。尽管人类很容易将任务分解为子目标，并通过数百万的肌肉命令将其纳入子目标，但尽管预算很大，但当前的人工智能仅限于具有数百个决策的任务。对层次强化学习的研究旨在克服这一局限性，但事实证明是具有挑战性的，当前的方法依赖于手动指定的目标空间或子任务，并且不存在一般解决方案。我们介绍了导演，这是一种实用方法，可以通过在学习世界模型的潜在空间内部计划直接从像素中学习层次行为。高级政策通过选择潜在目标，而低级政策学会实现目标，从而最大程度地提高了任务和探索奖励。尽管在潜在空间中运行，但这些决策还是可以解释的，因为世界模型可以将目标解码为图像以进行可视化。导演在具有稀疏奖励的任务上的探索方法（包括3D迷宫遍历，以及来自以自我为中心的相机和本体感受的四倍机器人，无需访问先前工作使用的全球位置或自上而下的视图。导演还学习各种环境的成功行为，包括视觉控制，Atari游戏和DMLAB级别。

需要长马计划和持续控制能力的问题对现有的强化学习剂构成了重大挑战。在本文中，我们介绍了一种新型的分层增强学习代理，该学习代理将延时的技能与持续控制的技能与远期模型联系起来，以象征性的分离环境的计划进行计划。我们认为我们的代理商符合符号效应的多样化技能。我们制定了一种客观且相应的算法，该算法通过已知的抽象来通过内在动机来无监督学习各种技能。这些技能是通过符号前向模型共同学习的，该模型捕获了国家抽象中技能执行的影响。训练后，我们可以使用向前模型来利用符号动作的技能来进行长途计划，并随后使用学识渊博的连续行动控制技能执行计划。拟议的算法学习了技能和前瞻性模型，可用于解决复杂的任务，这些任务既需要连续控制和长效计划功能，却具有很高的成功率。它与其他平坦和分层的增强学习基线代理相比，并通过真正的机器人成功证明。

代理商学习广泛适用和通用策略具有重要意义，可以实现包括图像和文本描述在内的各种目标。考虑到这类感知的目标，深度加强学习研究的前沿是学习一个没有手工制作奖励的目标条件政策。要了解这种政策，最近的作品通常会像奖励到明确的嵌入空间中的给定目标的非参数距离。从不同的观点来看，我们提出了一种新的无监督学习方法，名为目标条件政策，具有内在动机（GPIM），共同学习抽象级别政策和目标条件的政策。摘要级别策略在潜在变量上被调节，以优化鉴别器，并发现进一步的不同状态，进一步呈现为目标条件策略的感知特定目标。学习鉴别者作为目标条件策略的内在奖励功能，以模仿抽象级别政策引起的轨迹。各种机器人任务的实验证明了我们所提出的GPIM方法的有效性和效率，其基本上优于现有技术。

当加强学习以稀疏的奖励应用时，代理必须花费很长时间探索未知环境而没有任何学习信号。抽象是一种为代理提供在潜在空间中过渡的内在奖励的方法。先前的工作着重于密集的连续潜在空间，或要求用户手动提供表示形式。我们的方法是第一个自动学习基础环境的离散抽象的方法。此外，我们的方法使用端到端可训练的正规后继代表模型在任意输入空间上起作用。对于抽象状态之间的过渡，我们以选项的形式训练一组时间扩展的动作，即动作抽象。我们提出的算法，离散的国家行动抽象（DSAA），在训练这些选项之间进行迭代交换，并使用它们有效地探索更多环境以改善状态抽象。结果，我们的模型不仅对转移学习，而且在在线学习环境中有用。我们从经验上表明，与基线加强学习算法相比，我们的代理能够探索环境并更有效地解决任务。我们的代码可在\ url {https://github.com/amnonattali/dsaa}上公开获得。

等级强化学习（HRL）对挑战长地平线任务的采样有效学习具有巨大潜力。特别是，让更高的级别将子站分配给较低级别​​，以便在难题上快速学习。然而，这种基于基于亚级的方法是设计的静态强化学习环境，从而与超出了代理的立即控制的动态元素，即使它们在现实世界中普遍存在。在本文中，我们使用定时子站（HITS）引入分层加强学习，这是一个HRL算法，使代理能够通过不仅指定要达到目标状态而且何时来调整其对动态环境的时序。我们讨论如何在这种定时的子原方面与较低级别进行通信导致更高水平的更稳定的学习问题。我们在一系列标准基准和三个新的挑战动态强化学习环境中的实验表明，我们的方法能够采用样本高效的学习，其中现有的最先进的基于亚群的HRL方法未能学习稳定的解决方案。

增强学习（RL）研究领域非常活跃，并具有重要的新贡献；特别是考虑到深RL（DRL）的新兴领域。但是，仍然需要解决许多科学和技术挑战，其中我们可以提及抽象行动的能力或在稀疏回报环境中探索环境的难以通过内在动机（IM）来解决的。我们建议通过基于信息理论的新分类法调查这些研究工作：我们在计算上重新审视了惊喜，新颖性和技能学习的概念。这使我们能够确定方法的优势和缺点，并展示当前的研究前景。我们的分析表明，新颖性和惊喜可以帮助建立可转移技能的层次结构，从而进一步抽象环境并使勘探过程更加健壮。

我们提出了一种新型的参数化技能学习算法，旨在学习可转移的参数化技能并将其合成为新的动作空间，以支持长期任务中的有效学习。我们首先提出了新颖的学习目标 - 以轨迹为中心的多样性和平稳性 - 允许代理商能够重复使用的参数化技能。我们的代理商可以使用这些学习的技能来构建时间扩展的参数化行动马尔可夫决策过程，我们为此提出了一种层次的参与者 - 批判算法，旨在通过学习技能有效地学习高级控制政策。我们从经验上证明，所提出的算法使代理能够解决复杂的长途障碍源环境。

在本文中，我们介绍了潜在的探索（LGE），这是一种基于探索加固学习（RL）的探索范式的简单而通用的方法。最初引入了Go-explore，并具有强大的域知识约束，以将状态空间划分为单元。但是，在大多数实际情况下，从原始观察中汲取域知识是复杂而乏味的。如果细胞分配不足以提供信息，则可以完全无法探索环境。我们认为，可以通过利用学习的潜在表示，可以将Go-explore方法推广到任何环境，而无需细胞。因此，我们表明LGE可以灵活地与学习潜在表示的任何策略相结合。我们表明，LGE虽然比Go-explore更简单，但在多个硬探索环境上纯粹的探索方面，更强大，并且优于所有最先进的算法。 LGE实现可在https://github.com/qgallouedec/lge上作为开源。

The ability to effectively reuse prior knowledge is a key requirement when building general and flexible Reinforcement Learning (RL) agents. Skill reuse is one of the most common approaches, but current methods have considerable limitations.For example, fine-tuning an existing policy frequently fails, as the policy can degrade rapidly early in training. In a similar vein, distillation of expert behavior can lead to poor results when given sub-optimal experts. We compare several common approaches for skill transfer on multiple domains including changes in task and system dynamics. We identify how existing methods can fail and introduce an alternative approach to mitigate these problems. Our approach learns to sequence existing temporally-extended skills for exploration but learns the final policy directly from the raw experience. This conceptual split enables rapid adaptation and thus efficient data collection but without constraining the final solution.It significantly outperforms many classical methods across a suite of evaluation tasks and we use a broad set of ablations to highlight the importance of differentc omponents of our method.

有效的探索是深度强化学习的关键挑战。几种方法，例如行为先验，能够利用离线数据，以便在复杂任务上有效加速加强学习。但是，如果手动的任务与所证明的任务过度偏离，则此类方法的有效性是有限的。在我们的工作中，我们建议从离线数据中学习功能，这些功能由更加多样化的任务共享，例如动作与定向之间的相关性。因此，我们介绍了无国有先验，该先验直接在显示的轨迹中直接建模时间一致性，并且即使在对简单任务收集的数据进行培训时，也能够在复杂的任务中推动探索。此外，我们通过从政策和行动之前的概率混合物中动态采样动作，引入了一种新颖的集成方案，用于非政策强化学习中的动作研究。我们将我们的方法与强大的基线相提并论，并提供了经验证据，表明它可以在稀疏奖励环境下的长途持续控制任务中加速加强学习。

目标条件层次结构增强学习（HRL）是扩大强化学习（RL）技术的有前途的方法。但是，由于高级的动作空间，即目标空间很大。在大型目标空间中进行搜索对于高级子观念和低级政策学习都构成了困难。在本文中，我们表明，可以使用邻接约束来限制从整个目标空间到当前状态的$ k $步骤相邻区域的高级动作空间，从而有效缓解此问题。从理论上讲，我们证明在确定性的马尔可夫决策过程（MDP）中，所提出的邻接约束保留了最佳的层次结构策略，而在随机MDP中，邻接约束诱导了由MDP的过渡结构确定的有界状态价值次数。我们进一步表明，可以通过培训可以区分邻近和非贴种亚目标的邻接网络来实际实现此约束。对离散和连续控制任务的实验结果，包括挑战性的机器人运动和操纵任务，表明合并邻接性约束可显着提高最先进的目标条件条件的HRL方法的性能。

在本文中，我们提出了一种新的马尔可夫决策过程学习分层表示的方法。我们的方法通过将状态空间划分为子集，并定义用于在分区之间执行转换的子任务。我们制定将状态空间作为优化问题分区的问题，该优化问题可以使用梯度下降给出一组采样的轨迹来解决，使我们的方法适用于大状态空间的高维问题。我们经验验证方法，通过表示它可以成功地在导航域中成功学习有用的分层表示。一旦了解到，分层表示可以用于解决给定域中的不同任务，从而概括跨任务的知识。

Meta-Renifiltive学习（Meta-RL）已被证明是利用事先任务的经验，以便快速学习新的相关任务的成功框架，但是，当前的Meta-RL接近在稀疏奖励环境中学习的斗争。尽管现有的Meta-RL算法可以学习适应新的稀疏奖励任务的策略，但是使用手形奖励功能来学习实际适应策略，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了对Meta-RL的后视抢购的制定，该rl抢购了在Meta培训期间的经验，以便能够使用稀疏奖励完全学习。我们展示了我们的方法在套件挑战稀疏奖励目标达到的环境中，以前需要密集的奖励，以便在Meta训练中解决。我们的方法使用真正的稀疏奖励功能来解决这些环境，性能与具有代理密集奖励功能的培训相当。

Hierarchical decomposition of control is unavoidable in large dynamical systems. In reinforcement learning (RL), it is usually solved with subgoals defined at higher policy levels and achieved at lower policy levels. Reaching these goals can take a substantial amount of time, during which it is not verified whether they are still worth pursuing. However, due to the randomness of the environment, these goals may become obsolete. In this paper, we address this gap in the state-of-the-art approaches and propose a method in which the validity of higher-level actions (thus lower-level goals) is constantly verified at the higher level. If the actions, i.e. lower level goals, become inadequate, they are replaced by more appropriate ones. This way we combine the advantages of hierarchical RL, which is fast training, and flat RL, which is immediate reactivity. We study our approach experimentally on seven benchmark environments.

有效的探索仍然是一个重要的挑战，这可以防止为许多物理系统部署加强学习。对于具有连续和高维状态和动作空间的系统尤其如此，例如机器人操纵器。挑战在稀疏奖励环境中强调，其中设计密集奖励设计所需的低级状态信息不可用。对手仿制学习（AIL）可以通过利用专家生成的最佳行为和基本上提供替代奖励信息的替代来部分克服这一屏障。不幸的是，专家示范的可用性并不一定能够改善代理商有效探索的能力，并且正如我们经常展现所在，可以导致效率低或停滞不前。我们从引导播放（LFGP）中展示了一个框架，其中我们利用了专家演示，除了主要任务，多个辅助任务。随后，使用修改的AIL过程来使用分层模型来学习每个任务奖励和策略，其中通过组合不同任务的调度程序强制对所有任务的探索。这提供了许多好处：具有挑战瓶颈转换的主要任务的学习效率得到改善，专家数据在任务之间可重复使用，并且通过重用学习辅助任务模型的传输学习成为可能。我们在一个具有挑战性的多任务机器人操纵域中的实验结果表明我们的方法有利地对监督模仿学习和最先进的AIL方法进行比较。代码可在https://github.com/utiasstars/lfgp获得。

长期的Horizo​​n机器人学习任务稀疏的奖励对当前的强化学习算法构成了重大挑战。使人类能够学习挑战的控制任务的关键功能是，他们经常获得专家干预，使他们能够在掌握低级控制动作之前了解任务的高级结构。我们为利用专家干预来解决长马增强学习任务的框架。我们考虑\ emph {选项模板}，这是编码可以使用强化学习训练的潜在选项的规格。我们将专家干预提出，因为允许代理商在学习实施之前执行选项模板。这使他们能够使用选项，然后才能为学习成本昂贵的资源学习。我们在三个具有挑战性的强化学习问题上评估了我们的方法，这表明它的表现要优于最先进的方法。训练有素的代理商和我们的代码视频可以在以下网址找到：https：//sites.google.com/view/stickymittens