在许多增强学习（RL）应用中，观察空间由人类开发人员指定并受到物理实现的限制，因此可能会随时间的巨大变化（例如，观察特征的数量增加）。然而，当观察空间发生变化时，前一项策略可能由于输入特征不匹配而失败，并且另一个策略必须从头开始培训，这在计算和采样复杂性方面效率低。在理论上见解之后，我们提出了一种新颖的算法，该算法提取源任务中的潜在空间动态，并将动态模型传送到目标任务用作基于模型的常规程序。我们的算法适用于观察空间的彻底变化（例如，从向量的基于矢量的观察到图像的观察），没有任何任务映射或目标任务的任何先前知识。实证结果表明，我们的算法显着提高了目标任务中学习的效率和稳定性。

这项工作探讨了如何从具有深度加强学习方法的基于图像的观测中学习鲁棒和最广泛的状态表示。解决了在现有的Bisimulation度量工作中的计算复杂性，严格假设和表示崩溃挑战，我们设计了简单的状态表示（SIMSR）运算符，该操作员实现了等效功能，同时通过与Bisimulation度量进行比较来降低顺序的复杂性。SIMSR使我们能够设计一种基于随机逼近的方法，该方法几乎可以从观察到潜在表示空间的观察中学习映射函数（编码器）。除了理论分析外，我们在Visual Mujoco任务中尝试并与最近的最先进解决方案进行了实验。结果表明，我们的模型通常达到更好的性能，具有更好的鲁棒性和良好的概率。

在国家观察中最强/最佳的对抗性扰动下评估增强学习（RL）代理的最坏情况性能（在某些限制内）对于理解RL代理商的鲁棒性至关重要。然而，在无论我们都能找到最佳攻击以及我们如何找到它，我们都可以找到最佳的对手是具有挑战性的。对普发拉利RL的现有工作要么使用基于启发式的方法，可以找不到最强大的对手，或者通过将代理人视为环境的一部分来说，直接培训基于RL的对手，这可以找到最佳的对手，但可能会变得棘手大状态空间。本文介绍了一种新的攻击方法，通过设计函数与名为“Director”的RL为基础的学习者的设计函数之间的合作找到最佳攻击。演员工艺在给定的政策扰动方向的状态扰动，主任学会提出最好的政策扰动方向。我们所提出的算法PA-AD，比具有大状态空间的环境中的基于RL的工作，理论上是最佳的，并且明显更有效。经验结果表明，我们建议的PA-AD普遍优惠各种Atari和Mujoco环境中最先进的攻击方法。通过将PA-AD应用于对抗性培训，我们在强烈的对手下实现了多个任务的最先进的经验稳健性。

我们在马尔可夫决策过程的状态空间上提出了一种新的行为距离，并展示使用该距离作为塑造深度加强学习代理的学习言论的有效手段。虽然由于高计算成本和基于样本的算法缺乏缺乏样本的距离，但是，虽然现有的国家相似性通常难以在规模上学习，但我们的新距离解决了这两个问题。除了提供详细的理论分析外，我们还提供了学习该距离的经验证据，与价值函数产生的结构化和信息化表示，包括对街机学习环境基准的强劲结果。

Meta强化学习（META-RL）旨在学习一项政策，同时并迅速适应新任务。它需要大量从培训任务中汲取的数据，以推断任务之间共享的共同结构。如果没有沉重的奖励工程，长期任务中的稀疏奖励加剧了元RL样品效率的问题。 Meta-RL中的另一个挑战是任务之间难度级别的差异，这可能会导致一个简单的任务主导共享策略的学习，从而排除政策适应新任务。这项工作介绍了一个新颖的目标功能，可以在培训任务中学习动作翻译。从理论上讲，我们可以验证带有操作转换器的传输策略的值可以接近源策略的值和我们的目标函数（大约）上限的值差。我们建议将动作转换器与基于上下文的元元算法相结合，以更好地收集数据，并在元训练期间更有效地探索。我们的方法从经验上提高了稀疏奖励任务上元RL算法的样本效率和性能。

双Q学习是一种用于减少高估偏差的经典方法，这是通过在Bellman操作中取代最大估计值来引起的。它在深度Q学习范式中的变体在产生可靠的价值预测和提高学习性能方面表现出了很大的承诺。然而，如先前工作所示，双Q学习并不完全无偏见，遭受低估偏差。在本文中，我们表明这种低估偏差可能导致近似Bellman运算符下的多个非最佳固定点。为了解决对非最优固定解决方案融合的担忧，我们提出了一种简单但有效的方法，作为双Q学习中低估偏差的部分修复。该方法利用近似动态编程来绑定目标值。我们在Atari基准任务中广泛评估了我们的提出方法，并展示了对基线算法的显着改进。

强化学习（RL）通过与环境相互作用的试验过程解决顺序决策问题。尽管RL在玩复杂的视频游戏方面取得了巨大的成功，但在现实世界中，犯错误总是不希望的。为了提高样本效率并从而降低错误，据信基于模型的增强学习（MBRL）是一个有前途的方向，它建立了环境模型，在该模型中可以进行反复试验，而无需实际成本。在这项调查中，我们对MBRL进行了审查，重点是Deep RL的最新进展。对于非壮观环境，学到的环境模型与真实环境之间始终存在概括性错误。因此，非常重要的是分析环境模型中的政策培训与实际环境中的差异，这反过来又指导了更好的模型学习，模型使用和政策培训的算法设计。此外，我们还讨论了其他形式的RL，包括离线RL，目标条件RL，多代理RL和Meta-RL的最新进展。此外，我们讨论了MBRL在现实世界任务中的适用性和优势。最后，我们通过讨论MBRL未来发展的前景来结束这项调查。我们认为，MBRL在被忽略的现实应用程序中具有巨大的潜力和优势，我们希望这项调查能够吸引更多关于MBRL的研究。

当相互作用数据稀缺时，深厚的增强学习（RL）算法遭受了严重的性能下降，这限制了其现实世界的应用。最近，视觉表示学习已被证明是有效的，并且有望提高RL样品效率。这些方法通常依靠对比度学习和数据扩展来训练状态预测的过渡模型，这与在RL中使用模型的方式不同 - 基于价值的计划。因此，学到的模型可能无法与环境保持良好状态并产生一致的价值预测，尤其是当国家过渡不是确定性的情况下。为了解决这个问题，我们提出了一种称为价值一致表示学习（VCR）的新颖方法，以学习与决策直接相关的表示形式。更具体地说，VCR训练一个模型，以预测基于当前的状态（也称为“想象的状态”）和一系列动作。 VCR没有将这个想象中的状态与环境返回的真实状态保持一致，而是在两个状态上应用$ q $ - 价值头，并获得了两个行动值分布。然后将距离计算并最小化以迫使想象的状态产生与真实状态相似的动作值预测。我们为离散和连续的动作空间开发了上述想法的两个实现。我们对Atari 100K和DeepMind Control Suite基准测试进行实验，以验证其提高样品效率的有效性。已经证明，我们的方法实现了无搜索RL算法的新最新性能。

In reinforcement learning applications like robotics, agents usually need to deal with various input/output features when specified with different state/action spaces by their developers or physical restrictions. This indicates unnecessary re-training from scratch and considerable sample inefficiency, especially when agents follow similar solution steps to achieve tasks. In this paper, we aim to transfer similar high-level goal-transition knowledge to alleviate the challenge. Specifically, we propose PILoT, i.e., Planning Immediate Landmarks of Targets. PILoT utilizes the universal decoupled policy optimization to learn a goal-conditioned state planner; then, distills a goal-planner to plan immediate landmarks in a model-free style that can be shared among different agents. In our experiments, we show the power of PILoT on various transferring challenges, including few-shot transferring across action spaces and dynamics, from low-dimensional vector states to image inputs, from simple robot to complicated morphology; and we also illustrate a zero-shot transfer solution from a simple 2D navigation task to the harder Ant-Maze task.

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

这篇综述解决了在深度强化学习（DRL）背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可，高维且复杂的解释，但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率，稳健性和DRL方法的概括，应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具，提供对方法和原则的系统观点，总结应用程序，基准和评估策略，并讨论开放的方式，从而提供了DRL中无监督的代表性学习的全面概述，挑战和未来的方向。

我们介绍了一种改进政策改进的方法，该方法在基于价值的强化学习（RL）的贪婪方法与基于模型的RL的典型计划方法之间进行了插值。新方法建立在几何视野模型（GHM，也称为伽马模型）的概念上，该模型对给定策略的折现状态验证分布进行了建模。我们表明，我们可以通过仔细的基本策略GHM的仔细组成，而无需任何其他学习，可以评估任何非马尔科夫策略，以固定的概率在一组基本马尔可夫策略之间切换。然后，我们可以将广义政策改进（GPI）应用于此类非马尔科夫政策的收集，以获得新的马尔可夫政策，通常将其表现优于其先驱。我们对这种方法提供了彻底的理论分析，开发了转移和标准RL的应用，并在经验上证明了其对标准GPI的有效性，对充满挑战的深度RL连续控制任务。我们还提供了GHM培训方法的分析，证明了关于先前提出的方法的新型收敛结果，并显示了如何在深度RL设置中稳定训练这些模型。

具有相同任务的不同环境的概括对于在实际场景中成功应用视觉增强学习（RL）至关重要。然而，从高维观察中，视觉干扰（在真实场景中很常见）可能会对视觉RL中学习的表示形式有害，从而降低概括的性能。为了解决这个问题，我们提出了一种新颖的方法，即特征奖励序列预测（Cresp），以通过学习奖励序列分布（RSD）提取与任务相关的信息，因为奖励信号在RL中与任务相关，并且不变为Visual分心。具体而言，要通过RSD有效捕获与任务相关的信息，Cresp引入了一个辅助任务（即预测RSD的特征功能），以学习与任务相关的表示，因为我们可以很好地通过利用高维分布来实现高维分布相应的特征函数。实验表明，Cresp显着提高了在看不见的环境上的概括性能，在具有不同视觉分散注意力的DeepMind Control任务上表现优于几个最新的。

抽象已被广泛研究，以提高增强学习算法的效率和概括。在本文中，我们研究了连续控制环境中的抽象。我们将MDP同态的定义扩展到连续状态空间中的连续作用。我们在抽象MDP上得出了策略梯度定理，这使我们能够利用环境的近似对称性进行策略优化。基于该定理，我们提出了一种能够使用Lax Bisimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation Mimulation。我们证明了我们方法对DeepMind Control Suite中基准任务的有效性。我们的方法利用MDP同态来表示学习的能力会导致从像素观测中学习时的性能。

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.Preprint. Under review.

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

How to learn an effective reinforcement learning-based model for control tasks from high-level visual observations is a practical and challenging problem. A key to solving this problem is to learn low-dimensional state representations from observations, from which an effective policy can be learned. In order to boost the learning of state encoding, recent works are focused on capturing behavioral similarities between state representations or applying data augmentation on visual observations. In this paper, we propose a novel meta-learner-based framework for representation learning regarding behavioral similarities for reinforcement learning. Specifically, our framework encodes the high-dimensional observations into two decomposed embeddings regarding reward and dynamics in a Markov Decision Process (MDP). A pair of meta-learners are developed, one of which quantifies the reward similarity and the other quantifies dynamics similarity over the correspondingly decomposed embeddings. The meta-learners are self-learned to update the state embeddings by approximating two disjoint terms in on-policy bisimulation metric. To incorporate the reward and dynamics terms, we further develop a strategy to adaptively balance their impacts based on different tasks or environments. We empirically demonstrate that our proposed framework outperforms state-of-the-art baselines on several benchmarks, including conventional DM Control Suite, Distracting DM Control Suite and a self-driving task CARLA.

基于模型的强化学习引起了广泛的样本效率。尽管到目前为止，它令人印象深刻，但仍然不清楚如何适当安排重要的超参数，以实现足够的性能，例如基于Dyna样式的算法中的政策优化的实际数据比。在本文中，我们首先分析了实际数据在政策培训中的作用，这表明逐渐增加了实际数据的比例会产生更好的性能。灵感来自分析，我们提出了一个名为autombpo的框架，以自动安排真实的数据比以及基于培训模型的策略优化（MBPO）算法的其他超参数，是基于模型的方法的代表性运行情况。在几个连续控制任务上，由AutomBPO安排的HyperParameters培训的MBPO实例可以显着超越原始的，并且AutomBPO找到的真实数据比例计划显示了与我们的理论分析的一致性。

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

近年来，加固学习（RL）由于其各种应用的巨大成功，近年来越来越兴趣。但是，标准的RL算法只能用于单次奖励功能，并且不能快速适应未经奖励功能。在本文中，我们提倡一般的钢筋学习操作员视图，这使我们能够直接估计从奖励函数映射到价值函数的操作员。学习操作员的好处是我们可以将任何新的奖励函数作为输入纳入并以零拍方式达到其相应的值函数。为了近似这种特殊类型的操作员，我们根据其理论属性设计了许多新颖的操作员神经网络架构。我们的操作网络设计优于现有的方法和通用运营商网络的标准设计，我们展示了在几个任务中的操作员Deep Q学习框架的好处，包括奖励转移到离线政策评估（OPE）并奖励离线转移一系列任务中的策略优化。