在本文中，我们介绍了D3RLPY，一个用于Python的开放式离线深度加强学习（RL）库。D3RLPY通过用户友好的API支持多个离线深度RL算法以及在线算法。为协助深入的RL研发项目，D3RLPY提供实际和独特的功能，如数据收集，导出部署，预处理和后处理，分配Q函数，多步学习和方便的命令行界面。此外，D3RLP还提供了一种新颖的图形界面，使用户能够在没有编码程序的情况下训练离线RL算法。最后，实现的算法与D4RL数据集进行了基准测试，以确保实现质量。可以在github上找到d3rlpy源代码：\ url {https://github.com/takuseno/d3rlpy}。

Off-policy reinforcement learning (RL) using a fixed offline dataset of logged interactions is an important consideration in real world applications. This paper studies offline RL using the DQN Replay Dataset comprising the entire replay experience of a DQN agent on 60 Atari 2600 games. We demonstrate that recent off-policy deep RL algorithms, even when trained solely on this fixed dataset, outperform the fully-trained DQN agent. To enhance generalization in the offline setting, we present Random Ensemble Mixture (REM), a robust Q-learning algorithm that enforces optimal Bellman consistency on random convex combinations of multiple Q-value estimates. Offline REM trained on the DQN Replay Dataset surpasses strong RL baselines. Ablation studies highlight the role of offline dataset size and diversity as well as the algorithm choice in our positive results. Overall, the results here present an optimistic view that robust RL algorithms used on sufficiently large and diverse offline datasets can lead to high quality policies. To provide a testbed for offline RL and reproduce our results, the DQN Replay Dataset is released at offline-rl.github.io.

离线强化学习（RL）定义了从固定批次的数据学习的任务。由于来自分发超出操作的值估计的错误，大多数脱机RL算法采用数据集中包含的动作来计算或正规化策略的方法。构建在预先存在的RL算法上，修改使RL算法正常工作的额外复杂性的成本为代价。离线RL算法引入了新的超参数，通常利用辅助组件，例如生成模型，同时调整底层RL算法。在本文中，我们的目标是在实现最小变化的同时进行深度RL算法。我们发现我们可以通过简单地将行为克隆术语添加到在线RL算法的策略更新并归一化数据的策略更新来匹配最先进的离线RL算法的性能。生成的算法是一种简单的实现和曲线基线，而通过去除先前方法的附加计算开销来大于缩短整个运行时间。

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

Stable-Baselines3 provides open-source implementations of deep reinforcement learning (RL) algorithms in Python. The implementations have been benchmarked against reference codebases, and automated unit tests cover 95% of the code. The algorithms follow a consistent interface and are accompanied by extensive documentation, making it simple to train and compare different RL algorithms. Our documentation, examples, and source-code are available at https://github.com/DLR-RM/stable-baselines3.

离线强化学习在利用大型预采用的数据集进行政策学习方面表现出了巨大的希望，使代理商可以放弃经常廉价的在线数据收集。但是，迄今为止，离线强化学习的探索相对较小，并且缺乏对剩余挑战所在的何处的了解。在本文中，我们试图建立简单的基线以在视觉域中连续控制。我们表明，对两个基于最先进的在线增强学习算法，Dreamerv2和DRQ-V2进行了简单的修改，足以超越事先工作并建立竞争性的基准。我们在现有的离线数据集中对这些算法进行了严格的评估，以及从视觉观察结果中进行离线强化学习的新测试台，更好地代表现实世界中离线增强学习问题中存在的数据分布，并开放我们的代码和数据以促进此方面的进度重要领域。最后，我们介绍并分析了来自视觉观察的离线RL所独有的几个关键Desiderata，包括视觉分散注意力和动态视觉上可识别的变化。

在本文中，我们介绍了Tianshou，这是一个高度模块化的Python库，用于深钢筋学习（DRL），它使用Pytorch作为后端。天舒（Tianshou）打算通过提供DRL算法的灵活和可靠的基础架构来对研究进行研究。它通过统一界面通过20多种经典算法来支持在线和离线培训。为了促进相关的研究并证明天舒的可靠性，我们发布了田肖（Tianshou）的Mujoco环境基准，涵盖了八种具有最先进性能的经典算法。我们通过https://github.com/thu-ml/tianshou/开放源。

离线强化学习用于在实时访问环境昂贵或不可能的情况下培训策略。作为这些恶劣条件的自然后果，在采取行动之前，代理商可能缺乏完全遵守在线环境的资源。我们配备了这种情况资源受限的设置。这导致脱机数据集（可用于培训）的情况可以包含完全处理的功能（使用功能强大的语言模型，图像模型，复杂传感器等）在实际在线时不可用。此断开连接导致离线RL中的有趣和未开发的问题：是否可以使用丰富地处理的脱机数据集来培训可访问在线环境中的更少功能的策略？在这项工作中，我们介绍并正式化这一新颖的资源受限的问题设置。我们突出了使用有限功能培训的完整脱机数据集和策略培训的策略之间的性能差距。我们通过策略传输算法解决了这种性能缺口，该策略传输算法首先使用功能完全可用的脱机数据集列举教师代理，然后将此知识传输到仅使用资源约束功能的学生代理。为了更好地捕获此设置的挑战，我们提出了一个数据收集过程：RL（RC-D4RL）的资源受限数据集。我们在RC-D4RL和流行的D4RL基准测试中评估传输算法，并观察到基线上的一致性改进（无需传输）。实验的代码在https://github.com/jayanthrr /rc-offlinerl上获得。

We present state advantage weighting for offline reinforcement learning (RL). In contrast to action advantage $A(s,a)$ that we commonly adopt in QSA learning, we leverage state advantage $A(s,s^\prime)$ and QSS learning for offline RL, hence decoupling the action from values. We expect the agent can get to the high-reward state and the action is determined by how the agent can get to that corresponding state. Experiments on D4RL datasets show that our proposed method can achieve remarkable performance against the common baselines. Furthermore, our method shows good generalization capability when transferring from offline to online.

Reinforcement learning (RL) has shown great promise with algorithms learning in environments with large state and action spaces purely from scalar reward signals. A crucial challenge for current deep RL algorithms is that they require a tremendous amount of environment interactions for learning. This can be infeasible in situations where such interactions are expensive; such as in robotics. Offline RL algorithms try to address this issue by bootstrapping the learning process from existing logged data without needing to interact with the environment from the very beginning. While online RL algorithms are typically evaluated as a function of the number of environment interactions, there exists no single established protocol for evaluating offline RL methods.In this paper, we propose a sequential approach to evaluate offline RL algorithms as a function of the training set size and thus by their data efficiency. Sequential evaluation provides valuable insights into the data efficiency of the learning process and the robustness of algorithms to distribution changes in the dataset while also harmonizing the visualization of the offline and online learning phases. Our approach is generally applicable and easy to implement. We compare several existing offline RL algorithms using this approach and present insights from a variety of tasks and offline datasets.

大多数强化学习算法都利用了经验重播缓冲液，以反复对代理商过去观察到的样本进行训练。这样可以防止灾难性的遗忘，但是仅仅对每个样本都分配了同等的重要性是一种天真的策略。在本文中，我们提出了一种根据样本可以从样本中学到多少样本确定样本优先级的方法。我们将样本的学习能力定义为随着时间的推移，与该样品相关的训练损失的稳定减少。我们开发了一种算法，以优先考虑具有较高学习能力的样本，同时将优先级较低，为那些难以学习的样本，通常是由噪声或随机性引起的。我们从经验上表明，我们的方法比随机抽样更强大，而且比仅在训练损失方面优先排序更好，即时间差损失，这是在香草优先的经验重播中使用的。

当相互作用数据稀缺时，深厚的增强学习（RL）算法遭受了严重的性能下降，这限制了其现实世界的应用。最近，视觉表示学习已被证明是有效的，并且有望提高RL样品效率。这些方法通常依靠对比度学习和数据扩展来训练状态预测的过渡模型，这与在RL中使用模型的方式不同 - 基于价值的计划。因此，学到的模型可能无法与环境保持良好状态并产生一致的价值预测，尤其是当国家过渡不是确定性的情况下。为了解决这个问题，我们提出了一种称为价值一致表示学习（VCR）的新颖方法，以学习与决策直接相关的表示形式。更具体地说，VCR训练一个模型，以预测基于当前的状态（也称为“想象的状态”）和一系列动作。 VCR没有将这个想象中的状态与环境返回的真实状态保持一致，而是在两个状态上应用$ q $ - 价值头，并获得了两个行动值分布。然后将距离计算并最小化以迫使想象的状态产生与真实状态相似的动作值预测。我们为离散和连续的动作空间开发了上述想法的两个实现。我们对Atari 100K和DeepMind Control Suite基准测试进行实验，以验证其提高样品效率的有效性。已经证明，我们的方法实现了无搜索RL算法的新最新性能。

Offline reinforcement learning (RL) have received rising interest due to its appealing data efficiency. The present study addresses behavior estimation, a task that lays the foundation of many offline RL algorithms. Behavior estimation aims at estimating the policy with which training data are generated. In particular, this work considers a scenario where the data are collected from multiple sources. In this case, neglecting data heterogeneity, existing approaches for behavior estimation suffers from behavior misspecification. To overcome this drawback, the present study proposes a latent variable model to infer a set of policies from data, which allows an agent to use as behavior policy the policy that best describes a particular trajectory. This model provides with a agent fine-grained characterization for multi-source data and helps it overcome behavior misspecification. This work also proposes a learning algorithm for this model and illustrates its practical usage via extending an existing offline RL algorithm. Lastly, with extensive evaluation this work confirms the existence of behavior misspecification and the efficacy of the proposed model.

We present CURL: Contrastive Unsupervised Representations for Reinforcement Learning. CURL extracts high-level features from raw pixels using contrastive learning and performs offpolicy control on top of the extracted features. CURL outperforms prior pixel-based methods, both model-based and model-free, on complex tasks in the DeepMind Control Suite and Atari Games showing 1.9x and 1.2x performance gains at the 100K environment and interaction steps benchmarks respectively. On the DeepMind Control Suite, CURL is the first image-based algorithm to nearly match the sample-efficiency of methods that use state-based features. Our code is open-sourced and available at https://www. github.com/MishaLaskin/curl.

离线增强学习（RL）定义了从静态记录数据集学习的任务，而无需与环境不断交互。学识渊博的政策与行为政策之间的分配变化使得价值函数必须保持保守，以使分布（OOD）的动作不会被严重高估。但是，现有的方法，对看不见的行为进行惩罚或与行为政策进行正规化，太悲观了，这抑制了价值功能的概括并阻碍了性能的提高。本文探讨了温和但足够的保守主义，可以在线学习，同时不损害概括。我们提出了轻度保守的Q学习（MCQ），其中通过分配了适当的伪Q值来积极训练OOD。从理论上讲，我们表明MCQ诱导了至少与行为策略的行为，并且对OOD行动不会发生错误的高估。 D4RL基准测试的实验结果表明，与先前的工作相比，MCQ取得了出色的性能。此外，MCQ在从离线转移到在线时显示出卓越的概括能力，并明显胜过基准。

In recent years distributional reinforcement learning has produced many state of the art results. Increasingly sample efficient Distributional algorithms for the discrete action domain have been developed over time that vary primarily in the way they parameterize their approximations of value distributions, and how they quantify the differences between those distributions. In this work we transfer three of the most well-known and successful of those algorithms (QR-DQN, IQN and FQF) to the continuous action domain by extending two powerful actor-critic algorithms (TD3 and SAC) with distributional critics. We investigate whether the relative performance of the methods for the discrete action space translates to the continuous case. To that end we compare them empirically on the pybullet implementations of a set of continuous control tasks. Our results indicate qualitative invariance regarding the number and placement of distributional atoms in the deterministic, continuous action setting.

The deep reinforcement learning community has made several independent improvements to the DQN algorithm. However, it is unclear which of these extensions are complementary and can be fruitfully combined. This paper examines six extensions to the DQN algorithm and empirically studies their combination. Our experiments show that the combination provides state-of-the-art performance on the Atari 2600 benchmark, both in terms of data efficiency and final performance. We also provide results from a detailed ablation study that shows the contribution of each component to overall performance.

最近的工作表明，离线增强学习（RL）可以作为序列建模问题（Chen等，2021; Janner等，2021）配制，并通过类似于大规模语言建模的方法解决。但是，RL的任何实际实例化也涉及一个在线组件，在线组件中，通过与环境的任务规定相互作用对被动离线数据集进行了预测的策略。我们建议在线决策变压器（ODT），这是一种基于序列建模的RL算法，该算法将离线预处理与统一框架中的在线填充融为一体。我们的框架将序列级熵正规仪与自回归建模目标结合使用，用于样品效率探索和填充。从经验上讲，我们表明ODT在D4RL基准上的绝对性能中与最先进的表现具有竞争力，但在填充过程中显示出更大的收益。

在离线强化学习（离线RL）中，主要挑战之一是处理学习策略与给定数据集之间的分布转变。为了解决这个问题，最近的离线RL方法试图引入保守主义偏见，以鼓励在高信心地区学习。无模型方法使用保守的正常化或特殊网络结构直接对策略或价值函数学习进行这样的偏见，但它们约束的策略搜索限制了脱机数据集之外的泛化。基于模型的方法使用保守量量化学习前瞻性动态模型，然后生成虚构的轨迹以扩展脱机数据集。然而，由于离线数据集中的有限样本，保守率量化通常在支撑区域内遭受全面化。不可靠的保守措施将误导基于模型的想象力，以不受欢迎的地区，导致过多的行为。为了鼓励更多的保守主义，我们提出了一种基于模型的离线RL框架，称为反向离线模型的想象（ROMI）。我们与新颖的反向策略结合使用逆向动力学模型，该模型可以生成导致脱机数据集中的目标目标状态的卷展栏。这些反向的想象力提供了无通知的数据增强，以便无模型策略学习，并使远程数据集的保守概括。 ROMI可以有效地与现成的无模型算法组合，以实现基于模型的概括，具有适当的保守主义。经验结果表明，我们的方法可以在离线RL基准任务中产生更保守的行为并实现最先进的性能。

横跨街机学习环境，彩虹实现了对人类和现代RL算法的竞争程度。然而，获得这种性能水平需要大量的数据和硬件资源，在该区域进行研究计算地昂贵并且在实际应用中使用通常是不可行的。本文的贡献是三倍：我们（1）提出了一种改进的彩虹版本，寻求大大减少彩虹的数据，培训时间和计算要求，同时保持其竞争性能; （2）我们通过实验通过对街机学习环境的实验来证明我们的方法的有效性，以及（3）我们进行了许多消融研究，以研究个体提出的修改的效果。我们改进的Rainbow版本达到了靠近经典彩虹的中位数的人为规范化分数，而使用20倍的数据，只需要7.5小时的单个GPU培训时间。我们还提供了我们的全部实施，包括预先训练的型号。