Reinforcement Learning is a powerful tool to model decision-making processes. However, it relies on an exploration-exploitation trade-off that remains an open challenge for many tasks. In this work, we study neighboring state-based, model-free exploration led by the intuition that, for an early-stage agent, considering actions derived from a bounded region of nearby states may lead to better actions when exploring. We propose two algorithms that choose exploratory actions based on a survey of nearby states, and find that one of our methods, ${\rho}$-explore, consistently outperforms the Double DQN baseline in an discrete environment by 49\% in terms of Eval Reward Return.

最大熵增强学习（MaxEnt RL）算法，如软Q-Learning（SQL）和软演员 - 评论家权衡奖励和政策熵，有可能提高培训稳定性和鲁棒性。然而，大多数最大的RL方法使用恒定的权衡系数（温度），与温度应该在训练早期高的直觉相反，以避免对嘈杂的价值估算和减少培训后，我们越来越多地信任高价值估计，避免危险的估算和减少导致好奖励。此外，我们对价值估计的置信度是国家依赖的，每次使用更多证据来更新估算时都会增加。在本文中，我们提出了一种简单的状态温度调度方法，并将其实例化为基于计数的软Q学习（CBSQL）。我们在玩具领域以及在几个Atari 2600域中评估我们的方法，并显示有前途的结果。

我们确定和研究政策流失的现象，即基于价值的强化学习中贪婪政策的快速变化。政策流失以惊人的快速步伐运作，改变了少数学习更新（在Atari上的DQN等典型的深层RL设置中）中大量州的贪婪行动。我们从经验上表征了现象，验证它不限于特定算法或环境特性。许多消融有助于削弱关于为什么流失仅与深度学习有关的少数相关的合理解释。最后，我们假设政策流失是一种有益但被忽视的隐性探索形式，它以新鲜的方式铸造了$ \ epsilon $ greedy探索，即$ \ epsilon $ - noise的作用比预期的要小得多。

Deep reinforcement learning (RL) has achieved several high profile successes in difficult decision-making problems. However, these algorithms typically require a huge amount of data before they reach reasonable performance. In fact, their performance during learning can be extremely poor. This may be acceptable for a simulator, but it severely limits the applicability of deep RL to many real-world tasks, where the agent must learn in the real environment. In this paper we study a setting where the agent may access data from previous control of the system. We present an algorithm, Deep Q-learning from Demonstrations (DQfD), that leverages small sets of demonstration data to massively accelerate the learning process even from relatively small amounts of demonstration data and is able to automatically assess the necessary ratio of demonstration data while learning thanks to a prioritized replay mechanism. DQfD works by combining temporal difference updates with supervised classification of the demonstrator's actions. We show that DQfD has better initial performance than Prioritized Dueling Double Deep Q-Networks (PDD DQN) as it starts with better scores on the first million steps on 41 of 42 games and on average it takes PDD DQN 83 million steps to catch up to DQfD's performance. DQfD learns to out-perform the best demonstration given in 14 of 42 games. In addition, DQfD leverages human demonstrations to achieve state-of-the-art results for 11 games. Finally, we show that DQfD performs better than three related algorithms for incorporating demonstration data into DQN.

Efficient exploration remains a major challenge for reinforcement learning (RL). Common dithering strategies for exploration, such as -greedy, do not carry out temporally-extended (or deep) exploration; this can lead to exponentially larger data requirements. However, most algorithms for statistically efficient RL are not computationally tractable in complex environments. Randomized value functions offer a promising approach to efficient exploration with generalization, but existing algorithms are not compatible with nonlinearly parameterized value functions. As a first step towards addressing such contexts we develop bootstrapped DQN. We demonstrate that bootstrapped DQN can combine deep exploration with deep neural networks for exponentially faster learning than any dithering strategy. In the Arcade Learning Environment bootstrapped DQN substantially improves learning speed and cumulative performance across most games.

许多实际强化学习（RL）应用中的无处不在的要求，包括医疗，建议制度，教育和机器人，是实际与环境互动的部署政策无法频繁变化。这种RL设置称为低交换成本RL，即，实现最高奖励，同时在培训期间减少策略交换机的数量。尽管最近旨在设计具有低开关成本的可透明的RL算法的理论研究的趋势，但在流行的RL试验台中没有任何现有方法已经完全评估。在本文中，我们系统地研究了广泛的策略切换方法，包括理论上的标准，基于政策差异的方法和非自适应基线。通过对医疗环境的大量实验，Atari Games和机器人控制任务，我们为低交换成本RL提供了第一个实证基准，并在如何降低交换成本的同时对其进行相似的样本效率来报告新的调查结果没有低切换成本约束的情况。我们希望该基准测试可以作为开发更实际有效的低开关成本RL算法的起点。我们在https://sites.google.com/view/low-switching-cost-rl中发布了我们的代码和完成结果。

Q学习是最著名的增强学习算法之一。使用神经网络开发该算法已经做出了巨大的努力。其中包括引导深度Q学习网络。它利用多个神经网络头将多样性引入Q学习。有时可以将多样性视为代理商在给定状态下可以采取的合理移动量，类似于RL勘探比的定义。因此，引导深度Q学习网络的性能与算法中的多样性水平深厚相关。在最初的研究中，有人指出，随机的先验可以提高模型的性能。在本文中，我们进一步探讨了用噪声代替先验的可能性，并从高斯分布中采样噪声，以将更多的多样性引入该算法。我们对Atari基准测试进行实验，并将我们的算法与原始算法和其他相关算法进行比较。结果表明，我们对自举的深Q学习算法的修改可在不同类型的Atari游戏中获得更高的评估得分。因此，我们得出的结论是，用噪声代替先验可以通过确保多样性的完整性来改善自举的深度Q学习的性能。

Off-policy reinforcement learning (RL) using a fixed offline dataset of logged interactions is an important consideration in real world applications. This paper studies offline RL using the DQN Replay Dataset comprising the entire replay experience of a DQN agent on 60 Atari 2600 games. We demonstrate that recent off-policy deep RL algorithms, even when trained solely on this fixed dataset, outperform the fully-trained DQN agent. To enhance generalization in the offline setting, we present Random Ensemble Mixture (REM), a robust Q-learning algorithm that enforces optimal Bellman consistency on random convex combinations of multiple Q-value estimates. Offline REM trained on the DQN Replay Dataset surpasses strong RL baselines. Ablation studies highlight the role of offline dataset size and diversity as well as the algorithm choice in our positive results. Overall, the results here present an optimistic view that robust RL algorithms used on sufficiently large and diverse offline datasets can lead to high quality policies. To provide a testbed for offline RL and reproduce our results, the DQN Replay Dataset is released at offline-rl.github.io.

The deep reinforcement learning community has made several independent improvements to the DQN algorithm. However, it is unclear which of these extensions are complementary and can be fruitfully combined. This paper examines six extensions to the DQN algorithm and empirically studies their combination. Our experiments show that the combination provides state-of-the-art performance on the Atari 2600 benchmark, both in terms of data efficiency and final performance. We also provide results from a detailed ablation study that shows the contribution of each component to overall performance.

Atari games have been a long-standing benchmark in the reinforcement learning (RL) community for the past decade. This benchmark was proposed to test general competency of RL algorithms. Previous work has achieved good average performance by doing outstandingly well on many games of the set, but very poorly in several of the most challenging games. We propose Agent57, the first deep RL agent that outperforms the standard human benchmark on all 57 Atari games. To achieve this result, we train a neural network which parameterizes a family of policies ranging from very exploratory to purely exploitative. We propose an adaptive mechanism to choose which policy to prioritize throughout the training process. Additionally, we utilize a novel parameterization of the architecture that allows for more consistent and stable learning.

最近的研究表明，深层增强学习剂容易受到代理投入的小对抗扰动，这提出了对在现实世界中部署这些药剂的担忧。为了解决这个问题，我们提出了一个主要的框架，是培训加强学习代理的主要框架，以改善鲁棒性，以防止$ L_P $ -NORM偏见的对抗性攻击。我们的框架与流行的深度加强学习算法兼容，我们用深Q学习，A3C和PPO展示了其性能。我们在三个深度RL基准（Atari，Mujoco和Procgen）上进行实验，以展示我们稳健的培训算法的有效性。我们的径向-RL代理始终如一地占据了不同强度的攻击时的现有方法，并且培训更加计算效率。此外，我们提出了一种新的评估方法，称为贪婪最坏情况奖励（GWC）来衡量深度RL代理商的攻击不良鲁棒性。我们表明GWC可以有效地评估，并且对最糟糕的对抗攻击序列是对奖励的良好估计。用于我们实验的所有代码可在https://github.com/tuomaso/radial_rl_v2上获得。

In recent years there have been many successes of using deep representations in reinforcement learning. Still, many of these applications use conventional architectures, such as convolutional networks, LSTMs, or auto-encoders. In this paper, we present a new neural network architecture for model-free reinforcement learning. Our dueling network represents two separate estimators: one for the state value function and one for the state-dependent action advantage function. The main benefit of this factoring is to generalize learning across actions without imposing any change to the underlying reinforcement learning algorithm. Our results show that this architecture leads to better policy evaluation in the presence of many similar-valued actions. Moreover, the dueling architecture enables our RL agent to outperform the state-of-the-art on the Atari 2600 domain.

机器学习算法中多个超参数的最佳设置是发出大多数可用数据的关键。为此目的，已经提出了几种方法，例如进化策略，随机搜索，贝叶斯优化和启发式拇指规则。在钢筋学习（RL）中，学习代理在与其环境交互时收集的数据的信息内容严重依赖于许多超参数的设置。因此，RL算法的用户必须依赖于基于搜索的优化方法，例如网格搜索或Nelder-Mead单简单算法，这对于大多数R1任务来说是非常效率的，显着减慢学习曲线和离开用户的速度有目的地偏见数据收集的负担。在这项工作中，为了使RL算法更加用户独立，提出了一种使用贝叶斯优化的自主超参数设置的新方法。来自过去剧集和不同的超参数值的数据通过执行行为克隆在元学习水平上使用，这有助于提高最大化获取功能的加强学习变体的有效性。此外，通过紧密地整合在加强学习代理设计中的贝叶斯优化，还减少了收敛到给定任务的最佳策略所需的状态转换的数量。与其他手动调整和基于优化的方法相比，计算实验显示了有希望的结果，这突出了改变算法超级参数来增加所生成数据的信息内容的好处。

自成立以来，建立在广泛任务中表现出色的普通代理的任务一直是强化学习的重要目标。这个问题一直是对Alarge工作体系的研究的主题，并且经常通过观察Atari 57基准中包含的广泛范围环境的分数来衡量的性能。 Agent57是所有57场比赛中第一个超过人类基准的代理商，但这是以数据效率差的代价，需要实现近800亿帧的经验。以Agent57为起点，我们采用了各种各样的形式，以降低超过人类基线所需的经验200倍。在减少数据制度和Propose有效的解决方案时，我们遇到了一系列不稳定性和瓶颈，以构建更强大，更有效的代理。我们还使用诸如Muesli和Muzero之类的高性能方法证明了竞争性的性能。 TOOUR方法的四个关键组成部分是（1）近似信任区域方法，该方法可以从TheOnline网络中稳定引导，（2）损失和优先级的归一化方案，在学习具有广泛量表的一组值函数时，可以提高鲁棒性， （3）改进的体系结构采用了NFNET的技术技术来利用更深的网络而无需标准化层，并且（4）政策蒸馏方法可使瞬时贪婪的策略加班。

大多数强化学习算法都利用了经验重播缓冲液，以反复对代理商过去观察到的样本进行训练。这样可以防止灾难性的遗忘，但是仅仅对每个样本都分配了同等的重要性是一种天真的策略。在本文中，我们提出了一种根据样本可以从样本中学到多少样本确定样本优先级的方法。我们将样本的学习能力定义为随着时间的推移，与该样品相关的训练损失的稳定减少。我们开发了一种算法，以优先考虑具有较高学习能力的样本，同时将优先级较低，为那些难以学习的样本，通常是由噪声或随机性引起的。我们从经验上表明，我们的方法比随机抽样更强大，而且比仅在训练损失方面优先排序更好，即时间差损失，这是在香草优先的经验重播中使用的。

经验重播方法是加固学习（RL）算法的重要组成部分，旨在减轻伪造的相关性和偏见，同时从时间依赖的数据中学习。粗略地说，这些方法使我们能够从大型缓冲液中绘制批处理的数据，从而使这些时间相关性不会妨碍下降算法的性能。在这项实验工作中，我们考虑了最近开发和理论上严格的反向经验重播（RER），该重播已被证明可以消除简化的理论环境中的这种虚假偏见。我们将RER与乐观的经验重播（OER）相结合，以获得RER ++，在神经功能近似下这是稳定的。我们通过实验表明，在各种任务上的优先体验重播（PER）等技术的性能要比计算复杂性明显较小，具有更好的性能。在RL文献中众所周知，选择最大的TD误差（如OER）或形成具有连续数据点（如RER）的迷你批次而贪婪地选择示例。但是，结合这些技术的方法效果很好。

本文介绍了用于交易单一资产的双重Q网络算法，即E-MINI S＆P 500连续期货合约。我们使用经过验证的设置作为我们环境的基础，并具有多个扩展。我们的贸易代理商的功能不断扩展，包括其他资产，例如商品，从而产生了四种型号。我们还应对环境条件，包括成本和危机。我们的贸易代理商首先接受了特定时间段的培训，并根据新数据进行了测试，并将其与长期策略（市场）进行了比较。我们分析了各种模型与样本中/样本外性能之间有关环境的差异。实验结果表明，贸易代理人遵循适当的行为。它可以将其政策调整为不同的情况，例如在存在交易成本时更广泛地使用中性位置。此外，净资产价值超过了基准的净值，代理商在测试集中的市场优于市场。我们使用DDQN算法对代理商在金融领域中的行为提供初步见解。这项研究的结果可用于进一步发展。

近年来，已经引入了越来越多的基于模型的强化学习（RL）方法。鉴于其许多潜在的好处，例如更高的样本效率和快速适应环境变化的潜力，对基于深层模型的RL的兴趣并不奇怪。但是，我们证明，使用最近引入的本地变化适应（LOCA）设置的改进版本，众所周知的基于模型的方法（例如Planet和Dreamerv2）在适应本地环境变化的能力方面表现不佳。结合先前的工作，对其他基于模型的方法Muzero进行了类似的观察，似乎出现了一种趋势，这表明当前基于深层模型的方法具有严重的局限性。我们通过识别损害适应性行为并将其与经常在基于DEEP模型的RL中经常使用的基础技术联系起来的元素，深入研究这种绩效不佳的原因。在线性函数近似的情况下，我们通过证明了线性DyNA的修改版本实现有效适应局部变化，从而验证了这些见解。此外，我们通过实验非线性版本的DYNA来提供详细的见解，以了解构建基于自适应非线性模型方法的挑战。

不确定性量化是现实世界应用中机器学习的主要挑战之一。在强化学习中，一个代理人面对两种不确定性，称为认识论不确定性和态度不确定性。同时解开和评估这些不确定性，有机会提高代理商的最终表现，加速培训并促进部署后的质量保证。在这项工作中，我们为连续控制任务的不确定性感知强化学习算法扩展了深层确定性策略梯度算法（DDPG）。它利用了认识论的不确定性，以加快探索和不确定性来学习风险敏感的政策。我们进行数值实验，表明我们的DDPG变体在机器人控制和功率网络优化方面的基准任务中均优于香草DDPG而没有不确定性估计。

近年来，近年来开发新药和治疗的成本上升导致了在生物分子设计中的优化技术方面进行了广泛的研究。目前，使用最广泛的生物分子设计方法是针对演化的，这是一种贪婪的爬山算法，用于模拟生物学进化。在本文中，我们提出了一种对RNA序列设计应用增强学习的新基准，其中目标函数被定义为序列的二级结构中的自由能。除了从标准库中进行每个强化学习算法的VANILLA实现外，我们还分析了每种算法的变体，我们修改了算法的奖励函数并调整了模型的超参数。我们展示了我们为这些算法做的消融分析的结果，以及指示批量批量性能的图表及其搜索RNA序列可能空间的能力。我们发现我们的DQN算法在此设置中最佳地执行，与之对比，其中PPO在所有测试算法中表现最佳。我们的结果应该对生物分子设计社区中的结果感兴趣，应作为涉及分子设计机器学习的未来实验的基线。