最近基于进化的零级优化方法和基于策略梯度的一阶方法是解决加强学习（RL）问题的两个有希望的替代方案。前者的方法与任意政策一起工作，依赖状态依赖和时间扩展的探索，具有健壮性的属性，但遭受了较高的样本复杂性，而后者的方法更有效，但仅限于可区分的政策，并且学习的政策是不太强大。为了解决这些问题，我们提出了一种新颖的零级演员 - 批评算法（ZOAC），该算法将这两种方法统一为派对演员 - 批判性结构，以保留两者的优势。 ZOAC在参数空间，一阶策略评估（PEV）和零订单策略改进（PIM）的参数空间中进行了推出集合，每次迭代中都会进行推出。我们使用不同类型的策略在广泛的挑战连续控制基准上进行广泛评估我们的方法，其中ZOAC优于零阶和一阶基线算法。

为设计控制器选择适当的参数集对于最终性能至关重要，但通常需要一个乏味而仔细的调整过程，这意味着强烈需要自动调整方法。但是，在现有方法中，无衍生物的可扩展性或效率低下，而基于梯度的方法可能由于可能是非差异的控制器结构而无法使用。为了解决问题，我们使用新颖的无衍生化强化学习（RL）框架来解决控制器调整问题，该框架在经验收集过程中在参数空间中执行时间段的扰动，并将无衍生策略更新集成到高级参与者 - 批判性RL中实现高多功能性和效率的体系结构。为了证明该框架的功效，我们在自动驾驶的两个具体示例上进行数值实验，即使用PID控制器和MPC控制器进行轨迹跟踪的自适应巡航控制。实验结果表明，所提出的方法的表现优于流行的基线，并突出了其强大的控制器调整潜力。

尽管政策梯度方法的普及日益越来越大，但它们尚未广泛用于样品稀缺应用，例如机器人。通过充分利用可用信息，可以提高样本效率。作为强化学习中的关键部件，奖励功能通常仔细设计以引导代理商。因此，奖励功能通常是已知的，允许访问不仅可以访问标量奖励信号，而且允许奖励梯度。为了从奖励梯度中受益，之前的作品需要了解环境动态，这很难获得。在这项工作中，我们开发\ Textit {奖励政策梯度}估计器，这是一种新的方法，可以在不学习模型的情况下整合奖励梯度。绕过模型动态允许我们的估算器实现更好的偏差差异，这导致更高的样本效率，如经验分析所示。我们的方法还提高了在不同的Mujoco控制任务上的近端策略优化的性能。

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

In this paper we consider deterministic policy gradient algorithms for reinforcement learning with continuous actions. The deterministic policy gradient has a particularly appealing form: it is the expected gradient of the action-value function. This simple form means that the deterministic policy gradient can be estimated much more efficiently than the usual stochastic policy gradient. To ensure adequate exploration, we introduce an off-policy actor-critic algorithm that learns a deterministic target policy from an exploratory behaviour policy. We demonstrate that deterministic policy gradient algorithms can significantly outperform their stochastic counterparts in high-dimensional action spaces.

学习评估和改善政策是加强学习（RL）的核心问题。传统的RL算法学习为单个策略定义的值函数。最近探索的竞争选择是学习许多策略的单个价值功能。在这里，我们结合了基于参数的价值函数的参与者批判性架构和策略评估网络的策略嵌入，以学习评估（并从而有助于改善）的单个价值函数，以改善深度神经网络（NN）代表的任何策略。该方法产生竞争性的实验结果。在无限多个状态的连续控制问题中，我们的价值函数通过同时学习一小部分“探测状态”和从探测状态在策略返回中产生的动作的映射来最大程度地减少其预测错误。该方法以极少数状态的形式提取有关环境的重要抽象知识，足以完全指定许多政策的行为。策略仅通过改变探测状态的动作，遵循值函数的预测的梯度来改善。令人惊讶的是，只有通过分别知道如何在3和5的5个这样的国家中采取行动，才有可能克隆在游泳者V3和Hopper-V3环境中近乎最佳政策的行为。值得注意的是，我们经过评估NN策略的培训的价值功能也与政策体系结构的变化也不变：我们表明，它允许零拍学习线性策略的竞争力与培训中最佳政策竞争。我们的代码是公开的。

由于策略梯度定理导致的策略设置存在各种理论上 - 声音策略梯度算法，其为梯度提供了简化的形式。然而，由于存在多重目标和缺乏明确的脱助政策政策梯度定理，截止策略设置不太明确。在这项工作中，我们将这些目标统一到一个违规目标，并为此统一目标提供了政策梯度定理。推导涉及强调的权重和利息职能。我们显示多种策略来近似梯度，以识别权重（ACE）称为Actor评论家的算法。我们证明了以前（半梯度）脱离政策演员 - 评论家 - 特别是offpac和DPG - 收敛到错误的解决方案，而Ace找到最佳解决方案。我们还强调为什么这些半梯度方法仍然可以在实践中表现良好，表明ace中的方差策略。我们经验研究了两个经典控制环境的若干ACE变体和基于图像的环境，旨在说明每个梯度近似的权衡。我们发现，通过直接逼近强调权重，ACE在所有测试的所有设置中执行或优于offpac。

基于我们先前关于绿色仿真辅助政策梯度（GS-PG）的研究，重点是基于轨迹的重复使用，在本文中，我们考虑了无限 - 马尔可夫马尔可夫决策过程，并创建了一种新的重要性采样策略梯度优化的方法来支持动态决策制造。现有的GS-PG方法旨在从完整的剧集或过程轨迹中学习，这将其适用性限制在低数据状态和灵活的在线过程控制中。为了克服这一限制，提出的方法可以选择性地重复使用最相关的部分轨迹，即，重用单元基于每步或每次派遣的历史观察。具体而言，我们创建了基于混合的可能性比率（MLR）策略梯度优化，该优化可以利用不同行为政策下产生的历史状态行动转变中的信息。提出的减少差异经验重播（VRER）方法可以智能地选择和重复使用最相关的过渡观察，改善策略梯度估计并加速最佳政策的学习。我们的实证研究表明，它可以改善优化融合并增强最先进的政策优化方法的性能，例如Actor-Critic方法和近端政策优化。

Policy gradient methods are an appealing approach in reinforcement learning because they directly optimize the cumulative reward and can straightforwardly be used with nonlinear function approximators such as neural networks. The two main challenges are the large number of samples typically required, and the difficulty of obtaining stable and steady improvement despite the nonstationarity of the incoming data. We address the first challenge by using value functions to substantially reduce the variance of policy gradient estimates at the cost of some bias, with an exponentially-weighted estimator of the advantage function that is analogous to TD(λ). We address the second challenge by using trust region optimization procedure for both the policy and the value function, which are represented by neural networks. Our approach yields strong empirical results on highly challenging 3D locomotion tasks, learning running gaits for bipedal and quadrupedal simulated robots, and learning a policy for getting the biped to stand up from starting out lying on the ground. In contrast to a body of prior work that uses hand-crafted policy representations, our neural network policies map directly from raw kinematics to joint torques. Our algorithm is fully model-free, and the amount of simulated experience required for the learning tasks on 3D bipeds corresponds to 1-2 weeks of real time.

研究表明，进化策略（ES）是具有深层神经网络的强化学习（RL）的有前途的方法。但是，高样本复杂性的问题仍然存在于ES对深度RL的应用中。本文是第一个通过新颖的神经进化多任务处理（NUEMT）算法解决当今方法的缺点，该算法旨在将信息从一组（短情节长度）转移到目标（全长）的RL任务。从目标中提取的辅助任务允许代理更新并快速评估较短时间范围的策略。然后转移进化的技能，以指导更长，更艰巨的任务实现最佳政策。我们证明了NUEMT算法达到了数据叶进化RL，从而减少了昂贵的代理环境相互作用数据要求。在这种情况下，我们的主要算法贡献是首次基于统计重要性抽样技术引入多任务技能转移机制。此外，利用自适应资源分配策略将计算资源分配给基于其收集的实用性的辅助任务。关于OpenAI体育馆的一系列连续控制任务的实验证实，与最近的ES基线相比，我们提出的算法有效。

为了在许多因素动态影响输出轨迹的复杂随机系统上学习，希望有效利用从以前迭代中收集的历史样本中的信息来加速策略优化。经典的经验重播使代理商可以通过重复使用历史观察来记住。但是，处理所有观察结果的统一重复使用策略均忽略了不同样本的相对重要性。为了克服这一限制，我们提出了一个基于一般差异的经验重播（VRER）框架，该框架可以选择性地重复使用最相关的样本以改善策略梯度估计。这种选择性机制可以自适应地对过去的样品增加重量，这些样本更可能由当前目标分布产生。我们的理论和实证研究表明，提议的VRER可以加速学习最佳政策，并增强最先进的政策优化方法的性能。

为了在许多因素动态影响输出轨迹的复杂随机系统上学习，希望有效利用从以前迭代中收集的历史样本中的信息来加速策略优化。经典的经验重播使代理商可以通过重复使用历史观察来记住。但是，处理所有观察结果的统一重复使用策略均忽略了不同样本的相对重要性。为了克服这一限制，我们提出了一个基于一般差异的经验重播（VRER）框架，该框架可以选择性地重复使用最相关的样本以改善策略梯度估计。这种选择性机制可以自适应地对过去的样品增加重量，这些样本更可能由当前目标分布产生。我们的理论和实证研究表明，提议的VRER可以加速学习最佳政策，并增强最先进的政策优化方法的性能。

政策梯度定理（Sutton等，2000）规定了目标政策下的累积折扣国家分配以近似梯度。实际上，基于该定理的大多数算法都打破了这一假设，引入了分布转移，该分配转移可能导致逆转溶液的收敛性。在本文中，我们提出了一种新的方法，可以从开始状态重建政策梯度，而无需采取特定的采样策略。可以根据梯度评论家来简化此形式的策略梯度计算，由于梯度的新钟声方程式，可以递归估算。通过使用来自差异数据流的梯度评论家的时间差异更新，我们开发了第一个以无模型方式避开分布变化问题的估计器。我们证明，在某些可实现的条件下，无论采样策略如何，我们的估计器都是公正的。我们从经验上表明，我们的技术在存在非政策样品的情况下实现了卓越的偏见变化权衡和性能。

最近已结合了进化算法（EAS）和深度加强学习（DRL）以集成两个解决方案的优势以获得更好的政策学习。然而，在现有的混合方法中，EA用于直接培训策略网络，这将导致对政策绩效的样本效率和不可预测的影响。为了更好地整合这两种方法并避免引入EA引起的缺点，我们致力于设计更有效和合理的结合EA和DRL的方法。在本文中，我们提出了进化行动选择 - 双胞胎延迟深度确定性政策梯度（EAS-TD3），是EA和DRL的新组合。在EAS中，我们专注于优化策略网络选择的动作，并尝试通过进化算法来指导策略学习的高质量行动。我们对挑战的连续控制任务进行了几个实验。结果表明，EAS-TD3在其他最先进的方法中显示出优异的性能。

Deep reinforcement learning is poised to revolutionise the field of AI and represents a step towards building autonomous systems with a higher level understanding of the visual world. Currently, deep learning is enabling reinforcement learning to scale to problems that were previously intractable, such as learning to play video games directly from pixels. Deep reinforcement learning algorithms are also applied to robotics, allowing control policies for robots to be learned directly from camera inputs in the real world. In this survey, we begin with an introduction to the general field of reinforcement learning, then progress to the main streams of value-based and policybased methods. Our survey will cover central algorithms in deep reinforcement learning, including the deep Q-network, trust region policy optimisation, and asynchronous advantage actor-critic. In parallel, we highlight the unique advantages of deep neural networks, focusing on visual understanding via reinforcement learning. To conclude, we describe several current areas of research within the field.

深层确定性的非政策算法的类别有效地用于解决具有挑战性的连续控制问题。但是，当前的方法使用随机噪声作为一种常见的探索方法，该方法具有多个弱点，例如需要对给定任务进行手动调整以及在训练过程中没有探索性校准。我们通过提出一种新颖的指导探索方法来应对这些挑战，该方法使用差异方向控制器来结合可扩展的探索性动作校正。提供探索性方向的蒙特卡洛评论家合奏作为控制器。提出的方法通过动态改变勘探来改善传统探索方案。然后，我们提出了一种新颖的算法，利用拟议的定向控制器进行政策和评论家修改。所提出的算法在DMControl Suite的各种问题上都优于现代增强算法的现代增强算法。

Softmax政策的政策梯度（PG）估计与子最佳饱和初始化无效，当密度集中在次良动作时发生。从策略初始化或策略已经收敛后发生的环境的突然变化可能会出现次优策略饱和度，并且SoftMax PG估计器需要大量更新以恢复有效的策略。这种严重问题导致高样本低效率和对新情况的适应性差。为缓解此问题，我们提出了一种新的政策梯度估计，用于软MAX策略，该估计在批评中利用批评中的偏差和奖励信号中存在的噪声来逃避策略参数空间的饱和区域。我们对匪徒和古典MDP基准测试任务进行了分析和实验，表明我们的估算变得更加坚固，以便对政策饱和度更加强大。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

我们研究了强化学习（RL）中的策略扩展值函数近似器（PEVFA），其扩展了传统的价值函数近似器（VFA），不仅将输入的输入（和动作）而且是一个显式策略表示。这样的扩展使PEVFA能够同时保留多个策略的值，并带来吸引人的特性，即\ \ emph {策略之间的值泛化}。我们正式分析了广义政策迭代（GPI）下的价值概括。从理论和经验镜头来看，PEVFA提供的广义值估计值可能对连续策略的真实值较低的初始近似误差，这预计将在GPI期间提高连续值近似。基于上述线索，我们介绍了一种新的GPI形式，PEVFA，利用了政策改进路径的价值泛化。此外，我们向RL策略提出了一个表示学习框架，提供了从策略网络参数或状态操作对中学习有效策略嵌入的几种方法。在我们的实验中，我们评估了PEVFA和政策代表学习在几个Openai健身房连续控制任务中提供的价值概括的效果。对于算法实现的代表性实例，在GPI的GPI范式下重新实现的近端策略优化（PPO）在大多数环境中对其VANILLA对应物的绩效改进约为40 \％。

进化策略（ES）是一种基于自然进化概念的强大黑盒优化技术。在其每个迭代中，一个关键步骤都需要根据一些健身分数进行排名候选解决方案。对于增强学习的ES方法（RL），此排名步骤需要评估多个策略。目前是通过政策方法完成的：通过使用该策略与环境进行多次交互来估算每个政策的分数。这导致了很多浪费的互动，因为一旦排名完成，与排名最高的策略相关的数据仅用于后续学习。为了提高样品效率，我们基于适应性函数的局部近似，提出了一种新型的分支替代方案。我们在称为增强随机搜索（ARS）的最先进的ES方法的背景下演示了我们的想法。 Mujoco任务中的仿真表明，与原始ARS相比，我们的非政策变体具有相似的运行时间，即可达到奖励阈值，但仅需要70％左右的数据。它还胜过最近的信任区域。我们认为我们的想法也应该扩展到其他ES方法。