通过提供丰富的训练信号来塑造代理人的潜国空间，建模世界可以使机器人学习受益。然而，在诸如图像之类的高维观察空间上的无约束环境中学习世界模型是具有挑战性的。一个难度来源是存在无关但难以模范的背景干扰，以及不重要的任务相关实体的视觉细节。我们通过学习经常性潜在的动态模型来解决这个问题，该模型对比预测下一次观察。即使使用同时的相机，背景和色调分散，这种简单的模型也会导致令人惊讶的鲁棒机器人控制。我们优于替代品，如双刺激方法，这些方法施加来自未来奖励或未来最佳行为的不同性措施。我们在分散注意力控制套件上获得最先进的结果，是基于像素的机器人控制的具有挑战性的基准。

We present CURL: Contrastive Unsupervised Representations for Reinforcement Learning. CURL extracts high-level features from raw pixels using contrastive learning and performs offpolicy control on top of the extracted features. CURL outperforms prior pixel-based methods, both model-based and model-free, on complex tasks in the DeepMind Control Suite and Atari Games showing 1.9x and 1.2x performance gains at the 100K environment and interaction steps benchmarks respectively. On the DeepMind Control Suite, CURL is the first image-based algorithm to nearly match the sample-efficiency of methods that use state-based features. Our code is open-sourced and available at https://www. github.com/MishaLaskin/curl.

基于像素的控制的学习表示，最近在加固学习中获得了重大关注。已经提出了广泛的方法来实现高效学习，导致类似于完整状态设置中的复杂性。然而，超越仔细策划的像素数据集（以居中作物，适当的照明，清晰的背景等）仍然具有挑战性。在本文中，我们采用更困难的环境，纳入背景干扰者，作为解决这一挑战的第一步。我们提出了一种简单的基线方法，可以学习有意义的表示，没有基于度量的学习，没有数据增强，没有世界模型学习，也没有对比学习。然后，我们分析何时何种以及为什么先前提出的方法可能会失败或减少与此更难设置中的基线相同的表现，以及为什么我们应该仔细考虑扩展在井策良好环境之外的这种方法。我们的研究结果表明，基于奖励密度，问题的规划地平线，任务 - 无关组件等的规划等的粮食基准，对评估算法至关重要。基于这些观察，我们提出了在评估基准任务的算法时考虑不同的指标。我们希望在调查如何最佳地将RL应用于现实世界任务时激励研究人员对重新思考代表学习来激发研究人员。

从像素中学习控制很难进行加固学习（RL）代理，因为表示和政策学习是交织在一起的。以前的方法通过辅助表示任务来解决这个问题，但他们要么不考虑问题的时间方面，要么仅考虑单步过渡。取而代之的是，我们提出了层次结构$ k $ -Step Letent（HKSL），这是一项辅助任务，通过向前模型的层次结构来学习表示形式，该层次结构以不同的步骤跳过的不同幅度运行，同时也学习在层次结构中的级别之间进行交流。我们在30个机器人控制任务的套件中评估了HKSL，发现HKSL要么比几个当前基线更快地达到更高的发作回报或收敛到最高性能。此外，我们发现，HKSL层次结构中的水平可以学会专注于代理行动的长期或短期后果，从而为下游控制政策提供更有信息的表示。最后，我们确定层次结构级别之间的通信渠道基于通信过程的两侧组织信息，从而提高了样本效率。

深度强化学习（DRL）代理通常对在训练环境中看不见的视觉变化敏感。为了解决此问题，我们利用RL的顺序性质来学习可靠的表示，这些表示仅根据无监督的多视图设置编码与任务相关的信息。具体而言，我们引入了时间数据的多视图信息瓶颈（MIB）目标的新颖对比版本。我们以这个辅助目标来训练RL代理，以学习可以压缩任务 - 无关的信息并预测与任务相关的动态的强大表示形式。这种方法使我们能够训练具有强大的视觉分散注意力的高性能政策，并且可以很好地推广到看不见的环境。我们证明，当背景被自然视频替换时，我们的方法可以在DeepMind Control Suite的各种视觉控制任务上实现SOTA性能。此外，我们表明我们的方法优于公认的基准，用于概括在Procgen基准上看不见的环境。我们的代码是开源的，可在https：// github上找到。 com/bu依赖-lab/dribo。

将信号与噪声分开的能力以及干净的抽象对智能至关重要。有了这种能力，人类可以在不考虑所有可能的滋扰因素的情况下有效执行现实世界任务。人造代理可以做同样的事情？当噪音时，代理可以安全地丢弃什么样的信息？在这项工作中，我们根据可控性和与奖励的关系将野外信息分为四种类型，并将有用的信息归为可控和奖励相关的有用信息。该框架阐明了有关强化学习（RL）中的各种先前工作所删除的信息，并导致我们提出的学习方法，即学习一种已明确影响某些噪声分散注意器的DeNOCONE MDP。对DeepMind Control Suite和Robodesk的变体进行的广泛实验表明，我们的DeNocy World模型的表现优于仅使用原始观测值，并且超过了先前的工作，跨政策优化控制任务以及关节位置回归的非控制任务。

How to learn an effective reinforcement learning-based model for control tasks from high-level visual observations is a practical and challenging problem. A key to solving this problem is to learn low-dimensional state representations from observations, from which an effective policy can be learned. In order to boost the learning of state encoding, recent works are focused on capturing behavioral similarities between state representations or applying data augmentation on visual observations. In this paper, we propose a novel meta-learner-based framework for representation learning regarding behavioral similarities for reinforcement learning. Specifically, our framework encodes the high-dimensional observations into two decomposed embeddings regarding reward and dynamics in a Markov Decision Process (MDP). A pair of meta-learners are developed, one of which quantifies the reward similarity and the other quantifies dynamics similarity over the correspondingly decomposed embeddings. The meta-learners are self-learned to update the state embeddings by approximating two disjoint terms in on-policy bisimulation metric. To incorporate the reward and dynamics terms, we further develop a strategy to adaptively balance their impacts based on different tasks or environments. We empirically demonstrate that our proposed framework outperforms state-of-the-art baselines on several benchmarks, including conventional DM Control Suite, Distracting DM Control Suite and a self-driving task CARLA.

积极推论是一种统一的感知和行动理论，依赖于通过最小化自由能量来维持世界的内部模型。从行为的角度来看，有效推论代理商可以被视为自我证明的生命，以满足他们的乐观预测，即优选的结果或目标。相比之下，加固学习需要人工设计的奖励来完成任何期望的结果。尽管有效推理可以提供更自然的自我监控目标的控制，但其适用性因其在复杂环境中缩放方法的缺点而受到限制。在这项工作中，我们提出了对比主动推断的对比目标，这强烈降低了学习代理商的生成模式和规划未来行动的计算负担。我们的方法在基于图像的任务中的基于似的主动推断的情况下表现出显着优于基于似的主动推断，同时也是计算地更便宜，更容易训练。我们与能够获得人类设计奖励功能的加强学习代理，表明我们的方法与其表现完全符合。最后，我们还表明，在环境中的牵引力的情况下，对比方法显着更好地表现出明显更好，并且我们的方法能够将目标概括为背景中的变化。

人类是熟练的导航员：我们恰当地在新的地方进行了操纵，意识到我们回到以前见过的位置，甚至可以想到经历我们从未参观过的部分环境的捷径。另一方面，基于模型的强化学习中的当前方法与从训练分布中概括环境动态的努力。我们认为，两个原则可以帮助弥合这一差距：潜在的学习和简约的动态。人类倾向于以简单的术语来思考环境动态 - 我们认为轨迹不是指我们期望在路径上看到的东西，而是在抽象的潜在空间中，其中包含有关该位置的空间坐标的信息。此外，我们假设在环境的新颖部分中四处走动的工作方式与我们所熟悉的部分相同。这两个原则在串联中共同起作用：在潜在空间中，动态表现出了简约的特征。我们开发了一种学习这种简约动态的模型。使用一个变异目标，我们的模型经过培训，可以使用本地线性转换在潜在空间中重建经验丰富的过渡，同时鼓励尽可能少地调用不同的变换。使用我们的框架，我们演示了在一系列政策学习和计划任务中学习简化潜在动态模型的实用性。

Transformer在学习视觉和语言表示方面取得了巨大的成功，这在各种下游任务中都是一般的。在视觉控制中，可以在不同控制任务之间转移的可转移状态表示对于减少训练样本量很重要。但是，将变压器移植到样品有效的视觉控制仍然是一个具有挑战性且未解决的问题。为此，我们提出了一种新颖的控制变压器（CTRLFORMER），具有先前艺术所没有的许多吸引人的好处。首先，CTRLFORMER共同学习视觉令牌和政策令牌之间的自我注意事项机制，在不同的控制任务之间可以学习和转移多任务表示无灾难性遗忘。其次，我们仔细设计了一种对比的增强学习范式来训练Ctrlformer，从而使其能够达到高样本效率，这在控制问题中很重要。例如，在DMControl基准测试中，与最近的高级方法不同，该方法在使用100K样品转移学习后通过在“ Cartpole”任务中产生零分数而失败，CTRLFORMER可以在维持100K样本的同时获得最先进的分数先前任务的性能。代码和模型已在我们的项目主页中发布。

Planning has been very successful for control tasks with known environment dynamics. To leverage planning in unknown environments, the agent needs to learn the dynamics from interactions with the world. However, learning dynamics models that are accurate enough for planning has been a long-standing challenge, especially in image-based domains. We propose the Deep Planning Network (PlaNet), a purely model-based agent that learns the environment dynamics from images and chooses actions through fast online planning in latent space. To achieve high performance, the dynamics model must accurately predict the rewards ahead for multiple time steps. We approach this using a latent dynamics model with both deterministic and stochastic transition components. Moreover, we propose a multi-step variational inference objective that we name latent overshooting. Using only pixel observations, our agent solves continuous control tasks with contact dynamics, partial observability, and sparse rewards, which exceed the difficulty of tasks that were previously solved by planning with learned models. PlaNet uses substantially fewer episodes and reaches final performance close to and sometimes higher than strong model-free algorithms.

世界模型学习基于视觉的交互式系统中动作的后果。但是，在诸如自动驾驶之类的实际情况下，通常存在独立于动作信号的不可控制的动态，因此很难学习有效的世界模型。为了解决这个问题，我们提出了一种新颖的增强学习方法，名为Iso-Dream，该方法在两个方面改善了梦境到控制框架。首先，通过优化逆动力学，我们鼓励世界模型学习隔离状态过渡分支的时空变化的可控和不可控制的来源。其次，我们优化了代理在世界模型的潜在想象中的行为。具体而言，为了估算状态值，我们将不可控制状态推出到未来，并将其与当前可控状态相关联。这样，动态来源的隔离可以极大地使代理商的长期决策受益，例如一种自动驾驶汽车，可以通过预测其他车辆的移动来避免潜在的风险。实验表明，ISO-Dream可以有效地解耦混合动力学，并且在广泛的视觉控制和预测域中明显优于现有方法。

在许多控制问题中，包括视觉，可以从场景中对象的位置推断出最佳控制。可以使用特征点表示该信息，该特征点是输入图像的学习特征映射中的空间位置列表。以前的作品表明，使用无监督的预培训或人类监督学习的功能要点可以为控制任务提供良好的功能。在本文中，我们表明，可以在结束于结束的情况下学习有效的特征点表示，而无需无监督的预训练，解码器或额外损失。我们所提出的架构包括一个可怜的特征点提取器，其将估计的特征点的坐标直接馈送到软演员 - 批评者代理。所提出的算法对深度控制套件任务的最先进的算法产生了竞争力。

We propose a simple data augmentation technique that can be applied to standard model-free reinforcement learning algorithms, enabling robust learning directly from pixels without the need for auxiliary losses or pre-training. The approach leverages input perturbations commonly used in computer vision tasks to transform input examples, as well as regularizing the value function and policy. Existing model-free approaches, such as Soft Actor-Critic (SAC) [22], are not able to train deep networks effectively from image pixels. However, the addition of our augmentation method dramatically improves SAC's performance, enabling it to reach state-of-the-art performance on the DeepMind control suite, surpassing model-based [23,38,24] methods and recently proposed contrastive learning [50]. Our approach, which we dub DrQ: Data-regularized Q, can be combined with any model-free reinforcement learning algorithm. We further demonstrate this by applying it to DQN [43] and significantly improve its data-efficiency on the Atari 100k [31] benchmark. An implementation can be found at https://sites. google.com/view/data-regularized-q.

Learned world models summarize an agent's experience to facilitate learning complex behaviors. While learning world models from high-dimensional sensory inputs is becoming feasible through deep learning, there are many potential ways for deriving behaviors from them. We present Dreamer, a reinforcement learning agent that solves long-horizon tasks from images purely by latent imagination. We efficiently learn behaviors by propagating analytic gradients of learned state values back through trajectories imagined in the compact state space of a learned world model. On 20 challenging visual control tasks, Dreamer exceeds existing approaches in data-efficiency, computation time, and final performance.

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

当相互作用数据稀缺时，深厚的增强学习（RL）算法遭受了严重的性能下降，这限制了其现实世界的应用。最近，视觉表示学习已被证明是有效的，并且有望提高RL样品效率。这些方法通常依靠对比度学习和数据扩展来训练状态预测的过渡模型，这与在RL中使用模型的方式不同 - 基于价值的计划。因此，学到的模型可能无法与环境保持良好状态并产生一致的价值预测，尤其是当国家过渡不是确定性的情况下。为了解决这个问题，我们提出了一种称为价值一致表示学习（VCR）的新颖方法，以学习与决策直接相关的表示形式。更具体地说，VCR训练一个模型，以预测基于当前的状态（也称为“想象的状态”）和一系列动作。 VCR没有将这个想象中的状态与环境返回的真实状态保持一致，而是在两个状态上应用$ q $ - 价值头，并获得了两个行动值分布。然后将距离计算并最小化以迫使想象的状态产生与真实状态相似的动作值预测。我们为离散和连续的动作空间开发了上述想法的两个实现。我们对Atari 100K和DeepMind Control Suite基准测试进行实验，以验证其提高样品效率的有效性。已经证明，我们的方法实现了无搜索RL算法的新最新性能。

具有相同任务的不同环境的概括对于在实际场景中成功应用视觉增强学习（RL）至关重要。然而，从高维观察中，视觉干扰（在真实场景中很常见）可能会对视觉RL中学习的表示形式有害，从而降低概括的性能。为了解决这个问题，我们提出了一种新颖的方法，即特征奖励序列预测（Cresp），以通过学习奖励序列分布（RSD）提取与任务相关的信息，因为奖励信号在RL中与任务相关，并且不变为Visual分心。具体而言，要通过RSD有效捕获与任务相关的信息，Cresp引入了一个辅助任务（即预测RSD的特征功能），以学习与任务相关的表示，因为我们可以很好地通过利用高维分布来实现高维分布相应的特征函数。实验表明，Cresp显着提高了在看不见的环境上的概括性能，在具有不同视觉分散注意力的DeepMind Control任务上表现优于几个最新的。

虽然由强化学习（RL）训练的代理商可以直接解决越来越具有挑战性的任务，但概括到新颖环境的学习技能仍然非常具有挑战性。大量使用数据增强是一种有助于改善RL的泛化的有希望的技术，但经常发现它降低样品效率，甚至可以导致发散。在本文中，我们在常见的脱离政策RL算法中使用数据增强时调查不稳定性的原因。我们识别两个问题，均植根于高方差Q-targets。基于我们的研究结果，我们提出了一种简单但有效的技术，可以在增强下稳定这类算法。我们在基于Deepmind Control Suite的基准系列和机器人操纵任务中使用扫描和视觉变压器（VIT）对基于图像的RL进行广泛的实证评估。我们的方法极大地提高了增强下的呼声集的稳定性和样本效率，并实现了在具有看不见的视野视觉效果的环境中的图像的RL的最先进方法竞争的普遍化结果。我们进一步表明，我们的方法与基于Vit的亚体系结构的RL缩放，并且数据增强在此设置中可能尤为重要。

For an autonomous agent to fulfill a wide range of user-specified goals at test time, it must be able to learn broadly applicable and general-purpose skill repertoires. Furthermore, to provide the requisite level of generality, these skills must handle raw sensory input such as images. In this paper, we propose an algorithm that acquires such general-purpose skills by combining unsupervised representation learning and reinforcement learning of goal-conditioned policies. Since the particular goals that might be required at test-time are not known in advance, the agent performs a self-supervised "practice" phase where it imagines goals and attempts to achieve them. We learn a visual representation with three distinct purposes: sampling goals for self-supervised practice, providing a structured transformation of raw sensory inputs, and computing a reward signal for goal reaching. We also propose a retroactive goal relabeling scheme to further improve the sample-efficiency of our method. Our off-policy algorithm is efficient enough to learn policies that operate on raw image observations and goals for a real-world robotic system, and substantially outperforms prior techniques. * Equal contribution. Order was determined by coin flip.