深度加强学习（深RL）最近在开发泛化算法中看到了显着进展。但是，大多数算法都是针对单一类型的泛化设置。在这项工作中，我们研究了三个不同任务结构的概括：（a）由定期发生的物体运动的空间和时间组成组成的任务; （b）由积极的感知和导航定期发生的3D对象组成的任务; （c）任务由记住目标信息，通过定期发生的对象配置的序列。这些不同的任务结构都分享了合作性的潜在思想：任务完成始终涉及结合任务导向的感知和行为的反复性段。我们假设代理可以在任务结构中概括，如果它可以发现捕获这些重复任务段的表示。对于我们的任务，这对应于识别单个对象动作的表示，用于向3D对象导航，并通过对象配置导航。从认知科学中获取灵感，我们为代理人经验的经常性细分而言，“感知模式”的阶段代表。我们提出了参加经常性模块（农场）的功能，该功能学习了一种状态表示，其中感知模式分布在多个相对较小的复发模块中。我们比较农场到经常性的架构，从而利用空间关注，这将观察特征减少到空间位置的加权平均值。我们的实验表明，我们的特征注意力机制更好地使农场能够通过我们学习的各种对象的域来推广。

为了解决艰巨的任务，人类提出问题以从外部来源获取知识。相反，经典的加强学习者缺乏这种能力，并且常常诉诸探索性行为。这会加剧，因为很少的当今环境支持查询知识。为了研究如何通过语言教授代理来查询外部知识，我们首先介绍了两个新环境：基于网格世界的Q-babyai和基于文本的Q-Textworld。除了物理互动外，代理还可以查询专门针对这些环境的外部知识源来收集信息。其次，我们提出了“寻求知识”（AFK）代理，该代理学会生成语言命令以查询有助于解决任务的有意义的知识。 AFK利用非参数记忆，指针机制和情节探索奖金来解决（1）无关的信息，（2）一个较大的查询语言空间，（3）延迟奖励有意义的查询。广泛的实验表明，AFK代理在具有挑战性的Q-Babyai和Q-Textworld环境方面优于最近的基线。

强化学习代理经常忘记过去的细节，特别是在延误或令人厌倦的任务之后。具有常见内存架构的代理努力召回和集成在过去事件的多个时间步行中，甚至会调用后跟分散的任务任务的单个时间戳的详细信息。为了解决这些限制，我们提出了一个分层块注意内存（HCAM），这有助于代理商详细记住过去。 HCAM通过将过去除以块来存储记忆，并通过首先在块的粗粗摘要上执行高级注意，然后在仅在最相关的块中进行详细关注。因此，具有HCAM的代理可以“精神上的时间旅行” - 记住过去的事件，并在不参加所有干预事件。我们展示了HCAM的代理基本上优于具有其他内存架构的代理，其任务需要长期回忆，保留或推理存储器。这些包括回顾一个对象隐藏在3D环境中的位置，迅速学习在新的邻域中有效地导航，以及快速学习和保留新的对象名称。具有HCAM的代理可以将其推断到任务序列，而不是培训的任务序列，甚至可以从元学习环境中概括为零射击，以维持跨情节的知识。 HCAM提高了代理样本效率，泛化和一般性（通过解决先前所需的专业架构的任务）。我们的工作是迈向可以学习，交互和适应复杂和时间扩展环境的代理的一步。

人类通常通过将它们分解为更容易的子问题，然后结合子问题解决方案来解决复杂的问题。这种类型的组成推理允许在解决共享一部分基础构图结构的未来任务时重复使用子问题解决方案。在持续或终身的强化学习（RL）设置中，将知识分解为可重复使用的组件的能力将使代理通过利用积累的组成结构来快速学习新的RL任务。我们基于神经模块探索一种特定形式的组成形式，并提出了一组RL问题，可以直观地接受组成溶液。从经验上讲，我们证明了神经组成确实捕获了问题空间的基本结构。我们进一步提出了一种构图终身RL方法，该方法利用累积的神经成分来加速学习未来任务的学习，同时通过离线RL通过离线RL保留以前的RL，而不是重播经验。

Real-world reinforcement learning tasks often involve some form of partial observability where the observations only give a partial or noisy view of the true state of the world. Such tasks typically require some form of memory, where the agent has access to multiple past observations, in order to perform well. One popular way to incorporate memory is by using a recurrent neural network to access the agent's history. However, recurrent neural networks in reinforcement learning are often fragile and difficult to train, susceptible to catastrophic forgetting and sometimes fail completely as a result. In this work, we propose Deep Transformer Q-Networks (DTQN), a novel architecture utilizing transformers and self-attention to encode an agent's history. DTQN is designed modularly, and we compare results against several modifications to our base model. Our experiments demonstrate the transformer can solve partially observable tasks faster and more stably than previous recurrent approaches.

正如人类和动物在自然世界中学习的那样，它们会遇到远非统一的实体，情况和事件的分布。通常，经常遇到相对较小的经历，而许多重要的体验很少发生。现实的高度紧密，重尾的本质构成了人类和动物通过不断发展的专业记忆系统所面临的特殊学习挑战。相比之下，大多数流行的RL环境和基准涉及属性，对象，情况或任务的大致变化。 RL算法将如何在环境特征分布的世界（如我们的）中表现出较不统一的分布？为了探讨这个问题，我们开发了三个互补的RL环境，在这些环境中，代理商的经验根据Zipfian（离散幂定律）分布而变化。在这些基准上，我们发现标准的深入RL体系结构和算法获得了对常见情况和任务的有用知识，但无法充分了解稀有的情况。为了更好地了解这一失败，我们探讨了如何调整当前方法的不同方面，以帮助提高罕见事件的性能，并表明RL目标功能，代理商的记忆系统和自我监督的学习目标都可以影响代理商的能力从罕见的体验中学习。这些结果共同表明，从偏斜的经验中进行强大的学习是应用模拟或实验室以外的深度RL方法的关键挑战，而我们的Zipfian环境为衡量未来的进步朝着这一目标提供了基础。

Text-based games present a unique class of sequential decision making problem in which agents interact with a partially observable, simulated environment via actions and observations conveyed through natural language. Such observations typically include instructions that, in a reinforcement learning (RL) setting, can directly or indirectly guide a player towards completing reward-worthy tasks. In this work, we study the ability of RL agents to follow such instructions. We conduct experiments that show that the performance of state-of-the-art text-based game agents is largely unaffected by the presence or absence of such instructions, and that these agents are typically unable to execute tasks to completion. To further study and address the task of instruction following, we equip RL agents with an internal structured representation of natural language instructions in the form of Linear Temporal Logic (LTL), a formal language that is increasingly used for temporally extended reward specification in RL. Our framework both supports and highlights the benefit of understanding the temporal semantics of instructions and in measuring progress towards achievement of such a temporally extended behaviour. Experiments with 500+ games in TextWorld demonstrate the superior performance of our approach.

一个令人着迷的假设是，人类和动物的智力可以通过一些原则（而不是启发式方法的百科全书清单）来解释。如果这个假设是正确的，我们可以更容易地理解自己的智能并建造智能机器。就像物理学一样，原理本身不足以预测大脑等复杂系统的行为，并且可能需要大量计算来模拟人类式的智力。这一假设将表明，研究人类和动物所剥削的归纳偏见可以帮助阐明这些原则，并为AI研究和神经科学理论提供灵感。深度学习已经利用了几种关键的归纳偏见，这项工作考虑了更大的清单，重点是关注高级和顺序有意识的处理的工作。阐明这些特定原则的目的是，它们有可能帮助我们建立从人类的能力中受益于灵活分布和系统概括的能力的AI系统，目前，这是一个领域艺术机器学习和人类智力。

解释在人类学习中发挥着相当大的作用，特别是在仍然在形成抽象的主要挑战，以及了解世界的关系和因果结构的地区。在这里，我们探索强化学习代理人是否同样可以从解释中受益。我们概述了一系列关系任务，涉及选择一个在一个集合中奇数一个的对象（即，沿许多可能的特征尺寸之一的唯一）。奇数一张任务要求代理在一组对象中的多维关系上推理。我们展示了代理商不会仅从奖励中学习这些任务，但是当它们也培训以生成语言解释对象属性或选择正确或不正确时，实现> 90％的性能。在进一步的实验中，我们展示了预测的解释如何使代理能够从模糊，因果困难的训练中适当地推广，甚至可以学习执行实验干预以识别因果结构。我们表明解释有助于克服代理人来解决简单特征的趋势，并探讨解释的哪些方面使它们成为最有益的。我们的结果表明，从解释中学习是一种强大的原则，可以为培训更强大和一般机器学习系统提供有希望的道路。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

我们提供了有关诱导模型稀疏性如何帮助实现构图概括和在基础语言学习问题中更好的样本效率的研究。我们考虑在网格世界环境中具有简单的语言条件导航问题，并进行了分离的观察。我们表明，标准的神经体系结构并不总是产生组成概括。为了解决这个问题，我们设计了一个包含目标标识模块的代理，该模块鼓励教学和对象的属性中的单词之间的稀疏相关性，并将它们组合在一起以找到目标。目标标识模块的输出是对值迭代网络计划者的输入。即使从少数示威活动中学习，我们的代理商在包含属性的新颖组合的目标上保持了高度的性能。我们检查了代理的内部表示，并在单词中的字典和环境中的属性中找到正确的对应关系。

任务 - 无人探索的常见方法学习塔杜拉 - RASA - 代理商假设隔离环境，没有先验的知识或经验。然而，在现实世界中，代理商在许多环境中学习，并且随着他们探索新的环境，始终伴随着事先经验。探索是一场终身的过程。在本文中，我们提出了对任务无关探索的制定和评估的范式变迁。在此设置中，代理首先学会在许多环境中探索，没有任何外在目标的任务不可行的方式。后来，代理商有效地传输了学习探索政策，以便在解决任务时更好地探索新环境。在这方面，我们评估了几种基线勘探战略，并提出了一种简单但有效的学习任务无关探索政策方法。我们的主要思想是，有两种勘探组成部分：（1）基于代理人的信仰，促进探索探索环境的经验主义部分; （2）以环境为中心的组件，鼓励探索固有的有趣物体。我们表明我们的配方是有效的，并提供多种训练测试环境对的最一致的探索。我们还介绍了评估任务无关勘探策略的基准和指标。源代码在https://github.com/sparisi/cbet/处获得。

Lifelong learning aims to create AI systems that continuously and incrementally learn during a lifetime, similar to biological learning. Attempts so far have met problems, including catastrophic forgetting, interference among tasks, and the inability to exploit previous knowledge. While considerable research has focused on learning multiple input distributions, typically in classification, lifelong reinforcement learning (LRL) must also deal with variations in the state and transition distributions, and in the reward functions. Modulating masks, recently developed for classification, are particularly suitable to deal with such a large spectrum of task variations. In this paper, we adapted modulating masks to work with deep LRL, specifically PPO and IMPALA agents. The comparison with LRL baselines in both discrete and continuous RL tasks shows competitive performance. We further investigated the use of a linear combination of previously learned masks to exploit previous knowledge when learning new tasks: not only is learning faster, the algorithm solves tasks that we could not otherwise solve from scratch due to extremely sparse rewards. The results suggest that RL with modulating masks is a promising approach to lifelong learning, to the composition of knowledge to learn increasingly complex tasks, and to knowledge reuse for efficient and faster learning.

众所周知，在漫长的地平线和稀疏的奖励任务中，加强学习（RL）是困难的，需要大量的培训步骤。加快该过程的标准解决方案是利用额外的奖励信号，将其塑造以更好地指导学习过程。在语言条件的RL的背景下，语言输入的抽象和概括属性为更有效地塑造奖励的方式提供了机会。在本文中，我们利用这一想法并提出了一种自动奖励塑形方法，代理商从一般语言目标中提取辅助目标。这些辅助目标使用问题生成（QG）和问题答案（QA）系统：它们包括导致代理商尝试使用其自己的轨迹重建有关全球目标的部分信息的问题。当它成功时，它会获得与对答案的信心成正比的内在奖励。这激励代理生成轨迹，这些轨迹明确解释了一般语言目标的各个方面。我们的实验研究表明，这种方法不需要工程师干预来设计辅助目标，可以通过有效指导探索来提高样品效率。

本文着重于机器人增强学习，并以稀疏的自然语言目标表示。一个开放的问题是源于自然语言的组成性，以及在感觉数据和动作中的语言基础。我们通过三个贡献来解决这些问题。我们首先提出了一种利用专家反馈的事后视角指导重播的机制。其次，我们提出了一个SEQ2SEQ模型，以生成语言的后代指令。最后，我们介绍了一类新颖的以语言为中心的学习任务。我们表明，事后看来指示可以提高预期的学习绩效。此外，我们还提供了一个意外的结果：我们表明，如果从某种意义上说，代理人学习以一种自我监督的方式与自己交谈，则可以提高代理的学习表现。我们通过学习生成语言指示来实现这一目标，这本来可以作为最初意外行为的自然语言目标。我们的结果表明，绩效增益随任务复杂性而增加。

Training effective embodied AI agents often involves manual reward engineering, expert imitation, specialized components such as maps, or leveraging additional sensors for depth and localization. Another approach is to use neural architectures alongside self-supervised objectives which encourage better representation learning. In practice, there are few guarantees that these self-supervised objectives encode task-relevant information. We propose the Scene Graph Contrastive (SGC) loss, which uses scene graphs as general-purpose, training-only, supervisory signals. The SGC loss does away with explicit graph decoding and instead uses contrastive learning to align an agent's representation with a rich graphical encoding of its environment. The SGC loss is generally applicable, simple to implement, and encourages representations that encode objects' semantics, relationships, and history. Using the SGC loss, we attain significant gains on three embodied tasks: Object Navigation, Multi-Object Navigation, and Arm Point Navigation. Finally, we present studies and analyses which demonstrate the ability of our trained representation to encode semantic cues about the environment.

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

Inspired by progress in large-scale language modeling, we apply a similar approach towards building a single generalist agent beyond the realm of text outputs. The agent, which we refer to as Gato, works as a multi-modal, multi-task, multi-embodiment generalist policy. The same network with the same weights can play Atari, caption images, chat, stack blocks with a real robot arm and much more, deciding based on its context whether to output text, joint torques, button presses, or other tokens. In this report we describe the model and the data, and document the current capabilities of Gato.

在部分可观察到的马尔可夫决策过程（POMDP）中，代理通常使用过去的表示来近似基础MDP。我们建议利用冷冻验证的语言变压器（PLT）进行病史表示和压缩，以提高样品效率。为了避免对变压器进行训练，我们引入了Frozenhopfield，该菲尔德自动将观察结果与预处理的令牌嵌入相关联。为了形成这些关联，现代的Hopfield网络存储了这些令牌嵌入，这些嵌入是通过查询获得的查询来检索的，这些嵌入者通过随机但固定的观察结果获得。我们的新方法Helm，启用了Actor-Critic网络体系结构，该架构包含用于历史记录表示的历史模块的审计语言变压器。由于不需要学习过去的代表，因此掌舵比竞争对手要高得多。在Miligrid和Procgen环境上，Helm掌舵取得了新的最新结果。我们的代码可在https://github.com/ml-jku/helm上找到。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.