可视探索是一种任务，可以尽快访问环境的所有可通航区域。现有方法采用深度加强学习（RL）作为任务的标准工具。然而，它们往往容易受到训练和测试数据之间的统计变化，导致从训练数据的分发（OOD）的新环境中的概括不良。在本文中，我们试图通过利用可用于任务的归纳偏差来改善泛化能力。采用主动神经血液（ANS），了解探索政策的优势演员 - 评论家（A2C）方法作为基础框架，首先指出演员和评论家代表的映射应该满足特定的对称性。然后，我们为演员和批评者提出了一个网络设计，并批评了本身达到这些对称性。具体而言，我们使用$ g $ -convolution而不是标准卷积，并在批评网络的最后一节中插入我们新设计的半全局极性池（SGPP）层。实验结果表明，当在Gibson数据集上培训并在MP3D数据集上进行测试时，我们的方法增加了8.1米^ 2 $ 8.1 m ^ 2 $。

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

在这项工作中，我们提出了一种用于图像目标导航的内存调格方法。早期的尝试，包括基于RL的基于RL的方法和基于SLAM的方法的概括性能差，或者在姿势/深度传感器上稳定稳定。我们的方法基于一个基于注意力的端到端模型，该模型利用情节记忆来学习导航。首先，我们以自我监督的方式训练一个国家安置的网络，然后将其嵌入以前访问的状态中的代理商的记忆中。我们的导航政策通过注意机制利用了此信息。我们通过广泛的评估来验证我们的方法，并表明我们的模型在具有挑战性的吉布森数据集上建立了新的最新技术。此外，与相关工作形成鲜明对比的是，我们仅凭RGB输入就实现了这种令人印象深刻的性能，而无需访问其他信息，例如位置或深度。

自动三维环境探索是各种应用的基本任务，例如导航。探索的目标是调查新环境并有效地建立其占用地图。在本文中，我们提出了一种新的方法，授予代理的两个交错的行为选项：“浏览”和“前沿导航”。这是由选项 - 批评架构实现的，并通过加强学习算法训练。在每个时间步骤中，代理生成根据策略的选项和相应的操作。我们还通过纳入经典的路径规划技术来利用宏观行动来提高培训效率。我们展示了所提出的方法对两个公开可用的3D环境数据集的有效性，结果表明我们的方法比具有更好效率的竞争技术达到更高的覆盖范围。

我们研究小组对称性如何帮助提高端到端可区分计划算法的数据效率和概括，特别是在2D机器人路径计划问题上：导航和操纵。我们首先从价值迭代网络（VIN）正式使用卷积网络进行路径计划，因为它避免了明确构建等价类别并启用端到端计划。然后，我们证明价值迭代可以始终表示为（2D）路径计划的某种卷积形式，并将结果范式命名为对称范围（SYMPLAN）。在实施中，我们使用可进入的卷积网络来合并对称性。我们在导航和操纵方面的算法，具有给定或学习的地图，提高了与非等级同行VIN和GPPN相比，大幅度利润的训练效率和概括性能。

对象目标导航要求机器人在以前看不见的环境中找到并导航到目标对象类的实例。我们的框架会随着时间的推移逐步构建环境的语义图，然后根据语义映射重复选择一个长期目标（“ where to Go”）以找到目标对象实例。长期目标选择被称为基于视觉的深度强化学习问题。具体而言，对编码器网络进行了训练，可以从语义图中提取高级功能并选择长期目标。此外，我们还将数据增强和Q功能正则化合并，以使长期目标选择更有效。我们在AI栖息地3D模拟环境中使用照片现实的Gibson基准数据集进行了实验结果，以证明与最先进的数据驱动基线相比，标准措施的性能改善。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

We introduce Group equivariant Convolutional Neural Networks (G-CNNs), a natural generalization of convolutional neural networks that reduces sample complexity by exploiting symmetries. G-CNNs use G-convolutions, a new type of layer that enjoys a substantially higher degree of weight sharing than regular convolution layers. G-convolutions increase the expressive capacity of the network without increasing the number of parameters. Group convolution layers are easy to use and can be implemented with negligible computational overhead for discrete groups generated by translations, reflections and rotations. G-CNNs achieve state of the art results on CI-FAR10 and rotated MNIST.

建设深入学习系统之间通常有足够刺激现实的细微差别的深入学习系统之间的权衡，并具有良好的感应偏差以获得高效学习。我们将残留的途径（RPPS）引入了将硬建筑限制转换为软前沿的方法，引导模型朝向结构化解决方案，同时保留捕获额外复杂性的能力。使用RPPS，我们用归纳偏差构建具有协调的归纳偏差，但不限制灵活性。我们表明RPPS对近似或错过的对称性有弹性，并且即使在对称性精确时也与完全约束的模型有效。我们展示RPP与动态系统，表格数据和加强学习的广泛适用性。在Mujoco Locomotion任务中，其中联系力和定向奖励违反了严格的标准性假设，RPP优于无基线的无模型RL代理，并且还改善了基于模型的RL的学习过渡模型。

最近的视听导航工作是无噪音音频环境中的单一静态声音，并努力推广到闻名声音。我们介绍了一种新型动态视听导航基准测试，其中一个体现的AI代理必须在存在分散的人和嘈杂的声音存在下在未映射的环境中捕获移动声源。我们提出了一种依赖于多模态架构的端到端增强学习方法，该方法依赖于融合来自双耳音频信号和空间占用映射的空间视听信息，以编码为我们的新的稳健导航策略进行编码所需的功能复杂的任务设置。我们展示了我们的方法优于当前的最先进状态，以更好地推广到闻名声音以及对嘈杂的3D扫描现实世界数据集副本和TASTPORT3D上的嘈杂情景更好地对嘈杂的情景进行了更好的稳健性，以实现静态和动态的视听导航基准。我们的小型基准将在http://dav-nav.cs.uni-freiburg.de提供。

从“Internet AI”的时代到“体现AI”的时代，AI算法和代理商出现了一个新兴范式转变，其中不再从主要来自Internet策划的图像，视频或文本的数据集。相反，他们通过与与人类类似的Enocentric感知来通过与其环境的互动学习。因此，对体现AI模拟器的需求存在大幅增长，以支持各种体现的AI研究任务。这种越来越多的体现AI兴趣是有利于对人工综合情报（AGI）的更大追求，但对这一领域并无一直存在当代和全面的调查。本文旨在向体现AI领域提供百科全书的调查，从其模拟器到其研究。通过使用我们提出的七种功能评估九个当前体现的AI模拟器，旨在了解模拟器，以其在体现AI研究和其局限性中使用。最后，本文调查了体现AI - 视觉探索，视觉导航和体现问题的三个主要研究任务（QA），涵盖了最先进的方法，评估指标和数据集。最后，随着通过测量该领域的新见解，本文将为仿真器 - 任务选择和建议提供关于该领域的未来方向的建议。

In recent years several learning approaches to point goal navigation in previously unseen environments have been proposed. They vary in the representations of the environments, problem decomposition, and experimental evaluation. In this work, we compare the state-of-the-art Deep Reinforcement Learning based approaches with Partially Observable Markov Decision Process (POMDP) formulation of the point goal navigation problem. We adapt the (POMDP) sub-goal framework proposed by [1] and modify the component that estimates frontier properties by using partial semantic maps of indoor scenes built from images' semantic segmentation. In addition to the well-known completeness of the model-based approach, we demonstrate that it is robust and efficient in that it leverages informative, learned properties of the frontiers compared to an optimistic frontier-based planner. We also demonstrate its data efficiency compared to the end-to-end deep reinforcement learning approaches. We compare our results against an optimistic planner, ANS and DD-PPO on Matterport3D dataset using the Habitat Simulator. We show comparable, though slightly worse performance than the SOTA DD-PPO approach, yet with far fewer data.

最近，已证明模型的神经网络模型可以提高计算机视觉和增强学习任务的样本效率。本文在机器人策略学习的背景下探讨了这一想法，在这种情况下，必须完全在物理机器人系统上学习策略，而无需参考模型，模拟器或离线数据集。我们专注于模棱两可的SAC在机器人操作中的应用，并探索算法的许多变化。最终，我们证明了通过在不到一小时或两个小时的壁时钟时间内的机上体验完全学习几项非平凡操纵任务的能力。

Two less addressed issues of deep reinforcement learning are (1) lack of generalization capability to new target goals, and (2) data inefficiency i.e., the model requires several (and often costly) episodes of trial and error to converge, which makes it impractical to be applied to real-world scenarios. In this paper, we address these two issues and apply our model to the task of target-driven visual navigation. To address the first issue, we propose an actor-critic model whose policy is a function of the goal as well as the current state, which allows to better generalize. To address the second issue, we propose AI2-THOR framework, which provides an environment with highquality 3D scenes and physics engine. Our framework enables agents to take actions and interact with objects. Hence, we can collect a huge number of training samples efficiently.We show that our proposed method (1) converges faster than the state-of-the-art deep reinforcement learning methods, (2) generalizes across targets and across scenes, (3) generalizes to a real robot scenario with a small amount of fine-tuning (although the model is trained in simulation), ( 4) is end-to-end trainable and does not need feature engineering, feature matching between frames or 3D reconstruction of the environment.The supplementary video can be accessed at the following link: https://youtu.be/SmBxMDiOrvs.

合并对称性可以通过定义通过转换相关的数据样本的等效类别来导致高度数据效率和可推广的模型。但是，表征转换如何在输入数据上作用通常很困难，从而限制了模型模型的适用性。我们提出了编码输入空间（例如图像）的学习对称嵌入网络（SENS），我们不知道转换的效果（例如旋转），以在这些操作下以已知方式转换的特征空间。可以通过模棱两可的任务网络端对端训练该网络，以学习明确的对称表示。我们在具有3种不同形式的对称形式的模棱两可的过渡模型的背景下验证了这种方法。我们的实验表明，SENS有助于将模棱两可的网络应用于具有复杂对称表示的数据。此外，相对于全等级和非等价基线的准确性和泛化可以提高准确性和概括。

精确农业正在迅速吸引研究，以有效地引入自动化和机器人解决方案，以支持农业活动。葡萄园和果园中的机器人导航在自主监控方面具有竞争优势，并轻松获取农作物来收集，喷涂和执行时必的耗时必要任务。如今，自主导航算法利用了昂贵的传感器，这也需要大量的数据处理计算成本。尽管如此，葡萄园行代表了一个具有挑战性的户外场景，在这种情况下，GPS和视觉进程技术通常难以提供可靠的定位信息。在这项工作中，我们将Edge AI与深度强化学习相结合，以提出一种尖端的轻质解决方案，以解决自主葡萄园导航的问题，而无需利用精确的本地化数据并通过基于灵活的学习方法来克服任务列出的算法。我们训练端到端的感觉运动剂，该端机直接映射嘈杂的深度图像和位置不可稳定的机器人状态信息到速度命令，并将机器人引导到一排的尽头，不断调整其标题以进行无碰撞的无碰撞中央轨迹。我们在现实的模拟葡萄园中进行的广泛实验证明了解决方案的有效性和代理的概括能力。

机器人进行深入增强学习（RL）的导航，在复杂的环境下实现了更高的性能，并且表现良好。同时，对深度RL模型的决策的解释成为更多自主机器人安全性和可靠性的关键问题。在本文中，我们提出了一种基于深入RL模型的注意力分支的视觉解释方法。我们将注意力分支与预先训练的深度RL模型联系起来，并通过以监督的学习方式使用受过训练的深度RL模型作为正确标签来训练注意力分支。由于注意力分支经过训练以输出与深RL模型相同的结果，因此获得的注意图与具有更高可解释性的代理作用相对应。机器人导航任务的实验结果表明，所提出的方法可以生成可解释的注意图以进行视觉解释。

为了基于深度加强学习（RL）来增强目标驱动的视觉导航的交叉目标和跨场景，我们将信息理论正则化术语引入RL目标。正则化最大化导航动作与代理的视觉观察变换之间的互信息，从而促进更明智的导航决策。这样，代理通过学习变分生成模型来模拟动作观察动态。基于该模型，代理生成（想象）从其当前观察和导航目标的下一次观察。这样，代理学会了解导航操作与其观察变化之间的因果关系，这允许代理通过比较当前和想象的下一个观察来预测导航的下一个动作。 AI2-Thor框架上的交叉目标和跨场景评估表明，我们的方法在某些最先进的模型上获得了平均成功率的10美元。我们进一步评估了我们的模型在两个现实世界中：来自离散的活动视觉数据集（AVD）和带有TurtleBot的连续现实世界环境中的看不见的室内场景导航。我们证明我们的导航模型能够成功实现导航任务这些情景。视频和型号可以在补充材料中找到。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

标准卷积神经网络（CNN）的卷积层与翻译一样。然而，卷积和完全连接的层与其他仿射几何变换并不是等等的或不变的。最近，提出了一类新的CNN，其中CNN的常规层被均衡卷积，合并和批量归一化层代替。 eprovariant神经网络中的最终分类层对于不同的仿射几何变换（例如旋转，反射和翻译）是不变的，并且标量值是通过消除过滤器响应的空间尺寸，使用卷积和向下缩采样的整个网络或平均值来获得。接管过滤器响应。在这项工作中，我们建议整合正交力矩，该矩将功能的高阶统计数据作为编码全局不变性在旋转，反射和翻译中的有效手段。结果，网络的中间层变得模棱两可，而分类层变得不变。出于这个目的，考虑使用最广泛使用的Zernike，伪菜单和正交傅立叶粉刺矩。通过在旋转的MNIST和CIFAR10数据集上集成了组等级CNN（G-CNN）的体系结构中的不变过渡和完全连接的层来评估所提出的工作的有效性。