从高维观测数据中提取低维潜在空间对于在提取的潜在空间上构建具有世界模型的实时机器人控制器至关重要。但是，没有建立的方法可以自动调整潜在空间的尺寸，因为它发现了必要和充分的尺寸大小，即世界模型的最小实现。在这项研究中，我们分析并改善了基于Tsallis的变异自动编码器（Q-VAE），并揭示，在适当的配置下，它始终有助于使潜在空间稀疏。即使与最小的实现相比，预先指定的潜在空间的尺寸是多余的，这种稀疏也会崩溃不必要的尺寸，从而易于删除它们。我们通过提出的方法在实验中验证了稀疏性的好处，它可以轻松地使用需要六维状态空间的移动操纵器找到必要和足够的六个维度。此外，通过在提取的维度中学习的最低实现世界模型的计划，该提出的方法能够实时发挥最佳的动作序列，从而将达到的成就时间降低了约20％。随附的视频已上传到YouTube：https：//youtu.be/-qjitrnxars上

Sampling-based model predictive control (MPC) can be applied to versatile robotic systems. However, the real-time control with it is a big challenge due to its unstable updates and poor convergence. This paper tackles this challenge with a novel derivation from reverse Kullback-Leibler divergence, which has a mode-seeking behavior and is likely to find one of the sub-optimal solutions early. With this derivation, a weighted maximum likelihood estimation with positive/negative weights is obtained, solving by mirror descent (MD) algorithm. While the negative weights eliminate unnecessary actions, that requires to develop a practical implementation that avoids the interference with positive/negative updates based on rejection sampling. In addition, although the convergence of MD can be accelerated with Nesterov's acceleration method, it is modified for the proposed MPC with a heuristic of a step size adaptive to the noise estimated in update amounts. In the real-time simulations, the proposed method can solve more tasks statistically than the conventional method and accomplish more complex tasks only with a CPU due to the improved acceleration. In addition, its applicability is also demonstrated in a variable impedance control of a force-driven mobile robot. https://youtu.be/D8bFMzct1XM

自动驾驶已经取得了很大进展，并在实际使用一步一步上引入。另一方面，个人移动性的概念也受欢迎，它专门为各个驱动程序的自主驾驶是一个新的步骤。然而，难以收集大型驾驶数据集，这基本上需要自主驾驶的学习，从个人移动性的各个驾驶员。此外，当驾驶员不熟悉个人移动性的操作时，数据集将包含非最佳数据。因此，本研究专注于为个人移动性的自主驱动方法，具有如此小而嘈杂，所谓的个人数据集。具体而言，我们基于TSAllis统计数据引入了一个新的损失函数，即权重梯度根据原始损耗功能，并允许我们在优化阶段排除嘈杂的数据。此外，我们改进了可视化技术，以验证驾驶员和控制器是否具有相同的感兴趣区域。从实验结果来看，我们发现传统的自主行驶由于个人数据集中的错误操作而无法正常驱动，并且感兴趣的区域与驾驶员的行为不同。相比之下，所提出的方法稳健地学习违反错误，并在将相似的区域注入到驱动程序时自动启动。附加视频也上传了YouTube：https://youtu.be/keq8-boxyqa

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

有效的探索仍然是强化学习中有挑战性的问题，特别是对于来自环境的外在奖励稀疏甚至完全忽视的任务。基于内在动机的重要进展显示了在简单环境中的有希望的结果，但通常会在具有多式联运和随机动力学的环境中陷入困境。在这项工作中，我们提出了一种基于条件变分推理的变分动力模型来模拟多模和随机性。通过在当前状态，动作和潜在变量的条件下产生下一个状态预测，我们考虑作为条件生成过程的环境状态动作转换，这提供了更好地了解动态并在勘探中引发更好的性能。我们派生了环境过渡的负面日志可能性的上限，并使用这样一个上限作为勘探的内在奖励，这使得代理通过自我监督的探索来学习技能，而无需观察外在奖励。我们在基于图像的仿真任务和真正的机器人操纵任务中评估所提出的方法。我们的方法优于若干基于最先进的环境模型的勘探方法。

This paper introduces a novel method of adding intrinsic bonuses to task-oriented reward function in order to efficiently facilitate reinforcement learning search. While various bonuses have been designed to date, they are analogous to the depth-first and breadth-first search algorithms in graph theory. This paper, therefore, first designs two bonuses for each of them. Then, a heuristic gain scheduling is applied to the designed bonuses, inspired by the iterative deepening search, which is known to inherit the advantages of the two search algorithms. The proposed method is expected to allow agent to efficiently reach the best solution in deeper states by gradually exploring unknown states. In three locomotion tasks with dense rewards and three simple tasks with sparse rewards, it is shown that the two types of bonuses contribute to the performance improvement of the different tasks complementarily. In addition, by combining them with the proposed gain scheduling, all tasks can be accomplished with high performance.

基于自动编码器的降低订购建模（ROM）最近由于其捕获基本非线性特征的能力而引起了极大的关注。但是，两个关键缺点严重破坏了其对各种物理应用的可伸缩性：纠缠和无法解释的潜在变量（LVS）和潜在空间维度的眼罩确定。在这方面，本研究提出了仅使用$ \ beta $ - variational AutoCododer提取的可解释和信息密集型LV的物理感知ROM，在本文中被称为物理意识的LV。为了提取这些LV，它们的独立性和信息强度在二维跨音速基准问题中进行了定量检查。然后，对物理意识的LV的物理含义进行了彻底的研究，我们确认，使用适当的超参数$ \ beta $，它们实际上对应于训练数据集的生成因子，马赫数和攻击角度。据作者所知，我们的工作是第一个实际上确认$ \ beta $ variational自动编码器可以自动提取应用物理领域的物理生成因子。最后，将仅利用物理意识的LVS的物理学意识ROM与常规ROM进行了比较，并且成功验证了其有效性和效率。

深度加强学习（DRL）是教授机器人执行复杂任务的有希望的方法。因为直接重用所存储的体验数据的方法无法遵循与时变环境中的机器人问题的环境的变化，所需的在线DRL。资格迹线方法是一种用于提高传统增强学习中的样本效率的在线学习技术，而不是线性回归而不是DRL。深度神经网络参数之间的依赖性会破坏资格迹线，这就是它们不与DRL集成的原因。虽然用最具影响力的梯度替换渐变而不是累积梯度，但随着资格迹线可以缓解这个问题，替换操作会减少先前体验的重用率。为了解决这些问题，本研究提出了一种新的资格迹线方法，即使在DRL中也可以使用，同时保持高样本效率。当累积梯度与使用最新参数计算的梯度不同时，所提出的方法考虑了过去和最新参数之间的发散，以便自适应地衰减资格迹线。由于过去和最新参数之间的发散不可行的计算成本，利用了过去和最新参数的输出之间的Bregman分歧。另外，第一次设计具有多个时间尺度迹线的广义方法。这种设计允许更换最有影响力的自适应积累（衰减）的资格痕迹。

Planning has been very successful for control tasks with known environment dynamics. To leverage planning in unknown environments, the agent needs to learn the dynamics from interactions with the world. However, learning dynamics models that are accurate enough for planning has been a long-standing challenge, especially in image-based domains. We propose the Deep Planning Network (PlaNet), a purely model-based agent that learns the environment dynamics from images and chooses actions through fast online planning in latent space. To achieve high performance, the dynamics model must accurately predict the rewards ahead for multiple time steps. We approach this using a latent dynamics model with both deterministic and stochastic transition components. Moreover, we propose a multi-step variational inference objective that we name latent overshooting. Using only pixel observations, our agent solves continuous control tasks with contact dynamics, partial observability, and sparse rewards, which exceed the difficulty of tasks that were previously solved by planning with learned models. PlaNet uses substantially fewer episodes and reaches final performance close to and sometimes higher than strong model-free algorithms.

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

我们为具有高维状态空间的复杂操纵任务的视觉动作计划提供了一个框架，重点是操纵可变形物体。我们为任务计划提出了一个潜在的空间路线图（LSR），这是一个基于图的结构，在全球范围内捕获了低维潜在空间中的系统动力学。我们的框架由三个部分组成：（1）映射模块（mm），该模块以图像的形式映射观测值，以提取各个状态的结构化潜在空间，并从潜在状态产生观测值，（2）LSR，LSR的LSR构建并连接包含相似状态的群集，以找到MM提取的开始和目标状态之间的潜在计划，以及（3）与LSR相应的潜在计划与相应的操作相辅相成的动作提案模块。我们对模拟的盒子堆叠和绳索/盒子操纵任务进行了彻底的调查，以及在真实机器人上执行的折叠任务。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

由于指定了所需的目标性能分布，逆方法在空气动力学设计中计算得高效。但是，它具有一些重要的限制，防止其实现全面效率。首先，只要指定的目标分布更改，应重复迭代程序。可以执行目标分布优化以阐明指定该分布的歧义，但在该过程中出现了几个额外问题，例如由于分布的分布参数化而导致的表示容量丢失，对逼真分布的过度约束，感兴趣的数量的不准确性为了理论/经验预测，明确地施加几何限制的不可能性。为了处理这些问题，提出了一种具有两步深度学习方法的新型逆设计优化框架。变形AutoEncoder和多层的Perceptron用于生成现实的目标分布，并分别预测来自生成的分布的感兴趣的数量和形状参数。然后，执行目标分发优化作为逆设计优化。所提出的框架应用主动学习和转移学习技术，以提高准确性和效率。最后，通过风力涡轮机翼型的空气动力学优化验证该框架。它们的结果表明，该框架准确，高效，灵活地应用于其他逆设计工程应用。

变化自动编码器（VAE）最近已用于对复杂密度分布的无监督分离学习。存在许多变体，以鼓励潜在空间中的分解，同时改善重建。但是，在达到极低的重建误差和高度分离得分之间，没有人同时管理权衡。我们提出了一个普遍的框架，可以在有限的优化下应对这一挑战，并证明它在平衡重建时，它优于现有模型的最先进模型。我们介绍了三个可控的拉格朗日超级参数，以控制重建损失，KL差异损失和相关度量。我们证明，重建网络中的信息最大化等于在合理假设和约束放松下摊销过程中的信息最大化。

We introduce Embed to Control (E2C), a method for model learning and control of non-linear dynamical systems from raw pixel images. E2C consists of a deep generative model, belonging to the family of variational autoencoders, that learns to generate image trajectories from a latent space in which the dynamics is constrained to be locally linear. Our model is derived directly from an optimal control formulation in latent space, supports long-term prediction of image sequences and exhibits strong performance on a variety of complex control problems.

统计模型是机器学习的核心，具有广泛适用性，跨各种下游任务。模型通常由通过最大似然估计从数据估计的自由参数控制。但是，当面对现实世界数据集时，许多模型运行到一个关键问题：它们是在完全观察到的数据方面配制的，而在实践中，数据集会困扰缺失数据。来自不完整数据的统计模型估计理论在概念上类似于潜在变量模型的估计，其中存在强大的工具，例如变分推理（VI）。然而，与标准潜在变量模型相比，具有不完整数据的参数估计通常需要估计缺失变量的指数 - 许多条件分布，因此使标准的VI方法是棘手的。通过引入变分Gibbs推理（VGI），是一种新的通用方法来解决这个差距，以估计来自不完整数据的统计模型参数。我们在一组合成和实际估算任务上验证VGI，从不完整的数据中估算重要的机器学习模型，VAE和标准化流程。拟议的方法，同时通用，实现比现有的特定模型特定估计方法竞争或更好的性能。

象征性的AI社区越来越多地试图在神经符号结构中接受机器学习，但由于文化障碍，仍在挣扎。为了打破障碍，这份相当有思想的个人备忘录试图解释和纠正统计，机器学习和深入学习的惯例，从局外人的角度进行深入学习。它提供了一个分步协议，用于设计一个机器学习系统，该系统满足符号AI社区认真对待所必需的最低理论保证，即，它讨论“在哪些条件下，我们可以停止担心和接受统计机器学习。 “一些亮点：大多数教科书都是为计划专门研究STAT/ML/DL的人编写的，应该接受术语。该备忘录适用于经验丰富的象征研究人员，他们听到了很多嗡嗡声，但仍然不确定和持怀疑态度。有关STAT/ML/DL的信息目前太分散或嘈杂而无法投资。此备忘录优先考虑紧凑性，并特别注意与象征性范式相互共鸣的概念。我希望这份备忘录能节省时间。它优先考虑一般数学建模，并且不讨论任何特定的函数近似器，例如神经网络（NNS），SVMS，决策树等。它可以对校正开放。将此备忘录视为与博客文章相似的内容，采用有关Arxiv的论文的形式。

解释性对于自主车辆和其他机器人系统在操作期间与人类和其他物体相互作用至关重要。人类需要了解和预测机器采取的行动，以获得可信赖和安全的合作。在这项工作中，我们的目标是开发一个可解释的模型，可以与人类领域知识和模型的固有因果关系一致地产生解释。特别是，我们专注于自主驾驶，多代理交互建模的基本构建块。我们提出了接地的关系推理（GRI）。它通过推断代理关系的相互作用图来模拟交互式系统的底层动态。我们通过将关系潜空间接地为具有专家域知识定义的语义互动行为来确保语义有意义的交互图。我们展示它可以在模拟和现实世界中建模交互式交通方案，并生成解释车辆行为的语义图。

变异自动编码器（VAE）经常遭受后塌陷，这是一种现象，其中学习过的潜在空间变得无知。这通常与类似于数据差异的高参数有关。此外，如果数据方差不均匀或条件性，则确定这种适当的选择将变得不可行。因此，我们提出了具有数据方差的广义参数化的VAE扩展，并将最大似然估计纳入目标函数中，以适应解码器平滑度。由提议的VAE扩展产生的图像显示，MNIST和Celeba数据集上的Fr \'Echet Inception距离（FID）得到了改善。