We present hierarchical policy blending as optimal transport (HiPBOT). This hierarchical framework adapts the weights of low-level reactive expert policies, adding a look-ahead planning layer on the parameter space of a product of expert policies and agents. Our high-level planner realizes a policy blending via unbalanced optimal transport, consolidating the scaling of underlying Riemannian motion policies, effectively adjusting their Riemannian matrix, and deciding over the priorities between experts and agents, guaranteeing safety and task success. Our experimental results in a range of application scenarios from low-dimensional navigation to high-dimensional whole-body control showcase the efficacy and efficiency of HiPBOT, which outperforms state-of-the-art baselines that either perform probabilistic inference or define a tree structure of experts, paving the way for new applications of optimal transport to robot control. More material at https://sites.google.com/view/hipobot

In this paper a global reactive motion planning framework for robotic manipulators in complex dynamic environments is presented. In particular, the circular field predictions (CFP) planner from Becker et al. (2021) is extended to ensure obstacle avoidance of the whole structure of a robotic manipulator. Towards this end, a motion planning framework is developed that leverages global information about promising avoidance directions from arbitrary configuration space motion planners, resulting in improved global trajectories while reactively avoiding dynamic obstacles and decreasing the required computational power. The resulting motion planning framework is tested in multiple simulations with complex and dynamic obstacles and demonstrates great potential compared to existing motion planning approaches.

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。

移动操作（MM）系统是在非结构化现实世界环境中扮演个人助理角色的理想候选者。除其他挑战外，MM需要有效协调机器人的实施例，以执行需要移动性和操纵的任务。强化学习（RL）的承诺是将机器人具有自适应行为，但是大多数方法都需要大量的数据来学习有用的控制策略。在这项工作中，我们研究了机器人可及先验在参与者批判性RL方法中的整合，以加速学习和获取任务的MM学习。也就是说，我们考虑了最佳基础位置的问题以及是否激活ARM达到6D目标的后续决定。为此，我们设计了一种新型的混合RL方法，该方法可以共同处理离散和连续的动作，从而诉诸Gumbel-Softmax重新聚集化。接下来，我们使用来自经典方法的操作机器人工作区中的数据训练可及性。随后，我们得出了增强的混合RL（BHYRL），这是一种通过将其建模为残留近似器的总和来学习Q功能的新型算法。每当需要学习新任务时，我们都可以转移我们学到的残差并了解特定于任务的Q功能的组成部分，从而从先前的行为中维护任务结构。此外，我们发现将目标政策与先前的策略正规化产生更多的表达行为。我们评估了我们在达到难度增加和提取任务的模拟方面的方法，并显示了Bhyrl在基线方法上的卓越性能。最后，我们用Bhyrl零转移了我们学到的6D提取政策，以归功于我们的MM机器人Tiago ++。有关更多详细信息和代码发布，请参阅我们的项目网站：irosalab.com/rlmmbp

将机器人放置在受控条件外，需要多功能的运动表示，使机器人能够学习新任务并使其适应环境变化。在工作区中引入障碍或额外机器人的位置，由于故障或运动范围限制导致的关节范围的修改是典型的案例，适应能力在安全地执行机器人任务的关键作用。已经提出了代表适应性运动技能的概率动态（PROMP），其被建模为轨迹的高斯分布。这些都是在分析讲道的，可以从少数演示中学习。然而，原始PROMP制定和随后的方法都仅为特定运动适应问题提供解决方案，例如障碍避免，以及普遍的，统一的适应概率方法缺失。在本文中，我们开发了一种用于调整PROMP的通用概率框架。我们统一以前的适应技术，例如，各种类型的避避，通过一个框架，互相避免，在一个框架中，并将它们结合起来解决复杂的机器人问题。另外，我们推导了新颖的适应技术，例如时间上未结合的通量和互相避免。我们制定适应作为约束优化问题，在那里我们最小化适应的分布与原始原始的分布之间的kullback-leibler发散，而我们限制了与不希望的轨迹相关的概率质量为低电平。我们展示了我们在双机器人手臂设置中的模拟平面机器人武器和7-DOF法兰卡 - Emika机器人的若干适应问题的方法。

尽管数十年的努力，但在真正的情景中的机器人导航具有波动性，不确定性，复杂性和歧义（vuca短暂），仍然是一个具有挑战性的话题。受到中枢神经系统（CNS）的启发，我们提出了一个在Vuca环境中的自主导航的分层多专家学习框架。通过考虑目标位置，路径成本和安全水平的启发式探索机制，上层执行同时映射探索和路线规划，以避免陷入盲巷，类似于CNS中的大脑。使用本地自适应模型融合多种差异策略，下层追求碰撞 - 避免和直接策略之间的平衡，作为CNS中的小脑。我们在多个平台上进行仿真和实际实验，包括腿部和轮式机器人。实验结果表明我们的算法在任务成就，时间效率和安全性方面优于现有方法。

安全是每个机器人平台的关键特性：任何控制政策始终遵守执行器限制，并避免与环境和人类发生冲突。在加强学习中，安全对于探索环境而不会造成任何损害更为基础。尽管有许多针对安全勘探问题的建议解决方案，但只有少数可以处理现实世界的复杂性。本文介绍了一种安全探索的新公式，用于强化各种机器人任务。我们的方法适用于广泛的机器人平台，即使在通过探索约束歧管的切线空间从数据中学到的复杂碰撞约束下也可以执行安全。我们提出的方法在模拟的高维和动态任务中实现了最先进的表现，同时避免与环境发生冲突。我们在Tiago ++机器人上展示了安全的现实部署，在操纵和人类机器人交互任务中取得了显着的性能。

本文着重于影响弹性的移动机器人的碰撞运动计划和控制的新兴范式转移，并开发了一个统一的层次结构框架，用于在未知和部分观察的杂物空间中导航。在较低级别上，我们开发了一种变形恢复控制和轨迹重新启动策略，该策略处理可能在本地运行时发生的碰撞。低级系统会积极检测碰撞（通过内部内置的移动机器人上的嵌入式霍尔效应传感器），使机器人能够从其内部恢复，并在本地调整后影响后的轨迹。然后，在高层，我们提出了一种基于搜索的计划算法，以确定如何最好地利用潜在的碰撞来改善某些指标，例如控制能量和计算时间。我们的方法建立在A*带有跳跃点的基础上。我们生成了一种新颖的启发式功能，并进行了碰撞检查和调整技术，从而使A*算法通过利用和利用可能的碰撞来更快地收敛到达目标。通过将全局A*算法和局部变形恢复和重新融合策略以及该框架的各个组件相结合而生成的整体分层框架在模拟和实验中都经过了广泛的测试。一项消融研究借鉴了与基于搜索的最先进的避免碰撞计划者（用于整体框架）的链接，以及基于搜索的避免碰撞和基于采样的碰撞 - 碰撞 - 全球规划师（对于更高的较高的碰撞 - 等级）。结果证明了我们的方法在未知环境中具有碰撞的运动计划和控制的功效，在2D中运行的一类撞击弹性机器人具有孤立的障碍物。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

本研究提出了一种具有动态障碍物和不均匀地形的部分可观察环境中的BipeDal运动的安全任务和运动计划（夯实）的分层综合框架。高级任务规划师采用线性时间逻辑（LTL），用于机器人及其环境之间的反应游戏合成，并为导航安全和任务完成提供正式保证。为了解决环境部分可观察性，在高级导航计划者采用信仰抽象，以估计动态障碍的位置。因此，合成的动作规划器向中级运动规划器发送一组运动动作，同时基于运动过程的阶数模型（ROM）结合从安全定理提取的安全机置规范。运动计划程序采用ROM设计安全标准和采样算法，以生成准确跟踪高级动作的非周期性运动计划。为了解决外部扰动，本研究还调查了关键帧运动状态的安全顺序组成，通过可达性分析实现了对外部扰动的强大转变。最终插值一组基于ROM的超参数，以设计由轨迹优化生成的全身运动机器，并验证基于ROM的可行部署，以敏捷机器人设计的20多个自由的Cassie机器人。

This paper addresses the kinodynamic motion planning for non-holonomic robots in dynamic environments with both static and dynamic obstacles -- a challenging problem that lacks a universal solution yet. One of the promising approaches to solve it is decomposing the problem into the smaller sub problems and combining the local solutions into the global one. The crux of any planning method for non-holonomic robots is the generation of motion primitives that generates solutions to local planning sub-problems. In this work we introduce a novel learnable steering function (policy), which takes into account kinodynamic constraints of the robot and both static and dynamic obstacles. This policy is efficiently trained via the policy optimization. Empirically, we show that our steering function generalizes well to unseen problems. We then plug in the trained policy into the sampling-based and lattice-based planners, and evaluate the resultant POLAMP algorithm (Policy Optimization that Learns Adaptive Motion Primitives) in a range of challenging setups that involve a car-like robot operating in the obstacle-rich parking-lot environments. We show that POLAMP is able to plan collision-free kinodynamic trajectories with success rates higher than 92%, when 50 simultaneously moving obstacles populate the environment showing better performance than the state-of-the-art competitors.

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

自主机器人应在现实世界中的动态环境中运行，并与人类在紧密的空间中合作。允许机器人离开结构化实验室和制造设置的关键组成部分是他们与周围世界的在线和实时碰撞评估的能力。基于距离的约束是使机器人计划行动并安全采取行动，保护人类及其硬件的基础。但是，不同的应用需要不同的距离分辨率，从而导致各种启发式方法测量距离场W.R.T.障碍物在计算上很昂贵，并阻碍了他们在动态障碍避免用例中的应用。我们提出了正则签名的距离距离（REDSDF），这是一个单个神经隐式函数，可以在任何规模上计算平滑距离场，并在高维歧管上具有细粒度的分辨率和像人类这样的明确物体，这要归功于我们的有效数据生成和A训练过程中简单的感应偏置。我们证明了我们的方法在共享工作区中的全身控制（WBC）和安全的人类机器人相互作用（HRI）中的代表性模拟任务中的有效性。最后，我们在使用移动操纵器机器人的HRI移交任务中提供了现实世界应用的概念证明。

Humans demonstrate a variety of interesting behavioral characteristics when performing tasks, such as selecting between seemingly equivalent optimal actions, performing recovery actions when deviating from the optimal trajectory, or moderating actions in response to sensed risks. However, imitation learning, which attempts to teach robots to perform these same tasks from observations of human demonstrations, often fails to capture such behavior. Specifically, commonly used learning algorithms embody inherent contradictions between the learning assumptions (e.g., single optimal action) and actual human behavior (e.g., multiple optimal actions), thereby limiting robot generalizability, applicability, and demonstration feasibility. To address this, this paper proposes designing imitation learning algorithms with a focus on utilizing human behavioral characteristics, thereby embodying principles for capturing and exploiting actual demonstrator behavioral characteristics. This paper presents the first imitation learning framework, Bayesian Disturbance Injection (BDI), that typifies human behavioral characteristics by incorporating model flexibility, robustification, and risk sensitivity. Bayesian inference is used to learn flexible non-parametric multi-action policies, while simultaneously robustifying policies by injecting risk-sensitive disturbances to induce human recovery action and ensuring demonstration feasibility. Our method is evaluated through risk-sensitive simulations and real-robot experiments (e.g., table-sweep task, shaft-reach task and shaft-insertion task) using the UR5e 6-DOF robotic arm, to demonstrate the improved characterisation of behavior. Results show significant improvement in task performance, through improved flexibility, robustness as well as demonstration feasibility.

这项工作研究了图像目标导航问题，需要通过真正拥挤的环境引导具有嘈杂传感器和控制的机器人。最近的富有成效的方法依赖于深度加强学习，并学习模拟环境中的导航政策，这些环境比真实环境更简单。直接将这些训练有素的策略转移到真正的环境可能非常具有挑战性甚至危险。我们用由四个解耦模块组成的分层导航方法来解决这个问题。第一模块在机器人导航期间维护障碍物映射。第二个将定期预测实时地图上的长期目标。第三个计划碰撞命令集以导航到长期目标，而最终模块将机器人正确靠近目标图像。四个模块是单独开发的，以适应真实拥挤的情景中的图像目标导航。此外，分层分解对导航目标规划，碰撞避免和导航结束预测的学习进行了解耦，这在导航训练期间减少了搜索空间，并有助于改善以前看不见的真实场景的概括。我们通过移动机器人评估模拟器和现实世界中的方法。结果表明，我们的方法优于多种导航基线，可以在这些方案中成功实现导航任务。

为了实现成功的实地自主权，移动机器人需要自由适应环境的变化。视觉导航系统（如视觉教学和重复（VT＆R）通常会假设参考轨迹周围的空间是自由的，但如果环境受阻，则路径跟踪可能会失败，或者机器人可以与先前看不见的障碍物碰撞。在这项工作中，我们为VT＆R系统提供了一个局部反应控制器，允许机器人尽管对环境进行物理变化，但是尽管环境变化。我们的控制器使用本地高程映射来计算矢量表示，并输出10 Hz导航的Twist命令。它们组合在Riemannian运动策略（RMP）控制器中，该控制器需要<2 ms以在CPU上运行。我们将我们的控制器与VT＆R系统集成在内的ANYMAL COMOT，并在室内杂乱的空间和大规模地下矿井中进行了测试。我们表明，当发生诸如靠近墙壁，交叉门口或穿越狭窄的走廊时，当发生视觉跟踪时，我们的本地反应控制器保持机器人安全。视频：https://youtu.be/g_awnec5awu.

基于联系的决策和规划方法越来越重要，无法为腿机器人提供更高的自主性。源自符号系统的正式合成方法具有巨大的推理潜力，了解高级机器决策，并以正确的担保实现复杂的机动行动。本研究迈出了一种正式设计由受约束和动态变化环境中的任务规划和控制全身动态运动行为的架构组成的架构。在高级别，我们在多肢运动策划器和其动态环境之间制定了两个玩家时间逻辑游戏，以综合提供符号机置操作的获胜策略。这些运动动作满足时间逻辑片段中的所需高级任务规范。这些操作被发送到强大的有限转换系统，该过渡系统合成了满足状态可达性限制的运动控制器。该控制器进一步通过低级运动规划器执行，所述低级运动计划产生可行的机器人轨迹。我们构建一组动态运动模型，可用于腿机器人，作为用于处理各种环境事件的模板库。我们设计了一种重新调整策略，考虑到突然的环境变化或大状态干扰，以增加所产生的机器行为的鲁棒性。我们正式证明分层运动框架的正确性，保证了运动规划层的强大实现。在各种环境中的反应运动行为模拟表明我们的框架具有潜在的智能机置行为的理论基础。

长摩根和包括一系列隐性子任务的日常任务仍然在离线机器人控制中构成了重大挑战。尽管许多先前的方法旨在通过模仿和离线增强学习的变体来解决这种设置，但学习的行为通常是狭窄的，并且经常努力实现可配置的长匹配目标。由于这两个范式都具有互补的优势和劣势，因此我们提出了一种新型的层次结构方法，结合了两种方法的优势，以从高维相机观察中学习任务无关的长胜压策略。具体而言，我们结合了一项低级政策，该政策通过模仿学习和从离线强化学习中学到的高级政策学习潜在的技能，以促进潜在的行为先验。各种模拟和真实机器人控制任务的实验表明，我们的配方使以前看不见的技能组合能够通过“缝制”潜在技能通过目标链条，并在绩效上提高绩效的顺序，从而实现潜在的目标。艺术基线。我们甚至还学习了一个多任务视觉运动策略，用于现实世界中25个不同的操纵任务，这既优于模仿学习和离线强化学习技术。