与函数近似（特别是神经网络）结合轨迹优化的最新进步在机器人系统中为学习复杂的控制策略提供了许可。尽管具有极大的灵活性，但参数化控制政策的大型神经网络造成了重大挑战。学习的神经控制政策通常超越和非平滑，这很容易引起意外或发散的机器人运动。因此，他们经常在实践中产生较差的概括性表现。为了解决这个问题，我们提出了通过轨迹优化（Veronica）为引导的对抗的正常规则学习，以学习顺利控制政策。具体地，我们所提出的方法通过稳定对输入状态的最坏情况扰动来稳定输出控制来控制神经控制政策的平滑度（本地Lipschitz连续性）。我们对机器人操纵的实验表明，我们的建议方法不仅可以提高神经政策学习的样本效率，而且还提高了对各种类型的骚乱的鲁棒性，包括传感器噪声，环境不确定性和模型不匹配。

Policy search methods can allow robots to learn control policies for a wide range of tasks, but practical applications of policy search often require hand-engineered components for perception, state estimation, and low-level control. In this paper, we aim to answer the following question: does training the perception and control systems jointly end-toend provide better performance than training each component separately? To this end, we develop a method that can be used to learn policies that map raw image observations directly to torques at the robot's motors. The policies are represented by deep convolutional neural networks (CNNs) with 92,000 parameters, and are trained using a guided policy search method, which transforms policy search into supervised learning, with supervision provided by a simple trajectory-centric reinforcement learning method. We evaluate our method on a range of real-world manipulation tasks that require close coordination between vision and control, such as screwing a cap onto a bottle, and present simulated comparisons to a range of prior policy search methods.

Force modulation of robotic manipulators has been extensively studied for several decades. However, it is not yet commonly used in safety-critical applications due to a lack of accurate interaction contact modeling and weak performance guarantees - a large proportion of them concerning the modulation of interaction forces. This study presents a high-level framework for simultaneous trajectory optimization and force control of the interaction between a manipulator and soft environments, which is prone to external disturbances. Sliding friction and normal contact force are taken into account. The dynamics of the soft contact model and the manipulator are simultaneously incorporated in a trajectory optimizer to generate desired motion and force profiles. A constrained optimization framework based on Alternative Direction Method of Multipliers (ADMM) has been employed to efficiently generate real-time optimal control inputs and high-dimensional state trajectories in a Model Predictive Control fashion. Experimental validation of the model performance is conducted on a soft substrate with known material properties using a Cartesian space force control mode. Results show a comparison of ground truth and real-time model-based contact force and motion tracking for multiple Cartesian motions in the valid range of the friction model. It is shown that a contact model-based motion planner can compensate for frictional forces and motion disturbances and improve the overall motion and force tracking accuracy. The proposed high-level planner has the potential to facilitate the automation of medical tasks involving the manipulation of compliant, delicate, and deformable tissues.

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

Reinforcement learning can acquire complex behaviors from high-level specifications. However, defining a cost function that can be optimized effectively and encodes the correct task is challenging in practice. We explore how inverse optimal control (IOC) can be used to learn behaviors from demonstrations, with applications to torque control of high-dimensional robotic systems. Our method addresses two key challenges in inverse optimal control: first, the need for informative features and effective regularization to impose structure on the cost, and second, the difficulty of learning the cost function under unknown dynamics for high-dimensional continuous systems. To address the former challenge, we present an algorithm capable of learning arbitrary nonlinear cost functions, such as neural networks, without meticulous feature engineering. To address the latter challenge, we formulate an efficient sample-based approximation for MaxEnt IOC. We evaluate our method on a series of simulated tasks and real-world robotic manipulation problems, demonstrating substantial improvement over prior methods both in terms of task complexity and sample efficiency.

强化学习（RL）和轨迹优化（TO）具有强大的互补优势。一方面，RL方法能够直接从数据中学习全球控制策略，但通常需要大型样本量以正确地收敛于可行的策略。另一方面，对方法能够利用从模拟器提取的基于梯度的信息，以快速收敛到局部最佳控制轨迹，该轨迹仅在解决方案附近有效。在过去的十年中，几种方法旨在充分结合两类方法，以获得两全其美的最佳选择。从这一研究开始，我们提出了这些方法的一些改进，以更快地学习全球控制政策，尤其是通过通过Sobolev学习来利用敏感性信息，并增强了Lagrangian技术来实施与政策学习之间的共识。我们通过与文献中的现有方法进行比较，评估了这些改进对机器人技术各种经典任务的好处。

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

差分动态编程（DDP）是用于轨迹优化的直接单射击方法。它的效率来自对时间结构的开发（最佳控制问题固有的）和系统动力学的明确推出/集成。但是，它具有数值不稳定，与直接多个射击方法相比，它的初始化选项有限（允许对控件的初始化，但不能对状态进行初始化），并且缺乏对控制约束的正确处理。在这项工作中，我们采用可行性驱动的方法来解决这些问题，该方法调节数值优化过程中的动态可行性并确保控制限制。我们的可行性搜索模拟了只有动态约束的直接多重拍摄问题的数值解决。我们证明我们的方法（命名为box-fddp）具有比Box-DDP+（单个射击方法）更好的数值收敛性，并且其收敛速率和运行时性能与使用The Solded Sound的最新直接转录配方竞争内部点和主动集算法在Knitro中提供。我们进一步表明，Box-FDP可以单调地降低动态可行性误差 - 与最先进的非线性编程算法相同。我们通过为四足动物和人形机器人产生复杂而运动的运动来证明我们的方法的好处。最后，我们强调说，Box-FDDP适用于腿部机器人中的模型预测控制。

由于机器人动力学中的固有非线性，腿部机器人全身动作的在线计划具有挑战性。在这项工作中，我们提出了一个非线性MPC框架，该框架可以通过有效利用机器人动力学结构来在线生成全身轨迹。Biconmp用于在真正的四倍机器人上生成各种环状步态，其性能在不同的地形上进行了评估，对抗不同步态之间的不可预见的推动力并在线过渡。此外，提出了双孔在机器人上产生非平凡无环的全身动态运动的能力。同样的方法也被用来在人体机器人（TALOS）上产生MPC的各种动态运动，并在模拟中产生另一个四倍的机器人（Anymal）。最后，报告并讨论了对计划范围和频率对非线性MPC框架的影响的广泛经验分析。

模型预测控制是为机器人生成复杂动作的强大工具。但是，它通常需要在线解决非凸问题以产生丰富的行为，这在计算上很昂贵，并且并非总是实时实用的。此外，通过当前状态空间方法，反馈回路中高维传感器数据（例如RGB-D图像）的直接集成具有挑战性。本文旨在解决这两个问题。它引入了模型预测控制方案，其中神经网络不断根据感官输入来更新二次程序的成本函数，旨在最大程度地减少一般的非凸任务丢失而不解决非convex问题在线。通过更新成本，机器人可以直接从传感器测量中适应环境的变化，而无需进行新的成本设计。此外，由于可以通过硬限制有效地解决二次​​程序，因此可以确保机器人安全部署。在工业机器人操纵器上进行了各种涉及任务的实验表明，我们的方法可以有效地解决具有高维视觉感觉输入的复杂的非凸问题，同时仍然对外部干扰保持稳定。

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

机器人和与世界相互作用或互动的机器人和智能系统越来越多地被用来自动化各种任务。这些系统完成这些任务的能力取决于构成机器人物理及其传感器物体的机械和电气部件，例如，感知算法感知环境，并计划和控制算法以生产和控制算法来生产和控制算法有意义的行动。因此，通常有必要在设计具体系统时考虑这些组件之间的相互作用。本文探讨了以端到端方式对机器人系统进行任务驱动的合作的工作，同时使用推理或控制算法直接优化了系统的物理组件以进行任务性能。我们首先考虑直接优化基于信标的本地化系统以达到本地化准确性的问题。设计这样的系统涉及将信标放置在整个环境中，并通过传感器读数推断位置。在我们的工作中，我们开发了一种深度学习方法，以直接优化信标的放置和位置推断以达到本地化精度。然后，我们将注意力转移到了由任务驱动的机器人及其控制器优化的相关问题上。在我们的工作中，我们首先提出基于多任务增强学习的数据有效算法。我们的方法通过利用能够在物理设计的空间上概括设计条件的控制器，有效地直接优化了物理设计和控制参数，以直接优化任务性能。然后，我们对此进行跟进，以允许对离散形态参数（例如四肢的数字和配置）进行优化。最后，我们通过探索优化的软机器人的制造和部署来得出结论。

技能链是一种希望通过顺序结合以前学习的技能来合成复杂行为的有希望的方法。然而，当政策遭遇在培训期间从未见过的起始状态时，幼稚的技能组成失败。对于成功的技能链接，先前的方法试图扩大策略的起始状态分布。然而，这些方法需要覆盖更大的状态分布，因为更多的策略进行测序，因此仅限于短的技能序列。在本文中，我们通过在对抗学习框架中规范终端状态分布来提出连锁多个初始状态分布的多重政策。我们评估了我们对家具组件的两个复杂的长地平衡任务的方法。我们的结果表明，我们的方法建立了第一种无模型加强学习算法来解决这些任务;而先前的技能链接方法失败。代码和视频可在https://clvrai.com/skill-chaining上获得

仿制学习（IL）是在连续控制环境中的流行方法，如其他原因，它避免了加固学习中奖励错误规范和探索的问题（RL）。在IL的示威中，一个重要的挑战是获得对投入顺利进行的代理政策。通过模仿作为一个稳定的函数来学习，这是一种顺利的策略（$ S $-$）空间（典型的高维连续控制环境）可能是具有挑战性的。我们采取了第一步迈出了通过使用\ Texit {两者}的策略和成本模型来解决这个问题的解决这个问题。我们的符合方案通过确保成本函数以受控方式变化为$ S $的函数 - $空间;而代理政策对国家空间良好表现得很好。我们称之为新的顺利IL算法\«Spoolly Policy和Cost Imitation Learning}（Spacil，Pronoughce'Special'）。我们介绍了一种新的指标来量化学习政策的顺利。我们展示了Spacil在Mujoco的连续控制任务方面的卓越性能。该算法不仅优于我们所提出的平滑度指标的最先进的IL算法，但是，享有更快的学习和大幅更高的平均回报的增加的好处。

学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

Reinforcement Learning (RL) has seen many recent successes for quadruped robot control. The imitation of reference motions provides a simple and powerful prior for guiding solutions towards desired solutions without the need for meticulous reward design. While much work uses motion capture data or hand-crafted trajectories as the reference motion, relatively little work has explored the use of reference motions coming from model-based trajectory optimization. In this work, we investigate several design considerations that arise with such a framework, as demonstrated through four dynamic behaviours: trot, front hop, 180 backflip, and biped stepping. These are trained in simulation and transferred to a physical Solo 8 quadruped robot without further adaptation. In particular, we explore the space of feed-forward designs afforded by the trajectory optimizer to understand its impact on RL learning efficiency and sim-to-real transfer. These findings contribute to the long standing goal of producing robot controllers that combine the interpretability and precision of model-based optimization with the robustness that model-free RL-based controllers offer.

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

模块化机器人可以在每天重新排列到新设计中，通过为每项新任务形成定制机器人来处理各种各样的任务。但是，重新配置的机制是不够的：每个设计还需要自己独特的控制策略。人们可以从头开始为每个新设计制作一个政策，但这种方法不可扩展，特别是给出了甚至一小组模块可以生成的大量设计。相反，我们创建了一个模块化策略框架，策略结构在硬件排列上有调节，并仅使用一个培训过程来创建控制各种设计的策略。我们的方法利用了模块化机器人的运动学可以表示为设计图，其中节点作为模块和边缘作为它们之间的连接。给定机器人，它的设计图用于创建具有相同结构的策略图，其中每个节点包含一个深神经网络，以及通过共享参数的相同类型共享知识的模块（例如，Hexapod上的所有腿都相同网络参数）。我们开发了一种基于模型的强化学习算法，交织模型学习和轨迹优化，以培训策略。我们展示了模块化政策推广到培训期间没有看到的大量设计，没有任何额外的学习。最后，我们展示了与模拟和真实机器人一起控制各种设计的政策。