为了执行机器人操纵任务，核心问题是确定满足任务要求的合适轨迹。存在各种计算此类轨迹的方法，是学习和优化主要驾驶技术。我们的作品建立在从示范中学习（LFD）范式的基础上，专家展示了动作，机器人学会了模仿它们。但是，专家演示不足以捕获各种任务规格，例如掌握对象的时间。在本文中，我们提出了一种新方法，以考虑LFD技能中的正式任务规格。确切地说，我们利用了系统的时间属性的一种表达形式信号时间逻辑（STL），以制定任务规格并使用黑盒优化（BBO）来相应地调整LFD技能。我们使用多个任务展示了我们的方法如何使用STL和BBO来解决LFD限制。

机器人技能系统旨在减少机器人设置时间的新制造任务。但是，对于灵巧，接触术的任务，通常很难找到正确的技能参数。一种策略是通过允许机器人系统直接学习任务来学习这些参数。对于学习问题，机器人操作员通常可以指定参数值的类型和范围。然而，鉴于他们先前的经验，机器人操作员应该能够通过提供有关在参数空间中找到最佳解决方案的知识猜测，从而进一步帮助学习过程。有趣的是，当前的机器人学习框架中没有利用这种先验知识。我们介绍了一种结合用户先验和贝叶斯优化的方法，以便在机器人部署时间快速优化机器人工业任务。我们在模拟中学习的三个任务以及直接在真实机器人系统上学习的两个任务中学习了我们的方法。此外，我们通过自动从良好表现的配置中自动构造先验来从相应的仿真任务中转移知识，以在真实系统上学习。为了处理潜在的任务目标，任务被建模为多目标问题。我们的结果表明，操作员的先验是用户指定和转移的，大大加快了富丽堂皇的阵线的发现，并且通常产生的最终性能远远超过了拟议的基线。

Learning generalizable insertion skills in a data-efficient manner has long been a challenge in the robot learning community. While the current state-of-the-art methods with reinforcement learning (RL) show promising performance in acquiring manipulation skills, the algorithms are data-hungry and hard to generalize. To overcome the issues, in this paper we present Prim-LAfD, a simple yet effective framework to learn and adapt primitive-based insertion skills from demonstrations. Prim-LAfD utilizes black-box function optimization to learn and adapt the primitive parameters leveraging prior experiences. Human demonstrations are modeled as dense rewards guiding parameter learning. We validate the effectiveness of the proposed method on eight peg-hole and connector-socket insertion tasks. The experimental results show that our proposed framework takes less than one hour to acquire the insertion skills and as few as fifteen minutes to adapt to an unseen insertion task on a physical robot.

网络物理系统（CPSS）通常是复杂且至关重要的；因此，确保系统的要求，即规格，很难满足。基于仿真的CPS伪造是一种实用的测试方法，可用于通过仅要求模拟正在测试的系统来提高对系统正确性的信心。由于每个仿真通常在计算上进行密集，因此一个重要的步骤是减少伪造规范所需的仿真数量。我们研究贝叶斯优化（BO），一种样本效率的方法，它学习了一个替代模型，该模型描述了可能的输入信号的参数化与规范评估之间的关系。在本文中，我们改善了使用BO的伪造；首先采用两种突出的BO方法，一种适合本地替代模型，另一个适合当地的替代模型，利用了用户的先验知识。其次，本文介绍了伪造功能的采集函数的表述。基准评估显示，使用BO的局部替代模型来伪造以前难以伪造的基准示例的显着改善。在伪造过程中使用先验知识被证明是在模拟预算有限时特别重要的。对于某些基准问题，采集功能的选择清楚地影响了成功伪造所需的模拟数量。

One of today's goals for industrial robot systems is to allow fast and easy provisioning for new tasks. Skill-based systems that use planning and knowledge representation have long been one possible answer to this. However, especially with contact-rich robot tasks that need careful parameter settings, such reasoning techniques can fall short if the required knowledge not adequately modeled. We show an approach that provides a combination of task-level planning and reasoning with targeted learning of skill parameters for a task at hand. Starting from a task goal formulated in PDDL, the learnable parameters in the plan are identified and an operator can choose reward functions and parameters for the learning process. A tight integration with a knowledge framework allows to form a prior for learning and the usage of multi-objective Bayesian optimization eases to balance aspects such as safety and task performance that can often affect each other. We demonstrate the efficacy and versatility of our approach by learning skill parameters for two different contact-rich tasks and show their successful execution on a real 7-DOF KUKA-iiwa.

创建复杂机器人行为的一种典型方法是组成原子控制器或技能，以使所产生的行为满足高级任务；但是，当无法使用一组技能完成任务时，很难知道如何修改技能以使任务成为可能。我们提出了一种将符号维修与身体可行性检查和实现相结合的方法，以自动修改现有技能，以便机器人可以执行以前不可行的任务。我们在线性时间逻辑（LTL）公式中编码机器人技能，以捕获安全性任务的安全限制和目标。此外，我们的编码捕获了完整的技能执行，而不是先前的工作，而在执行技能之前和之后只有世界状态才被考虑。我们的维修算法提出了符号修改，然后尝试通过修改受符号修复的LTL约束的原始技能来物理实施建议。如果技能不可能，我们会自动为符号维修提供其他约束。我们用巴克斯特和一个清晰的jack狼展示了我们的方法。

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

从演示（LFD）方法中学习显示了解决多步任务的希望；但是，这些方法不能保证在给定干扰的情况下成功复制任务。在这项工作中，我们确定了这一挑战的根源，例如学习的连续政策失败无法满足演示中隐含的离散计划。通过利用模式（而不是子观念）作为具有模式不变性和目标达到性能属性的离散抽象和运动策略，我们证明我们所学的连续策略可以模拟由线性时间逻辑（LTL）公式指定的任何离散计划。因此，模仿者对任务和运动级别的干扰都具有鲁棒性，并保证取得任务成功。项目页面：https：//sites.google.com/view/ltl-ds

学习灵巧的操纵技巧是计算机图形和机器人技术的长期挑战，尤其是当任务涉及手，工具和物体之间的复杂而微妙的互动时。在本文中，我们专注于基于筷子的对象搬迁任务，这些任务很常见却又要求。成功的筷子技巧的关键是稳定地抓住棍棒，这也支持精致的演习。我们会自动发现贝叶斯优化（BO）和深钢筋学习（DRL）的身体有效的筷子姿势，它适用于多种握把的样式和手工形态，而无需示例数据。作为输入，我们要移动发现的抓紧姿势和所需的对象，我们构建了基于物理的手部控制器，以在两个阶段完成重定位任务。首先，运动轨迹是为筷子合成的，并处于运动计划阶段。我们运动策划者的关键组件包括一个握把模型，以选择用于抓住对象的合适筷子配置，以及一个轨迹优化模块，以生成无碰撞的筷子轨迹。然后，我们再次通过DRL训练基于物理的手部控制器，以跟踪运动计划者产生的所需运动轨迹。我们通过重新定位各种形状和尺寸的对象，以多种诱人的样式和多种手工形态的位置来展示框架的功能。与试图学习基于筷子的技能的香草系统相比，我们的系统实现了更快的学习速度和更好的控制鲁棒性，而无需抓紧姿势优化模块和/或没有运动学运动计划者。

将机器人放置在受控条件外，需要多功能的运动表示，使机器人能够学习新任务并使其适应环境变化。在工作区中引入障碍或额外机器人的位置，由于故障或运动范围限制导致的关节范围的修改是典型的案例，适应能力在安全地执行机器人任务的关键作用。已经提出了代表适应性运动技能的概率动态（PROMP），其被建模为轨迹的高斯分布。这些都是在分析讲道的，可以从少数演示中学习。然而，原始PROMP制定和随后的方法都仅为特定运动适应问题提供解决方案，例如障碍避免，以及普遍的，统一的适应概率方法缺失。在本文中，我们开发了一种用于调整PROMP的通用概率框架。我们统一以前的适应技术，例如，各种类型的避避，通过一个框架，互相避免，在一个框架中，并将它们结合起来解决复杂的机器人问题。另外，我们推导了新颖的适应技术，例如时间上未结合的通量和互相避免。我们制定适应作为约束优化问题，在那里我们最小化适应的分布与原始原始的分布之间的kullback-leibler发散，而我们限制了与不希望的轨迹相关的概率质量为低电平。我们展示了我们在双机器人手臂设置中的模拟平面机器人武器和7-DOF法兰卡 - Emika机器人的若干适应问题的方法。

在本文中，我们讨论了通过模仿教授双人操作任务的框架。为此，我们提出了一种从人类示范中学习合规和接触良好的机器人行为的系统和算法。提出的系统结合了入学控制和机器学习的见解，以提取控制政策，这些政策可以（a）从时空和空间中恢复并适应各种干扰，同时（b）有效利用与环境的物理接触。我们使用现实世界中的插入任务证明了方法的有效性，该任务涉及操纵对象和插入钉之间的多个同时接触。我们还研究了为这种双人设置收集培训数据的有效方法。为此，我们进行了人类受试者的研究，并分析用户报告的努力和精神需求。我们的实验表明，尽管很难提供，但在遥控演示中可用的其他力/扭矩信息对于阶段估计和任务成功至关重要。最终，力/扭矩数据大大提高了操纵鲁棒性，从而在多点插入任务中获得了90％的成功率。可以在https://bimanualmanipulation.com/上找到代码和视频

在本次调查中，我们介绍了执行需要不同于环境的操作任务的机器人的当前状态，使得机器人必须隐含地或明确地控制与环境的接触力来完成任务。机器人可以执行越来越多的人体操作任务，并且在1）主题上具有越来越多的出版物，其执行始终需要联系的任务，并且通过利用完美的任务来减轻环境来缓解不确定性信息，可以在没有联系的情况下进行。最近的趋势已经看到机器人在留下的人类留给人类，例如按摩，以及诸如PEG孔的经典任务中，对其他类似任务的概率更有效，更好的误差容忍以及更快的规划或学习任务。因此，在本调查中，我们涵盖了执行此类任务的机器人的当前阶段，从调查开始所有不同的联系方式机器人可以执行，观察这些任务是如何控制和表示的，并且最终呈现所需技能的学习和规划完成这些任务。

增强学习（RL）是一个强大的数学框架，可让机器人通过反复试验学习复杂的技能。尽管在许多应用中取得了许多成功，但RL算法仍然需要数千个试验才能融合到高性能的政策，可以在学习时产生危险的行为，并且优化的政策（通常为神经网络建模）几乎可以在无法执行的解释时给出零的解释。任务。由于这些原因，在工业环境中采用RL并不常见。另一方面，行为树（BTS）可以提供一个策略表示，a）支持模块化和可综合的技能，b）允许轻松解释机器人动作，c）提供了有利的低维参数空间。在本文中，我们提出了一种新颖的算法，该算法可以学习模拟中BT策略的参数，然后在没有任何其他培训的情况下将其推广到物理机器人。我们利用了使用数字化工作站的物理模拟器，并使用黑盒优化器优化相关参数。我们在包括避免障碍物和富含接触的插入（孔洞）的任务中，通过7道型kuka-iiwa操纵器展示了我们方法的功效，其中我们的方法优于基准。

机器人的长期愿景是装备机器人，技能与人类的多功能性和精度相匹配。例如，在播放乒乓球时，机器人应该能够以各种方式返回球，同时精确地将球放置在所需位置。模拟这种多功能行为的常见方法是使用专家（MOE）模型的混合，其中每个专家是一个上下文运动原语。然而，由于大多数目标强迫模型涵盖整个上下文空间，因此学习此类MOS是具有挑战性的，这可以防止基元的专业化导致相当低质量的组件。从最大熵增强学习（RL）开始，我们将目标分解为优化每个混合组件的个体下限。此外，我们通过允许组件专注于本地上下文区域来介绍课程，使模型能够学习高度准确的技能表示。为此，我们使用与专家原语共同调整的本地上下文分布。我们的下限主张迭代添加新组件，其中新组件将集中在当前MOE不涵盖的本地上下文区域上。这种本地和增量学习导致高精度和多功能性的模块化MOE模型，其中可以通过在飞行中添加更多组件来缩放两个属性。我们通过广泛的消融和两个具有挑战性的模拟机器人技能学习任务来证明这一点。我们将我们的绩效与Live和Hireps进行了比较，这是一个已知的分层政策搜索方法，用于学习各种技能。

可以通过组合单个机器人技能来有效地解决具有挑战性的操纵任务，该技巧必须用于具体的物理环境和手头的任务。对于人类程序员来说，这是耗时的，尤其是针对力控制的技能。为此，我们提出了阴影程序反演（SPI），这是一种直接从数据推断最佳技能参数的新方法。 SPI利用无监督的学习来训练辅助区分程序表示（“影子程序”），并通过基于梯度的模型反转实现参数推断。我们的方法使使用高效的一阶优化器可以推断出最初非差异技能的最佳参数，包括当前生产中使用的许多技能变体。 SPI零射击跨任务目标概括，这意味着不需要对阴影程序进行重新训练来推断不同任务变体的参数。我们在工业和家庭场景中评估了三个不同的机器人和技能框架的方法。代码和示例可在https://innolab.artiminds.com/icra2021上找到。

In inverse reinforcement learning (IRL), a learning agent infers a reward function encoding the underlying task using demonstrations from experts. However, many existing IRL techniques make the often unrealistic assumption that the agent has access to full information about the environment. We remove this assumption by developing an algorithm for IRL in partially observable Markov decision processes (POMDPs). We address two limitations of existing IRL techniques. First, they require an excessive amount of data due to the information asymmetry between the expert and the learner. Second, most of these IRL techniques require solving the computationally intractable forward problem -- computing an optimal policy given a reward function -- in POMDPs. The developed algorithm reduces the information asymmetry while increasing the data efficiency by incorporating task specifications expressed in temporal logic into IRL. Such specifications may be interpreted as side information available to the learner a priori in addition to the demonstrations. Further, the algorithm avoids a common source of algorithmic complexity by building on causal entropy as the measure of the likelihood of the demonstrations as opposed to entropy. Nevertheless, the resulting problem is nonconvex due to the so-called forward problem. We solve the intrinsic nonconvexity of the forward problem in a scalable manner through a sequential linear programming scheme that guarantees to converge to a locally optimal policy. In a series of examples, including experiments in a high-fidelity Unity simulator, we demonstrate that even with a limited amount of data and POMDPs with tens of thousands of states, our algorithm learns reward functions and policies that satisfy the task while inducing similar behavior to the expert by leveraging the provided side information.

使用复杂的数学方法建模的工程问题或者以昂贵的测试或实验为特征，占用有限预算或有限计算资源。此外，行业的实际情景，基于物流和偏好，对可以进行实验的方式施加限制。例如，材料供应可以仅在单次或计算模型的情况下仅实现少量实验，因此可以基于共享计算资源面临显着的等待时间。在这种情况下，一个人通常以允许最大化一个人的知识的方式进行实验，同时满足上述实际限制。实验顺序设计（Sdoe）是一种流行的方法套件，近年来越来越多的不同工程和实际问题。利用贝叶斯形式主义的普通战略是贝叶斯Sdoe，它通常在一步一步的一步中选择单一实验的一步或近视场景中最好的工作。在这项工作中，我们的目标是扩展SDOE策略，以批量输入查询实验或计算机代码。为此，我们利用基于深度加强学习（RL）的政策梯度方法，提出批次选择的查询，以考虑到整个预算。该算法保留了SDOE中固有的顺序性质，同时基于来自深rl域的任务的奖励元素。所提出的方法的独特能力是其应用于多个任务的能力，例如函数的优化，一旦其培训。我们展示了在合成问题上提出了算法的性能，以及挑战的高维工程问题。

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

机器人将机器人的无缝集成到人类环境需要机器人来学习如何使用现有的人类工具。学习工具操纵技能的目前方法主要依赖于目标机器人环境中提供的专家演示，例如，通过手动引导机器人操纵器或通过远程操作。在这项工作中，我们介绍了一种自动化方法，取代了一个专家演示，用YouTube视频来学习工具操纵策略。主要贡献是双重的。首先，我们设计一个对齐过程，使模拟环境与视频中观察到的真实世界。这是作为优化问题，找到刀具轨迹的空间对齐，以最大化环境给出的稀疏目标奖励。其次，我们描述了一种专注于工具的轨迹而不是人类的运动的模仿学习方法。为此，我们将加强学习与优化过程相结合，以基于对准环境中的工具运动来找到控制策略和机器人的放置。我们展示了仿真中的铲子，镰刀和锤子工具的建议方法，并展示了训练有素的政策对真正的弗兰卡·埃米卡熊猫机器人示范的卫生政策的有效性。

Imitation learning approaches achieve good generalization within the range of the training data, but tend to generate unpredictable motions when querying outside this range. We present a novel approach to imitation learning with enhanced extrapolation capabilities that exploits the so-called Equation Learner Network (EQLN). Unlike conventional approaches, EQLNs use supervised learning to fit a set of analytical expressions that allows them to extrapolate beyond the range of the training data. We augment the task demonstrations with a set of task-dependent parameters representing spatial properties of each motion and use them to train the EQLN. At run time, the features are used to query the Task-Parameterized Equation Learner Network (TP-EQLN) and generate the corresponding robot trajectory. The set of features encodes kinematic constraints of the task such as desired height or a final point to reach. We validate the results of our approach on manipulation tasks where it is important to preserve the shape of the motion in the extrapolation domain. Our approach is also compared with existing state-of-the-art approaches, in simulation and in real setups. The experimental results show that TP-EQLN can respect the constraints of the trajectory encoded in the feature parameters, even in the extrapolation domain, while preserving the overall shape of the trajectory provided in the demonstrations.