行为树代表了将几个低级控制策略结合到高级任务切换策略中的分层和模块化方式。在不同策略之间的任务切换方面也可以看到混合动态系统，因此已经进行了行为树和混合动态系统之间的几个比较，而是仅在离散时间内进行间隔。缺乏正式的行为树连续时间制定。此外，已经进行了特定类行为树设计的收敛分析，但不是一般设计。在这封信中，我们提供了行为树的第一次连续时间制定，表明它们可以被视为不连续的动态系统（混合动态系统的子类），这使得存在于行为树的存在和唯一性结果，最后，提供足够的条件，在该系统下，这些系统将收敛到通用设计的状态空间的所需区域。通过这些结果，可以在设计行为树控制器时使用持续时间动态系统的大量结果。

在本文中，我们展示了具有性能保证的行为树如何在安全性和目标融合方面如何扩展使用使用机器学习设计的组件，而不会破坏这些性能保证。诸如强化学习或从演示中学习之类的机器学习方法对想要在代理商中有效和现实的行为的AI设计师非常有吸引力。但是，这些算法很少提供保证，可以在所有不同情况下解决给定的任务，同时确保代理商的安全。取而代之的是，对于手动设计的基于模型的方法，通常更容易找到此类保证。在本文中，我们利用行为树的模块化来扩展给定的设计，以保存保证的方式有效但可能不可靠的机器学习组件。用倒置的示例说明了该方法。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

行为树（BT）在机器人界变得越来越流行。BT工具非常适合决策应用程序，允许机器人执行复杂的行为，同时也可以向人类解释。验证使用的BT在安全性和可靠性要求方面已经很好地构建是必不可少的，尤其是对于在关键环境中运行的机器人。在这项工作中，我们建议对行为树的形式规范和一种证明已经使用过的树的不变性的方法，同时使最终用户的树木形式化的复杂性保持简单。允许在行为树的特定实例中测试行为树的特定实例，而无需了解更抽象的形式化级别。

任务（SOT）控件允许机器人同时实现根据错误空间中（在）平等约束方面提出的许多优先目标。由于这种方法在每个时间步长求解了一系列二次程序（QP），而无需考虑任何时间状态的演变，因此适用于处理局部干扰。但是，其限制在于处理需要非二次目标才能实现特定目标的情况，以及应对控制干扰的情况，需要在本地进行次优的行动。最近的作品通过利用有限状态机器（FSM）来解决这一缺点，以使机器人不会陷入本地最小值的方式组成任务。然而，反应性和模块化之间的内在折衷是FSM的表征使它们在动态环境中定义反应性行为不切实际。在这封信中，我们将SOT控制策略与行为树（BTS）相结合，该任务切换结构在反应性，模块化和可重复使用方面解决了FSM的某些局限性。 Franka Emika Panda 7-DOF操纵器的实验结果显示了我们框架的稳健性，该框架使机器人可以从SOT和BTS的反应性中受益。

在本文中，我们提供了一个实用的证明，即与有限状态机（FSM）相比，行为树（BT）中的模块化如何减少编程机器人任务的努力。近年来，代表控制自治药物的任务计划的方法已从标准FSM转移到BTS。与标准方法相比，文献中的许多作品都强调并证明了这种设计的好处，尤其是在模块化，反应性和人类可读性方面。但是，这些作品通常无法在实施这些政策以及修改它们所需的编程工作中提供切实的比较。这是许多机器人应用中的一个相关方面，在该方面，设计选择是由政策的鲁棒性和对其进行编程所需的时间来决定的。在这项工作中，我们通过评估修改它们的成本来比较向后链的BT和FSM的耐故障设计。我们通过在模拟环境中通过一组实验来验证分析，其中移动操纵器可以解决项目提取任务。

行为树起源于视频游戏，是一种控制NPC的方法，但此后在机器人学界获得了吸引力，它是描述执行任务的框架。Behaverify是一种从PY_TREE创建NUXMV模型的工具。对于标准化的复合节点，此过程是自动的，不需要其他用户输入。自动支持各种叶子节点，不需要其他用户输入，但是自定义的叶节点将需要其他用户输入才能正确建模。Behaverify可以提供一个模板以使其更轻松。Behaverify能够创建具有100多个节点的NUXMV模型，NUXMV能够直接和通过反例验证该模型上的各种非平凡LTL属性。该模型具有并行节点，选择器和序列节点。与基于BTCompiler的模型的比较表明，由Behaverify创建的模型表现更好。

多机器人和多代理系统通过系统的局部行为集成在组中表现出集体（Swarm）智能。分享有关任务和环境知识的代理商可以提高个人和任务水平的绩效。但是，这很难实现，部分原因是缺乏用于在代理之间转移一部分知识（行为）的通用框架。本文提出了一个新的知识表示框架和一种称为KT-BT：通过行为树的知识转移的转移策略。 KT-BT框架遵循通过在线行为树框架进行查询反应加速机制，在该框架中，代理对未知条件进行广播查询，并使用条件性能控制子流量以适当的知识做出响应。我们嵌入了一种称为StringBT的新型语法结构，该结构编码知识，从而实现行为共享。从理论上讲，我们研究了KT-BT框架的特性，与异质系统相比，整个小组的高知识同质性具有高度知识的性质，而没有能力共享知识。我们在模拟的多机器人搜索和救援问题中广泛验证了我们的框架。结果表明，在各种情况下，成功传递知识转移并提高了群体绩效。我们进一步研究了机会和沟通范围对一组代理商中群体绩效，知识传播和功能异质性的影响，并提供有趣的见解。

了解机器人控制器的全球动态，例如识别吸引子及其吸引力区域（ROA），对于安全部署和综合更有效的混合控制器很重要。本文提出了一个拓扑框架，以有效且可解释的方式分析机器人控制器，甚至是数据驱动器的全球动态。它构建了代表基础系统的状态空间和非线性动力学的组合表示形式，该动力学总结在有向的无环图中，即Morse图。该方法仅通过在状态空间离散化上向局部传播短轨迹来探测本地的动力学，这需要是lipschitz的连续函数。对经典机器人基准的数值或数据驱动控制器进行了评估。将其与已建立的分析和最新的机器学习替代方法进行了比较，以估计此类控制器的ROA。证明它在准确性和效率方面表现优于它们。它还提供了更深入的见解，因为它描述了离散化解决方案的全局动态。这允许使用Morse图来识别如何合成控制器以形成改进的混合解决方案或如何识别机器人系统的物理限制。

自主机器人结合了各种技能，形成越来越复杂的行为，称为任务。尽管这些技能通常以相对较低的抽象级别进行编程，但它们的协调是建筑分离的，并且经常以高级语言或框架表达。几十年来，州机器一直是首选的语言，但是最近，行为树的语言在机器人主义者中引起了人们的关注。行为树最初是为计算机游戏设计的，用于建模自主参与者，提供了基于树木的可扩展的使命表示，并受到支持支持模块化设计和代码的重复使用。但是，尽管使用了该语言的几种实现，但对现实世界中的用法和范围知之甚少。行为树提供的概念与传统语言（例如州机器）有何关系？应用程序中如何使用行为树和状态机概念？我们介绍了对行为树中关键语言概念的研究及其在现实世界机器人应用中的使用。我们识别行为树语言，并将其语义与机器人技术中最著名的行为建模语言进行比较。我们为使用这些语言的机器人应用程序挖掘开源存储库并分析此用法。我们发现两种行为建模语言在语言设计及其在开源项目中的用法之间的相似性方面，以满足机器人域的需求。我们为现实世界行为模型的数据集提供了贡献，希望激发社区使用和进一步开发这种语言，相关的工具和分析技术。

增强学习（RL）是一个强大的数学框架，可让机器人通过反复试验学习复杂的技能。尽管在许多应用中取得了许多成功，但RL算法仍然需要数千个试验才能融合到高性能的政策，可以在学习时产生危险的行为，并且优化的政策（通常为神经网络建模）几乎可以在无法执行的解释时给出零的解释。任务。由于这些原因，在工业环境中采用RL并不常见。另一方面，行为树（BTS）可以提供一个策略表示，a）支持模块化和可综合的技能，b）允许轻松解释机器人动作，c）提供了有利的低维参数空间。在本文中，我们提出了一种新颖的算法，该算法可以学习模拟中BT策略的参数，然后在没有任何其他培训的情况下将其推广到物理机器人。我们利用了使用数字化工作站的物理模拟器，并使用黑盒优化器优化相关参数。我们在包括避免障碍物和富含接触的插入（孔洞）的任务中，通过7道型kuka-iiwa操纵器展示了我们方法的功效，其中我们的方法优于基准。

安全限制和最优性很重要，但有时控制器有时相互冲突的标准。虽然这些标准通常与不同的工具单独解决以维持正式保障，但在惩罚失败时，加强学习的常见做法是惩罚，以惩罚为单纯的启发式。我们严格地检查了安全性和最优性与惩罚的关系，并对安全价值函数进行了足够的条件：对给定任务的最佳价值函数，并强制执行安全约束。我们通过强大的二元性证明，揭示这种关系的结构，表明始终存在一个有限的惩罚，引起安全值功能。这种惩罚并不是独特的，但大不束缚：更大的惩罚不会伤害最优性。虽然通常无法计算最低所需的惩罚，但我们揭示了清晰的惩罚，奖励，折扣因素和动态互动的结构。这种洞察力建议实用，理论引导的启发式设计奖励功能，用于控制安全性很重要的控制问题。

This paper presents a new approach for analyzing and identifying potentially useful generalized plans. It presents a new conceptual framework along with an algorithmic process for assessing termination and reachability related properties of generalized plans. The presented framework builds upon classic results on the analysis of graphs to decompose generalized plans into smaller components in a novel algorithm for conducting a hierarchical analysis for termination of arbitrary generalized plans. Theoretical analysis of the new framework establishes soundness of the presented algorithms and shows how it goes beyond existing approaches; empirical analysis illustrates the scope of this approach. Our analysis shows that this new approach can effectively identify termination for a significantly larger class of generalized plans than was possible using existing methods.

Amoebot模型将主动的可编程物质抽象为简单的计算元素的集合，称为Amoebot，它们在本地交互以集体完成协调和运动任务。自2014年SPAA推出以来，越来越多的文献已经改编了其对各种问题的假设。但是，如果没有标准化的假设层次结构，则很难对Amoebot模型下的结果进行精确的系统比较。我们提出了规范的Amoebot模型，该模型是一个更新的形式化，可区分核心模型特征和假设变体系列。规范Amoebot模型解决的关键改进是并发。现有的许多文献隐含地假设Amoebot动作是孤立且可靠的，将分析降低到一个顺序设置，其中最多一次是Amoebot活跃的。但是，实际可编程系统是并发的。 Canonical Amoebot模型将所有Amoebot通信形式化为消息传递，利用并发执行的对抗激活模型。在这种颗粒状的时间处理下，我们采用两种互补方法来并发算法设计。我们首先在任何并发执行下建立一组足够的条件，以实现算法正确性，将并发控制直接嵌入算法设计中。然后，我们提出了一个并发控制框架，该框架使用锁来转换在顺序设置中终止的Amoebot算法，并满足某些约定在并发设置中表现出等效行为的算法中的某些约定。作为案例研究，我们使用简单的六边形形成算法证明了这两种方法。共同的Amoebot模型以及这些并发算法设计的互补方法设计开放的新方向，用于分布式计算可编程问题。

我们为保留部分顺序的部分有序数据的基于相似性的分层群集提供了一个目标函数。也就是说，如果$ x \ le y $，如果$ [x] $和$ [y] $是$ x $和$ y $的相应群集，那么有一个订单关系$ \ LE' $群集$ [x] \ Le'| Y] $。该理论将本身与现有的理论区分开了用于统称有序数据的理论，因为顺序关系和相似性被组合成双目标优化问题，以获得寻求满足两者的分层聚类。特别地，顺序关系在$ [0,1] $的范围内加权，如果相似性和顺序关系未对齐，则订单保存可能必须屈服于群集。找到最佳解决方案是NP-HARD，因此我们提供多项式时间近似算法，具有$ O \左的相对性能保证（\ log ^ {3/2} \！\！\，n \右）$ ，基于定向稀疏性切割的连续应用。我们在基准数据集中提供了演示，显示我们的方法优于具有重要边距的顺序保留分层聚类的现有方法。该理论是划分分层聚类的Dasgupta成本函数的扩展。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

结构分解方法，例如普遍的高树木分解，已成功用于解决约束满意度问题（CSP）。由于可以重复使用分解以求解具有相同约束范围的CSP，因此即使计算本身很难，将资源投资于计算良好的分解是有益的。不幸的是，即使示波器仅略有变化，当前方法也需要计算全新的分解。在本文中，我们迈出了解决CSP $ P $分解的问题的第一步，以使其成为由$ P $修改产生的新CSP $ P'$的有效分解。即使从理论上讲问题很难，我们还是提出并实施了一个有效更新GHD的框架。我们算法的实验评估强烈提出了实际适用性。

我们提出了五个基本的认知科学基本宗旨，我们在相关文献中认真地将其确定为该哲学的主要基本原则。然后，我们开发一个数学框架来讨论符合这些颁布宗旨的认知系统（人造和自然）。特别是我们注意，我们的数学建模并不将内容符号表示形式归因于代理商，并且代理商的大脑，身体和环境的建模方式使它们成为更大整体的不可分割的一部分。目的是为认知创造数学基础，该基础符合颁布主义。我们看到这样做的两个主要好处：（1）它使计算机科学家，AI研究人员，机器人主义者，认知科学家和心理学家更容易获得颁发的思想，并且（2）它为哲学家提供了一种可以使用的数学工具，可以使用它澄清他们的观念并帮助他们的辩论。我们的主要概念是一种感觉运动系统，这是过渡系统研究概念的特殊情况。我们还考虑了相关的概念，例如标记的过渡系统和确定性自动机。我们分析了一个名为“足够的概念”，并表明它是“从颁布主义的角度来看”中“认知数学数学”中基础概念的一个很好的候选者。我们通过证明对最小的完善（在某种意义上与生物体对环境的最佳调整相对应）的独特定理来证明其重要性，并证明充分性与已知的概念相对应，例如足够的历史信息空间。然后，我们开发其他相关概念，例如不足程度，普遍覆盖，等级制度，战略充足。最后，我们将其全部绑架到颁布的宗旨。

本文研究了黑盒安全测试配置中基于方案的安全测试算法。对于与不同采样分布共享相同州行动集覆盖的算法，通常认为优先考虑探索高风险状态现象会提高采样效率。我们的提案通过引入不可能的定理来对上述直觉提出异议，该定理可证明显示上述差异的所有安全测试算法，同样具有相同的预期采样效率。此外，对于涵盖不同状态活动集的测试算法，采样效率标准不再适用，因为不同的算法不一定会收敛到相同的终止条件。然后，我们提出了基于几乎安全集合概念的测试攻击性定义，以及一种无偏和有效的算法，比较了测试算法之间的侵略性。还提出了来自两足球运动控制器和车辆决策模块的安全测试的经验观察，以支持提出的理论意义和方法。