强化学习（RL）和连续的非线性控制已成功部署在复杂的顺序决策任务的多个领域中。但是，鉴于学习过程的探索性质和模型不确定性的存在，由于缺乏安全保证，将它们应用于安全至关重要的控制任务是一项挑战。另一方面，尽管将控制理论方法与学习算法相结合，但在安全RL应用中显示了希望，但安全数据收集过程的样本效率尚未得到很好的解决。在本文中，我们提出了一个\ emph {可证明的}示例有效的情节安全学习框架，用于在线控制任务，以利用未知的非线性动力学系统来利用安全的探索和剥削。特别是，框架1）在随机设置中扩展控制屏障功能（CBF），以在模型学习过程中实现可证明的高概率安全性，2）整合基于乐观的探索策略，以有效地将安全探索过程与学习的动态有效地指导安全探索过程对于\ emph {接近最佳}控制性能。我们对与理论保证的最佳控制器和概率安全性的偶发性遗憾进行了正式分析。提供了仿真结果以证明所提出算法的有效性和效率。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

在将强化学习（RL）部署到现实世界系统中时，确保安全是一个至关重要的挑战。我们开发了基于置信的安全过滤器，这是一种基于概率动力学模型的标准RL技术，通过标准RL技术学到的名义策略来证明国家安全限制的控制理论方法。我们的方法基于对成本功能的国家约束的重新重新制定，从而将安全验证减少到标准RL任务。通过利用幻觉输入的概念，我们扩展了此公式，以确定对具有很高可能性的未知系统安全的“备份”策略。最后，在推出备用政策期间的每一个时间步骤中，标称政策的调整最少，以便以后可以保证安全恢复。我们提供正式的安全保证，并从经验上证明我们方法的有效性。

强化学习（RL）是一种有希望的方法，对现实世界的应用程序取得有限，因为确保安全探索或促进充分利用是控制具有未知模型和测量不确定性的机器人系统的挑战。这种学习问题对于连续空间（状态空间和动作空间）的复杂任务变得更加棘手。在本文中，我们提出了一种由几个方面组成的基于学习的控制框架：（1）线性时间逻辑（LTL）被利用，以便于可以通过无限视野的复杂任务转换为新颖的自动化结构; （2）我们为RL-Agent提出了一种创新的奖励计划，正式保证，使全球最佳政策最大化满足LTL规范的概率; （3）基于奖励塑造技术，我们开发了利用自动机构结构的好处进行了模块化的政策梯度架构来分解整体任务，并促进学习控制器的性能; （4）通过纳入高斯过程（GPS）来估计不确定的动态系统，我们使用指数控制屏障功能（ECBF）综合基于模型的保障措施来解决高阶相对度的问题。此外，我们利用LTL自动化和ECBF的性质来构建引导过程，以进一步提高勘探效率。最后，我们通过多个机器人环境展示了框架的有效性。我们展示了这种基于ECBF的模块化深RL算法在训练期间实现了近乎完美的成功率和保护安全性，并且在训练期间具有很高的概率信心。

我们考虑了学习eoiSodic安全控制政策的问题，这最小化了客观函数，同时满足必要的安全约束 - 都在学习和部署期间。我们使用具有未知转换概率函数的有限范围限制的Markov决策过程（CMDP）的有限范围限制的Markov决策过程（CMDP）制定了这种安全约束的强化学习（RL）问题。在这里，我们将安全要求造型为关于在所有学习集中必须满足的预期累计成本的限制。我们提出了一种基于模型的安全RL算法，我们称之为乐观 - 悲观的安全强化学习（OPSRL）算法，并表明它实现了$ \ TINDE {\ MATHCAL {O}}（S ^ {2} \ SQRT {啊^ {7} k} /（\ bar {c} - \ bar {c} _ {b}））$累积遗憾在学习期间没有违反安全限制，其中$ S $是州的数量，$ a $动作数量，$ H $是地平线长度，$ k $是学习剧集的数量，$（\ bar {c} - \ bar {c} _ {b}）$是安全差距，即，约束值与已知安全基线政策的成本之间的差异。缩放为$ \ tilde {\ mathcal {o}}（\ sqrt {k}）$与学习期间可能违反约束的传统方法相同，这意味着我们的算法尽管提供了一个额外的遗憾安全保证。我们的主要思想是利用乐观的探索方法，以悲观的约束实施来学习政策。这种方法同时激励了未知国家的探索，同时对访问可能违反安全限制的国家施加罚款。我们通过对传统方法的基准问题进行评估来验证我们的算法。

Reinforcement learning is a powerful paradigm for learning optimal policies from experimental data. However, to find optimal policies, most reinforcement learning algorithms explore all possible actions, which may be harmful for real-world systems. As a consequence, learning algorithms are rarely applied on safety-critical systems in the real world. In this paper, we present a learning algorithm that explicitly considers safety, defined in terms of stability guarantees. Specifically, we extend control-theoretic results on Lyapunov stability verification and show how to use statistical models of the dynamics to obtain high-performance control policies with provable stability certificates. Moreover, under additional regularity assumptions in terms of a Gaussian process prior, we prove that one can effectively and safely collect data in order to learn about the dynamics and thus both improve control performance and expand the safe region of the state space. In our experiments, we show how the resulting algorithm can safely optimize a neural network policy on a simulated inverted pendulum, without the pendulum ever falling down.

基于学习的控制方案最近表现出了出色的效力执行复杂的任务。但是，为了将它们部署在实际系统中，保证该系统在在线培训和执行过程中将保持安全至关重要。因此，我们需要安全的在线学习框架，能够自主地理论当前的信息是否足以确保安全或需要新的测量。在本文中，我们提出了一个由两个部分组成的框架：首先，在需要时积极收集测量的隔离外检测机制，以确保至少一个安全备份方向始终可供使用；其次，基于高斯的基于过程的概率安全 - 关键控制器可确保系统始终保持安全的可能性。我们的方法通过使用控制屏障功能来利用模型知识，并以事件触发的方式从在线数据流中收集测量，以确保学习的安全至关重要控制器的递归可行性。反过来，这又使我们能够提供具有很高概率的安全集的正式结果，即使在先验未开发的区域中也是如此。最后，我们在自适应巡航控制系统的数值模拟中验证了所提出的框架。

在对关键安全环境的强化学习中，通常希望代理在所有时间点（包括培训期间）服从安全性限制。我们提出了一种称为Spice的新型神经符号方法，以解决这个安全的探索问题。与现有工具相比，Spice使用基于符号最弱的先决条件的在线屏蔽层获得更精确的安全性分析，而不会不适当地影响培训过程。我们在连续控制基准的套件上评估了该方法，并表明它可以达到与现有的安全学习技术相当的性能，同时遭受较少的安全性违规行为。此外，我们提出的理论结果表明，在合理假设下，香料会收敛到最佳安全政策。

在训练数据的分布中评估时，学到的模型和政策可以有效地概括，但可以在分布输入输入的情况下产生不可预测且错误的输出。为了避免在部署基于学习的控制算法时分配变化，我们寻求一种机制将代理商限制为类似于受过训练的国家和行动的机制。在控制理论中，Lyapunov稳定性和控制不变的集合使我们能够保证稳定系统周围系统的控制器，而在机器学习中，密度模型使我们能够估算培训数据分布。我们可以将这两个概念结合起来，产生基于学习的控制算法，这些算法仅使用分配动作将系统限制为分布状态？在这项工作中，我们建议通过结合Lyapunov稳定性和密度估计的概念来做到这一点，引入Lyapunov密度模型：控制Lyapunov函数和密度模型的概括，这些函数和密度模型可以保证代理商在其整个轨迹上保持分布的能力。

除了最大化奖励目标之外，现实世界中的强化学习（RL）代理商必须满足安全限制。基于模型的RL算法占据了减少不安全的现实世界行动的承诺：它们可以合成使用来自学习模型的模拟样本遵守所有约束的策略。但是，即使对于预测满足所有约束的操作，甚至可能导致真实的结构违规。我们提出了保守和自适应惩罚（CAP），一种基于模型的安全RL框架，其通过捕获模型不确定性并自适应利用它来平衡奖励和成本目标来占潜在的建模错误。首先，CAP利用基于不确定性的惩罚来膨胀预测成本。从理论上讲，我们展示了满足这种保守成本约束的政策，也可以保证在真正的环境中是可行的。我们进一步表明，这保证了在RL培训期间所有中间解决方案的安全性。此外，在使用环境中使用真正的成本反馈，帽子在培训期间自适应地调整这种惩罚。我们在基于状态和基于图像的环境中，评估了基于模型的安全RL的保守和自适应惩罚方法。我们的结果表明了样品效率的大量收益，同时产生比现有安全RL算法更少的违规行为。代码可用：https://github.com/redrew/cap

机器人等系统的安全操作要求它们计划和执行受安全约束的轨迹。当这些系统受到动态的不确定性的影响时，确保不违反限制是具有挑战性的。本文提出了基于受约束差分动态规划（DDP）的附加不确定性和非线性安全约束的安全轨迹，安全轨迹优化和控制方法。在其运动中的机器人的安全性被制定为机会限制了用户所选择的约束满足的概率。通过约束收紧将机会约束转换为DDP制剂中的确定性。为了避免在约束期间的过保守，从受约束的DDP导出的反馈策略的线性控制增益用于预测中的闭环不确定性传播的近似。所提出的算法在三种不同的机器人动态上进行了经验评估，模拟中具有高达12度的自由度。使用物理硬件实现对方法的计算可行性和适用性进行了说明。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

我们呈现$ \ mathcal {cl} _1 $ - $ \ mathcal {gp} $，控制框架，使能安全同时学习和控制能够进行不确定因素的系统。这两个主要成分是基于收缩理论的$ \ mathcal {l} _1 $（$ \ mathcal {cl} _1 $）控制和贝叶斯学习以高斯过程（GP）回归。$ \ mathcal {cl} _1 $控制器可确保在提供安全证书时满足控制目标。此外，$ \ mathcal {cl} _1 $ - $ \ mathcal {gp} $将任何可用数据纳入了GP的不确定因素模型，这提高了性能并使运动计划能够安全地实现最佳状态。这样，即使在学习瞬变期间，也可以保证系统的安全操作。我们提供了一些用于在各种环境中安全学习和控制平面的平面电路系统的说明性示例。

安全保证在许多工程实施中至关重要。强化学习提供了一种有用的方法来加强安全性。但是，增强学习算法不能完全保证对现实操作的安全性。为了解决这个问题，这项工作采用了对强化学习的控制障碍功能，并提出了一种补偿算法以完全维持安全性。具体而言，已经利用了一个方案的总和来搜索最佳控制器，并同时调整学习超级标准。因此，控制动作始终在安全区域内。提出的方法的有效性通过倒置模型证明。与基于二次编程的强化学习方法相比，我们的基于方案的基因加固学习表明了它的优势。

现实世界加固学习（RL）问题通常要求代理通过遵守一套设计的约束来安全地安全。通过在模型预测控制（MPC）中，通过耦合具有连续动作的线性设置中的修改策略梯度框架来解决安全RL的挑战。指南通过将安全要求嵌入安全要求作为MPC配方中的机会限制来强制执行系统的安全操作。政策梯度培训步骤然后包括安全罚款，该安全罚款列举了基本政策能够安全行事。我们从理论上显示了这种惩罚允许在训练后删除安全指南，并用模拟器四轮机器使用实验说明我们的方法。

本文开发了一种基于模型的强化学习（MBR）框架，用于在线在线学习无限范围最佳控制问题的价值函数，同时遵循表示为控制屏障功能（CBFS）的安全约束。我们的方法是通过开发一种新型的CBFS，称为Lyapunov样CBF（LCBF），其保留CBFS的有益特性，以开发最微创的安全控制政策，同时也具有阳性半自动等所需的Lyapunov样品质 - 义法。我们展示这些LCBFS如何用于增强基于学习的控制策略，以保证安全性，然后利用这种方法在MBRL设置中开发安全探索框架。我们表明，我们的开发方法可以通过各种数值示例来处理比较法的更通用的安全限制。

在钢筋学习（RL）中，代理必须探索最初未知的环境，以便学习期望的行为。当RL代理部署在现实世界环境中时，安全性是主要关注的。受约束的马尔可夫决策过程（CMDPS）可以提供长期的安全约束;但是，该代理人可能会违反探索其环境的制约因素。本文提出了一种称为显式探索，漏洞探索或转义（$ e ^ {4} $）的基于模型的RL算法，它将显式探索或利用（$ e ^ {3} $）算法扩展到强大的CMDP设置。 $ e ^ 4 $明确地分离开发，探索和逃脱CMDP，允许针对已知状态的政策改进的有针对性的政策，发现未知状态，以及安全返回到已知状态。 $ e ^ 4 $强制优化了从一组CMDP模型的最坏情况CMDP上的这些策略，该模型符合部署环境的经验观察。理论结果表明，在整个学习过程中满足安全限制的情况下，在多项式时间中找到近最优的约束政策。我们讨论了稳健约束的离线优化算法，以及如何基于经验推理和先验知识来结合未知状态过渡动态的不确定性。

在评估目标时，在线优化嘈杂的功能需要在部署系统上进行实验，这是制造，机器人技术和许多其他功能的关键任务。通常，对安全输入的限制是未知的，我们只会获得嘈杂的信息，表明我们违反约束的距离有多近。但是，必须始终保证安全性，不仅是算法的最终输出。我们介绍了一种通用方法，用于在高维非线性随机优化问题中寻求一个固定点，其中在学习过程中保持安全至关重要。我们称为LB-SGD的方法是基于应用随机梯度下降（SGD），其精心选择的自适应步长大小到原始问题的对数屏障近似。我们通过一阶和零阶反馈提供了非凸，凸面和强键平滑约束问题的完整收敛分析。与现有方法相比，我们的方法通过维度可以更好地更新和比例。我们从经验上将样本复杂性和方法的计算成本比较现有的安全学习方法。除了合成基准测试之外，我们还证明了方法对在安全强化学习（RL）中政策搜索任务中最大程度地减少限制违规的有效性。

Safety is one of the biggest concerns to applying reinforcement learning (RL) to the physical world. In its core part, it is challenging to ensure RL agents persistently satisfy a hard state constraint without white-box or black-box dynamics models. This paper presents an integrated model learning and safe control framework to safeguard any agent, where its dynamics are learned as Gaussian processes. The proposed theory provides (i) a novel method to construct an offline dataset for model learning that best achieves safety requirements; (ii) a parameterization rule for safety index to ensure the existence of safe control; (iii) a safety guarantee in terms of probabilistic forward invariance when the model is learned using the aforementioned dataset. Simulation results show that our framework guarantees almost zero safety violation on various continuous control tasks.