强化学习被广泛用于在与环境互动时需要执行顺序决策的应用中。当决策要求包括满足一些安全限制时，问题就变得更加具有挑战性。该问题在数学上是作为约束的马尔可夫决策过程（CMDP）提出的。在文献中，可以通过无模型的方式解决各种算法来解决CMDP问题，以实现$ \ epsilon $ - 最佳的累积奖励，并使用$ \ epsilon $可行的政策。 $ \ epsilon $可行的政策意味着它遭受了违规的限制。这里的一个重要问题是，我们是否可以实现$ \ epsilon $ - 最佳的累积奖励，并违反零约束。为此，我们主张使用随机原始偶对偶方法来解决CMDP问题，并提出保守的随机原始二重算法（CSPDA），该算法（CSPDA）显示出$ \ tilde {\ tilde {\ Mathcal {o}} \ left（1 /\ epsilon^2 \ right）$样本复杂性，以实现$ \ epsilon $ - 最佳累积奖励，违反零约束。在先前的工作中，$ \ epsilon $ - 最佳策略的最佳可用样本复杂性是零约束的策略是$ \ tilde {\ Mathcal {o}}} \ left（1/\ epsilon^5 \ right）$。因此，与最新技术相比，拟议的算法提供了重大改进。

我们考虑了在连续的状态行为空间中受到约束马尔可夫决策过程（CMDP）的问题，在该空间中，目标是最大程度地提高预期的累积奖励受到某些约束。我们提出了一种新型的保守自然政策梯度原始二算法（C-NPG-PD），以达到零约束违规，同时实现了目标价值函数的最新融合结果。对于一般策略参数化，我们证明了价值函数与全局最佳功能的融合到由于限制性策略类而导致的近似错误。我们甚至从$ \ Mathcal {o}（1/\ epsilon^6）$从$ \ Mathcal {o}（1/\ Epsilon^4）$提高了现有约束NPG-PD算法\ cite {ding2020}的样本复杂性。。据我们所知，这是第一项通过自然政策梯度样式算法建立零约束违规的工作，用于无限的地平线折扣CMDP。我们通过实验评估证明了提出的算法的优点。

在优化动态系统时，变量通常具有约束。这些问题可以建模为受约束的马尔可夫决策过程（CMDP）。本文考虑了受限制的马尔可夫决策过程（PCMDP），其中代理选择该策略以最大程度地提高有限视野中的总奖励，并在每个时期内满足约束。应用不受约束的问题并应用了基于Q的方法。我们定义了可能正确正确的PCMDP问题的概念（PAC）。事实证明，提出的算法可以实现$（\ epsilon，p）$ - PAC政策，当$ k \ geq \ omega（\ frac {i^2h^6sa \ ell} {\ ell} {\ epsilon^2}）$ $ s $和$ a $分别是州和行动的数量。 $ h $是每集时代的数量。 $ i $是约束函数的数量，$ \ ell = \ log（\ frac {sat} {p}）$。我们注意到，这是PCMDP的PAC分析的第一个结果，具有峰值约束，其中过渡动力学未知。我们证明了有关能量收集问题和单个机器调度问题的提议算法，该算法接近研究优化问题的理论上限。

作为安全加强学习的重要框架，在最近的文献中已经广泛研究了受约束的马尔可夫决策过程（CMDP）。然而，尽管在各种式学习设置下取得了丰富的结果，但就算法设计和信息理论样本复杂性下限而言，仍然缺乏对离线CMDP问题的基本理解。在本文中，我们专注于仅在脱机数据可用的情况下解决CMDP问题。通过采用单极浓缩系数$ c^*$的概念，我们建立了一个$ \ omega \ left（\ frac {\ min \ left \ left \ weft \ {| \ mathcal {s} || \ mathcal {a} a} |，， | \ Mathcal {s} |+i \ right \} c^*} {（1- \ gamma）^3 \ epsilon^2} \ right）$ sample Complacy度在离线cmdp问题上，其中$ i $架对于约束数量。通过引入一种简单但新颖的偏差控制机制，我们提出了一种称为DPDL的近乎最佳的原始二重学习算法。该算法证明，除了$ \ tilde {\ Mathcal {o}}}}（（（1- \ gamma）^{ - 1}）$外，该算法可确保零约束违规及其样本复杂性匹配上下界。还包括有关如何处理未知常数$ c^*$以及离线数据集中潜在的异步结构的全面讨论。

我们考虑了马尔可夫决策过程（CMDP）的问题，其中代理与Markov Unichain决策过程进行交互。在每次互动中，代理都会获得奖励。此外，还有$ K $成本功能。该代理商的目标是最大程度地提高长期平均奖励，同时使$ k $的长期平均成本低于一定阈值。在本文中，我们提出了CMDP-PSRL，这是一种基于后取样的算法，使用该算法，代理可以学习与CMDP相互作用的最佳策略。此外，对于具有$ s $州的MDP，$ A $ ACTICE和DIAMETER $ D $，我们证明，遵循CMDP-PSRL算法，代理商可能会束缚不累积最佳策略奖励的遗憾。 （poly（dsa）\ sqrt {t}）$。此外，我们表明，任何$ k $约束的违规行为也受$ \ tilde {o}（poly（dsa）\ sqrt {t}）$的限制。据我们所知，这是第一批获得$ \ tilde {o}（\ sqrt {t}）$遗憾的Ergodic MDP的界限，并具有长期平均约束。

与表征解决马尔可夫决策过程（MDP）样品复杂性的进步相反，解决约束MDP（CMDP）的最佳统计复杂性仍然未知。我们通过在折扣CMDP中学习近乎最佳策略的样本复杂性上的最小上限和下限来解决这个问题，并访问生成模型（模拟器）。特别是，我们设计了一种基于模型的算法，该算法解决了两个设置：（i）允许违反小小的约束的可行性，以及（ii）严格的可行性，其中需要输出策略来满足约束。对于（i），我们证明我们的算法通过制作$ \ tilde {o} \ left（\ frac {s a \ log（1/\ delta）来返回带有概率$ 1- \ delta $的$ \ epsilon $ - 优势策略} {（1- \ gamma）^3 \ epsilon^2} \ right）$ QUERIES $ QUERIES与生成模型相匹配，因此与无约束的MDP的样品复杂性匹配。对于（ii），我们表明该算法的样本复杂性是由$ \ tilde {o} \ left（\ frac {s a a \ log，\ log（1/\ delta）} {（1 - \ gamma）^5 \，\ epsilon^2 \ zeta^2} \ right）$，其中$ \ zeta $是与问题相关的slater常数，其特征是可行区域的大小。最后，我们证明了严格的可行性设置的匹配较低限制，因此获得了折扣CMDP的第一个最小值最佳界限。我们的结果表明，在允许违反小小的约束时，学习CMDP与MDP一样容易，但是当我们要求零约束违规时，本质上更加困难。

我们考虑了具有未知成本函数的大规模马尔可夫决策过程，并解决了从有限一套专家演示学习政策的问题。我们假设学习者不允许与专家互动，并且无法访问任何类型的加固信号。现有的逆钢筋学习方法具有强大的理论保证，但在计算上是昂贵的，而最先进的政策优化算法实现了重大的经验成功，但受到有限的理论理解受到阻碍。为了弥合理论与实践之间的差距，我们使用拉格朗日二元介绍了一种新的Bilinear鞍点框架。所提出的原始双视点允许我们通过随机凸优化的镜头开发出无模型可释放的算法。该方法享有实现，低内存要求和独立于州数量的计算和采样复杂性的优点。我们进一步提出了同等的无悔在线学习解释。

我们考虑了学习eoiSodic安全控制政策的问题，这最小化了客观函数，同时满足必要的安全约束 - 都在学习和部署期间。我们使用具有未知转换概率函数的有限范围限制的Markov决策过程（CMDP）的有限范围限制的Markov决策过程（CMDP）制定了这种安全约束的强化学习（RL）问题。在这里，我们将安全要求造型为关于在所有学习集中必须满足的预期累计成本的限制。我们提出了一种基于模型的安全RL算法，我们称之为乐观 - 悲观的安全强化学习（OPSRL）算法，并表明它实现了$ \ TINDE {\ MATHCAL {O}}（S ^ {2} \ SQRT {啊^ {7} k} /（\ bar {c} - \ bar {c} _ {b}））$累积遗憾在学习期间没有违反安全限制，其中$ S $是州的数量，$ a $动作数量，$ H $是地平线长度，$ k $是学习剧集的数量，$（\ bar {c} - \ bar {c} _ {b}）$是安全差距，即，约束值与已知安全基线政策的成本之间的差异。缩放为$ \ tilde {\ mathcal {o}}（\ sqrt {k}）$与学习期间可能违反约束的传统方法相同，这意味着我们的算法尽管提供了一个额外的遗憾安全保证。我们的主要思想是利用乐观的探索方法，以悲观的约束实施来学习政策。这种方法同时激励了未知国家的探索，同时对访问可能违反安全限制的国家施加罚款。我们通过对传统方法的基准问题进行评估来验证我们的算法。

我们解决了加固学习的安全问题。我们在折扣无限地平线受限的Markov决策过程框架中提出了问题。现有结果表明，基于梯度的方法能够实现$ \ mathcal {o}（1 / \ sqrt {t}）$全球收敛速度，用于最优差距和约束违规。我们展示了一种基于自然的基于政策梯度的算法，该算法具有更快的收敛速度$ \ mathcal {o}（\ log（t）/ t）$的最优性差距和约束违规。当满足Slater的条件并已知先验时，可以进一步保证足够大的$ T $的零限制违规，同时保持相同的收敛速度。

我们研究了受限的强化学习问题，其中代理的目的是最大程度地提高预期的累积奖励，从而受到对实用程序函数的预期总价值的约束。与现有的基于模型的方法或无模型方法伴随着“模拟器”，我们旨在开发第一个无模型的无模拟算法，即使在大规模系统中，也能够实现sublinear遗憾和透明度的约束侵犯。为此，我们考虑具有线性函数近似的情节约束决策过程，其中过渡动力学和奖励函数可以表示为某些已知功能映射的线性函数。我们表明$ \ tilde {\ mathcal {o}}（\ sqrt {d^3h^3t}）$遗憾和$ \ tilde {\ tillcal {\ mathcal {o}}（\ sqrt {d^3h^3ht}）$约束$约束$约束可以实现违规范围，其中$ d $是功能映射的尺寸，$ h $是情节的长度，而$ t $是总数的总数。我们的界限是在没有明确估计未知过渡模型或需要模拟器的情况下达到的，并且仅通过特征映射的维度依赖于状态空间。因此，即使国家的数量进入无穷大，我们的界限也会存在。我们的主要结果是通过标准LSVI-UCB算法的新型适应来实现的。特别是，我们首先将原始二次优化引入LSVI-UCB算法中，以在遗憾和违反约束之间取得平衡。更重要的是，我们使用软马克斯政策取代了LSVI-UCB中的状态行动功能的标准贪婪选择。事实证明，这对于通过其近似平滑度的权衡来确定受约束案例的统一浓度是关键。我们还表明，一个人可以达到均匀的约束违规行为，同时仍然保持相同的订单相对于$ t $。

我们研究了平均奖励马尔可夫决策过程（AMDP）的问题，并开发了具有强大理论保证的新型一阶方法，以进行政策评估和优化。由于缺乏勘探，现有的彻底评估方法遭受了次优融合率以及处理不足的随机策略（例如确定性政策）的失败。为了解决这些问题，我们开发了一种新颖的差异时间差异（VRTD）方法，具有随机策略的线性函数近似以及最佳收敛保证，以及一种探索性方差降低的时间差（EVRTD）方法，用于不充分的随机策略，可相当的融合保证。我们进一步建立了政策评估偏见的线性收敛速率，这对于改善策略优化的总体样本复杂性至关重要。另一方面，与对MDP的政策梯度方法的有限样本分析相比，对AMDP的策略梯度方法的现有研究主要集中在基础马尔可夫流程的限制性假设下（例如，参见Abbasi-e， Yadkori等人，2019年），他们通常缺乏整体样本复杂性的保证。为此，我们开发了随机策略镜下降（SPMD）的平均奖励变体（LAN，2022）。我们建立了第一个$ \ widetilde {\ Mathcal {o}}（\ epsilon^{ - 2}）$样品复杂性，用于在生成模型（带有UNICHAIN假设）和Markovian Noise模型（使用Ergodicicic Modele（具有核能的模型）下，使用策略梯度方法求解AMDP假设）。该界限可以进一步改进到$ \ widetilde {\ Mathcal {o}}}（\ epsilon^{ - 1}）$用于求解正则化AMDPS。我们的理论优势通过数值实验来证实。

Offline reinforcement learning (RL) concerns pursuing an optimal policy for sequential decision-making from a pre-collected dataset, without further interaction with the environment. Recent theoretical progress has focused on developing sample-efficient offline RL algorithms with various relaxed assumptions on data coverage and function approximators, especially to handle the case with excessively large state-action spaces. Among them, the framework based on the linear-programming (LP) reformulation of Markov decision processes has shown promise: it enables sample-efficient offline RL with function approximation, under only partial data coverage and realizability assumptions on the function classes, with favorable computational tractability. In this work, we revisit the LP framework for offline RL, and advance the existing results in several aspects, relaxing certain assumptions and achieving optimal statistical rates in terms of sample size. Our key enabler is to introduce proper constraints in the reformulation, instead of using any regularization as in the literature, sometimes also with careful choices of the function classes and initial state distributions. We hope our insights further advocate the study of the LP framework, as well as the induced primal-dual minimax optimization, in offline RL.

最大化马尔可夫和固定的累积奖励函数，即在国家行动对和时间独立于时间上定义，足以在马尔可夫决策过程（MDP）中捕获多种目标。但是，并非所有目标都可以以这种方式捕获。在本文中，我们研究了凸MDP，其中目标表示为固定分布的凸功能，并表明它们不能使用固定奖励函数进行配制。凸MDP将标准加强学习（RL）问题提出概括为一个更大的框架，其中包括许多受监督和无监督的RL问题，例如学徒学习，约束MDP和所谓的“纯探索”。我们的方法是使用Fenchel二重性将凸MDP问题重新将凸MDP问题重新制定为涉及政策和成本（负奖励）的最小游戏。我们提出了一个用于解决此问题的元偏金属，并表明它统一了文献中许多现有的算法。

我们研究具有多个奖励价值函数的马尔可夫决策过程（MDP）的政策优化，应根据给定的标准共同优化，例如比例公平（平滑凹面标量），硬约束（约束MDP）和Max-Min Trade-离开。我们提出了一个改变锚定的正规自然政策梯度（ARNPG）框架，该框架可以系统地将良好表现的一阶方法中的思想纳入多目标MDP问题的策略优化算法的设计。从理论上讲，基于ARNPG框架的设计算法实现了$ \ tilde {o}（1/t）$全局收敛，并具有精确的梯度。从经验上讲，与某些现有的基于策略梯度的方法相比，ARNPG引导的算法在精确梯度和基于样本的场景中也表现出卓越的性能。

离线增强学习（RL）的样本效率保证通常依赖于对功能类别（例如Bellman-Completeness）和数据覆盖范围（例如，全政策浓缩性）的强有力的假设。尽管最近在放松这些假设方面做出了努力，但现有作品只能放松这两个因素之一，从而使另一个因素的强烈假设完好无损。作为一个重要的开放问题，我们是否可以实现对这两个因素的假设较弱的样本效率离线RL？在本文中，我们以积极的态度回答了这个问题。我们基于MDP的原始偶对偶进行分析了一种简单的算法，其中双重变量（打折占用）是使用密度比函数对离线数据进行建模的。通过适当的正则化，我们表明该算法仅在可变性和单极浓缩性下具有多项式样品的复杂性。我们还基于不同的假设提供了替代分析，以阐明离线RL原始二算法的性质。

在表格设置下，我们研究了折扣马尔可夫决策过程（MDP）的强化学习问题。我们提出了一种名为UCBVI - $ \ Gamma $的基于模型的算法，该算法基于\ emph {面对不确定原理}和伯尔斯坦型奖金的乐观。我们展示了UCBVI - $ \ Gamma $实现了一个$ \ tilde {o} \ big（{\ sqrt {sat}} / {（1- \ gamma）^ {1.5}} \ big）$后悔，在哪里$ s $是州的数量，$ a $是行动的数量，$ \ gamma $是折扣因子，$ t $是步数。此外，我们构建了一类硬MDP并表明对于任何算法，预期的遗憾是至少$ \ tilde {\ omega} \ big（{\ sqrt {sat}} / {（1- \ gamma）^ {1.5}} \大）$。我们的上限与对数因子的最低限度相匹配，这表明UCBVI - $ \ Gamma $几乎最小的贴现MDP。

在许多综合设置（例如视频游戏）和GO中，增强学习（RL）超出了人类的绩效。但是，端到端RL模型的现实部署不太常见，因为RL模型对环境的轻微扰动非常敏感。强大的马尔可夫决策过程（MDP）框架（其中的过渡概率属于名义模型设置的不确定性）提供了一种开发健壮模型的方法。虽然先前的分析表明，RL算法是有效的，假设访问生成模型，但尚不清楚RL在更现实的在线设置下是否可以有效，这需要在探索和开发之间取得仔细的平衡。在这项工作中，我们通过与未知的名义系统进行互动来考虑在线强大的MDP。我们提出了一种强大的乐观策略优化算法，该算法可有效。为了解决由对抗性环境引起的其他不确定性，我们的模型具有通过Fenchel Conjugates得出的新的乐观更新规则。我们的分析确定了在线强大MDP的第一个遗憾。

这项工作开发了具有严格效率的新算法，可确保无限的地平线模仿学习（IL）具有线性函数近似而无需限制性相干假设。我们从问题的最小值开始，然后概述如何从优化中利用经典工具，尤其是近端点方法（PPM）和双平滑性，分别用于在线和离线IL。多亏了PPM，我们避免了在以前的文献中出现在线IL的嵌套政策评估和成本更新。特别是，我们通过优化单个凸的优化和在成本和Q函数上的平稳目标来消除常规交替更新。当不确定地解决时，我们将优化错误与恢复策略的次级优势联系起来。作为额外的奖励，通过将PPM重新解释为双重平滑以专家政策为中心，我们还获得了一个离线IL IL算法，该算法在所需的专家轨迹方面享有理论保证。最后，我们实现了线性和神经网络功能近似的令人信服的经验性能。

尽管无奖励强化学习勘探阶段的主要目标（RF-RL）是减少具有最小轨迹数量的估计模型中的不确定性时间。目前尚不清楚这种安全的探索要求如何影响相应的样本复杂性，以实现所获得的计划中所需的最佳性。在这项工作中，我们首次尝试回答这个问题。特别是，我们考虑了事先知道安全基线政策的情况，并提出了一个统一的安全奖励探索（甜蜜）框架。然后，我们将甜蜜框架专门为表格和低级MDP设置，并分别开发出算法所构成的表格甜味和低级别甜味。两种算法都利用了新引入的截短值函数的凹度和连续性，并保证在探索过程中以高概率侵犯了零约束。此外，两种算法都可以在计划阶段的任何约束中找到近乎最佳的政策。值得注意的是，算法下的样本复杂性在无限制的对应物中匹配甚至超过最恒定因素的最新情况，这证明安全约束几乎不会增加RF-RL的样本复杂性。

我们研究了基于模型的无奖励加强学习，具有ePiSodic Markov决策过程的线性函数近似（MDP）。在此设置中，代理在两个阶段工作。在勘探阶段，代理商与环境相互作用并在没有奖励的情况下收集样品。在规划阶段，代理商给出了特定的奖励功能，并使用从勘探阶段收集的样品来学习良好的政策。我们提出了一种新的可直接有效的算法，称为UCRL-RFE在线性混合MDP假设，其中MDP的转换概率内核可以通过线性函数参数化，在状态，动作和下一个状态的三联体上定义的某些特征映射上参数化。我们展示了获得$ \ epsilon $-Optimal策略进行任意奖励函数，Ucrl-RFE需要以大多数$ \ tilde {\ mathcal {o}}来进行采样（h ^ 5d ^ 2 \ epsilon ^ { - 2}）勘探阶段期间的$派对。在这里，$ H $是集的长度，$ d $是特征映射的尺寸。我们还使用Bernstein型奖金提出了一种UCRL-RFE的变种，并表明它需要在大多数$ \ TINDE {\ MATHCAL {o}}（H ^ 4D（H + D）\ epsilon ^ { - 2}）进行样本$达到$ \ epsilon $ -optimal政策。通过构建特殊类的线性混合MDPS，我们还证明了对于任何无奖励算法，它需要至少为$ \ TINDE \ OMEGA（H ^ 2d \ epsilon ^ { - 2}）$剧集来获取$ \ epsilon $ -optimal政策。我们的上限与依赖于$ \ epsilon $的依赖性和$ d $ if $ h \ ge d $。