In robust Markov decision processes (MDPs), the uncertainty in the transition kernel is addressed by finding a policy that optimizes the worst-case performance over an uncertainty set of MDPs. While much of the literature has focused on discounted MDPs, robust average-reward MDPs remain largely unexplored. In this paper, we focus on robust average-reward MDPs, where the goal is to find a policy that optimizes the worst-case average reward over an uncertainty set. We first take an approach that approximates average-reward MDPs using discounted MDPs. We prove that the robust discounted value function converges to the robust average-reward as the discount factor $\gamma$ goes to $1$, and moreover, when $\gamma$ is large, any optimal policy of the robust discounted MDP is also an optimal policy of the robust average-reward. We further design a robust dynamic programming approach, and theoretically characterize its convergence to the optimum. Then, we investigate robust average-reward MDPs directly without using discounted MDPs as an intermediate step. We derive the robust Bellman equation for robust average-reward MDPs, prove that the optimal policy can be derived from its solution, and further design a robust relative value iteration algorithm that provably finds its solution, or equivalently, the optimal robust policy.

受限的强化学习是最大程度地提高预期奖励受到公用事业/成本的限制。但是，由于建模错误，对抗性攻击，非平稳性，训练环境可能与测试环境不一样，导致严重的性能降级和更重要的违反约束。我们提出了一个在模型不确定性下的强大约束强化学习框架，其中MDP不是固定的，而是在某些不确定性集中，目的是确保在不确定性集中满足所有MDP的限制，并最大程度地满足对公用事业/成本的限制不确定性集中最差的奖励性能。我们设计了一种强大的原始双重方法，并在理论上进一步发展了其收敛性，复杂性和可行性的保证。然后，我们研究了$ \ delta $ - 污染不确定性集的具体示例，设计一种在线且无模型的算法，并理论上表征了其样本复杂性。

本文涉及离线增强学习（RL）中模型鲁棒性和样本效率的核心问题，该问题旨在学习从没有主动探索的情况下从历史数据中执行决策。由于环境的不确定性和变异性，至关重要的是，学习强大的策略（尽可能少的样本），即使部署的环境偏离用于收集历史记录数据集的名义环境时，该策略也能很好地执行。我们考虑了离线RL的分布稳健公式，重点是标签非平稳的有限摩托稳健的马尔可夫决策过程，其不确定性设置为Kullback-Leibler Divergence。为了与样本稀缺作用，提出了一种基于模型的算法，该算法将分布强劲的价值迭代与面对不确定性时的悲观原理结合在一起，通过对稳健的价值估计值进行惩罚，以精心设计的数据驱动的惩罚项进行惩罚。在对历史数据集的轻度和量身定制的假设下，该数据集测量分布变化而不需要完全覆盖州行动空间，我们建立了所提出算法的有限样本复杂性，进一步表明，鉴于几乎无法改善的情况，匹配信息理论下限至地平线长度的多项式因素。据我们所知，这提供了第一个在模型不确定性和部分覆盖范围内学习的近乎最佳的稳健离线RL算法。

Robust Markov decision processes (RMDPs) are promising models that provide reliable policies under ambiguities in model parameters. As opposed to nominal Markov decision processes (MDPs), however, the state-of-the-art solution methods for RMDPs are limited to value-based methods, such as value iteration and policy iteration. This paper proposes Double-Loop Robust Policy Gradient (DRPG), the first generic policy gradient method for RMDPs with a global convergence guarantee in tabular problems. Unlike value-based methods, DRPG does not rely on dynamic programming techniques. In particular, the inner-loop robust policy evaluation problem is solved via projected gradient descent. Finally, our experimental results demonstrate the performance of our algorithm and verify our theoretical guarantees.

在动态编程（DP）和强化学习（RL）中，代理商学会在通过由Markov决策过程（MDP）建模的环境中顺序交互来实现预期的长期返回。更一般地在分布加强学习（DRL）中，重点是返回的整体分布，而不仅仅是其期望。虽然基于DRL的方法在RL中产生了最先进的性能，但它们涉及尚未充分理解的额外数量（与非分布设置相比）。作为第一个贡献，我们介绍了一类新的分类运营商，以及一个实用的DP算法，用于策略评估，具有强大的MDP解释。实际上，我们的方法通过增强的状态空间重新重新重新重新重新重新格式化，其中每个状态被分成最坏情况的子变量，并且最佳的子变电站，其值分别通过安全和危险的策略最大化。最后，我们派生了分配运营商和DP算法解决了一个新的控制任务：如何区分安全性的最佳动作，以便在最佳政策空间中打破联系？

在许多综合设置（例如视频游戏）和GO中，增强学习（RL）超出了人类的绩效。但是，端到端RL模型的现实部署不太常见，因为RL模型对环境的轻微扰动非常敏感。强大的马尔可夫决策过程（MDP）框架（其中的过渡概率属于名义模型设置的不确定性）提供了一种开发健壮模型的方法。虽然先前的分析表明，RL算法是有效的，假设访问生成模型，但尚不清楚RL在更现实的在线设置下是否可以有效，这需要在探索和开发之间取得仔细的平衡。在这项工作中，我们通过与未知的名义系统进行互动来考虑在线强大的MDP。我们提出了一种强大的乐观策略优化算法，该算法可有效。为了解决由对抗性环境引起的其他不确定性，我们的模型具有通过Fenchel Conjugates得出的新的乐观更新规则。我们的分析确定了在线强大MDP的第一个遗憾。

我们考虑解决强大的马尔可夫决策过程（MDP）的问题，该过程涉及一组折扣，有限状态，有限的动作空间MDP，具有不确定的过渡核。计划的目的是找到一项强大的政策，以优化针对过渡不确定性的最坏情况值，从而将标准MDP计划作为特殊情况。对于$（\ Mathbf {s}，\ Mathbf {a}）$ - 矩形不确定性集，我们开发了一种基于策略的一阶方法，即稳健的策略镜像下降（RPMD），并建立$ \ Mathcal {o }（\ log（1/\ epsilon））$和$ \ Mathcal {o}（1/\ epsilon）$迭代复杂性，用于查找$ \ epsilon $ -optimal策略，并带有两个增加的步骤式方案。 RPMD的先前收敛适用于任何Bregman差异，前提是政策空间在以初始政策为中心时通过差异测量的半径限制了半径。此外，当布雷格曼的分歧对应于平方的欧几里得距离时，我们建立了一个$ \ mathcal {o}（\ max \ {1/\ epsilon，1/（\ eta \ eTa \ epsilon^2）\ epsilon^2）\任何常量的步进$ \ eta $。对于Bregman差异的一般类别，如果不确定性集满足相对强的凸度，则还为RPMD建立了类似的复杂性。当仅通过与名义环境的在线互动获得一阶信息时，我们进一步开发了一个名为SRPMD的随机变体。对于Bregman General Divergences，我们建立了一个$ \ MATHCAL {O}（1/\ Epsilon^2）$和$ \ Mathcal {O}（1/\ Epsilon^3）$样品复杂性，具有两个增加的静态方案。对于Euclidean Bregman Divergence，我们建立了一个$ \ MATHCAL {O}（1/\ Epsilon^3）$样本复杂性，并具有恒定的步骤。据我们所知，所有上述结果似乎是应用于强大的MDP问题的基于策略的一阶方法的新事物。

本文分析了有限状态马尔可夫决策过程（MDPS），其不确定参数在紧凑的集合中，并通过基于集合的固定点理论从可靠的MDP产生重新检查。我们将Bellman和政策评估运营商概括为在价值功能空间合同的运营商，并将其表示为\ Emph {Value Operators}。我们将这些值运算符概括为在价值函数集的空间集上，并将其表示为\ emph {基于集合的值运算符}。我们证明，这些基于集合的价值运算符是紧凑型值函数集空间中的收缩。利用集合理论的洞察力，我们将Bellman运算符的矩形条件从经典稳健的MDP文献到\ emph {CONTAMENT条件}的矩形条件，用于通用价值操作员，该算法较弱，可以应用于较大的参数 - 不确定的MDPS集以及动态编程和强化学习中的承包运营商。我们证明，矩形条件和遏制条件都足够确保基于设定的值运算符的固定点集包含其自身的至高无上的元素。对于不确定的MDP参数的凸和紧凑型集，我们显示了经典的鲁棒值函数与基于集合的Bellman运算符的固定点集的最高点之间的等效性。在紧凑型集合中动态更改的MDP参数下，我们证明了值迭代的集合收敛结果，否则可能不会收敛到单个值函数。

我们研究了平均奖励马尔可夫决策过程（AMDP）的问题，并开发了具有强大理论保证的新型一阶方法，以进行政策评估和优化。由于缺乏勘探，现有的彻底评估方法遭受了次优融合率以及处理不足的随机策略（例如确定性政策）的失败。为了解决这些问题，我们开发了一种新颖的差异时间差异（VRTD）方法，具有随机策略的线性函数近似以及最佳收敛保证，以及一种探索性方差降低的时间差（EVRTD）方法，用于不充分的随机策略，可相当的融合保证。我们进一步建立了政策评估偏见的线性收敛速率，这对于改善策略优化的总体样本复杂性至关重要。另一方面，与对MDP的政策梯度方法的有限样本分析相比，对AMDP的策略梯度方法的现有研究主要集中在基础马尔可夫流程的限制性假设下（例如，参见Abbasi-e， Yadkori等人，2019年），他们通常缺乏整体样本复杂性的保证。为此，我们开发了随机策略镜下降（SPMD）的平均奖励变体（LAN，2022）。我们建立了第一个$ \ widetilde {\ Mathcal {o}}（\ epsilon^{ - 2}）$样品复杂性，用于在生成模型（带有UNICHAIN假设）和Markovian Noise模型（使用Ergodicicic Modele（具有核能的模型）下，使用策略梯度方法求解AMDP假设）。该界限可以进一步改进到$ \ widetilde {\ Mathcal {o}}}（\ epsilon^{ - 1}）$用于求解正则化AMDPS。我们的理论优势通过数值实验来证实。

鲁棒马尔可夫决策过程（RMDP）框架侧重于设计对参数不确定因素而稳健的控制策略，这是由于模拟器模型和真实世界的不匹配。 RMDP问题通常被制定为MAX-MIN问题，其中目标是找到最大化最坏可能模型的值函数的策略，该策略在于围绕标称模型设置的不确定性。标准强大的动态编程方法需要了解标称模型来计算最佳的强大策略。在这项工作中，我们提出了一种基于模型的强化学习（RL）算法，用于学习$ \ epsilon $ - 当标称模型未知时的高新策略。我们考虑了三种不同形式的不确定集，其特征在于总变化距离，Chi-Square发散和kL发散。对于这些不确定性集中的每一个，我们提供了所提出算法的样本复杂性的精确表征。除了样本复杂性结果之外，我们还提供了一个正式的分析论证，就使用强大的政策的益处。最后，我们展示了我们对两个基准问题的算法的性能。

We show two average-reward off-policy control algorithms, Differential Q-learning (Wan, Naik, & Sutton 2021a) and RVI Q-learning (Abounadi Bertsekas & Borkar 2001), converge in weakly communicating MDPs. Weakly communicating MDPs are the most general MDPs that can be solved by a learning algorithm with a single stream of experience. The original convergence proofs of the two algorithms require that the solution set of the average-reward optimality equation only has one degree of freedom, which is not necessarily true for weakly communicating MDPs. To the best of our knowledge, our results are the first showing average-reward off-policy control algorithms converge in weakly communicating MDPs. As a direct extension, we show that average-reward options algorithms for temporal abstraction introduced by Wan, Naik, & Sutton (2021b) converge if the Semi-MDP induced by options is weakly communicating.

We consider learning approximate Nash equilibria for discrete-time mean-field games with nonlinear stochastic state dynamics subject to both average and discounted costs. To this end, we introduce a mean-field equilibrium (MFE) operator, whose fixed point is a mean-field equilibrium (i.e. equilibrium in the infinite population limit). We first prove that this operator is a contraction, and propose a learning algorithm to compute an approximate mean-field equilibrium by approximating the MFE operator with a random one. Moreover, using the contraction property of the MFE operator, we establish the error analysis of the proposed learning algorithm. We then show that the learned mean-field equilibrium constitutes an approximate Nash equilibrium for finite-agent games.

强大的马尔可夫决策过程（MDP）用于在不确定环境中的动态优化应用，并已进行了广泛的研究。 MDP的许多主要属性和算法（例如价值迭代和策略迭代）直接扩展到RMDP。令人惊讶的是，没有已知的MDP凸优化公式用于求解RMDP。这项工作描述了在经典的SA截形和S型角假设下RMDP的第一个凸优化公式。我们通过使用熵正则化和变量的指数变化来得出具有线性数量和约束的线性数量的凸公式。我们的公式可以与来自凸优化的有效方法结合使用，以获得以不确定概率求解RMDP的新算法。我们进一步简化了使用多面体不确定性集的RMDP的公式。我们的工作打开了RMDP的新研究方向，可以作为获得RMDP的可拖动凸公式的第一步。

This work considers the sample complexity of obtaining an $\varepsilon$-optimal policy in an average reward Markov Decision Process (AMDP), given access to a generative model (simulator). When the ground-truth MDP is weakly communicating, we prove an upper bound of $\widetilde O(H \varepsilon^{-3} \ln \frac{1}{\delta})$ samples per state-action pair, where $H := sp(h^*)$ is the span of bias of any optimal policy, $\varepsilon$ is the accuracy and $\delta$ is the failure probability. This bound improves the best-known mixing-time-based approaches in [Jin & Sidford 2021], which assume the mixing-time of every deterministic policy is bounded. The core of our analysis is a proper reduction bound from AMDP problems to discounted MDP (DMDP) problems, which may be of independent interests since it allows the application of DMDP algorithms for AMDP in other settings. We complement our upper bound by proving a minimax lower bound of $\Omega(|\mathcal S| |\mathcal A| H \varepsilon^{-2} \ln \frac{1}{\delta})$ total samples, showing that a linear dependent on $H$ is necessary and that our upper bound matches the lower bound in all parameters of $(|\mathcal S|, |\mathcal A|, H, \ln \frac{1}{\delta})$ up to some logarithmic factors.

由熵正常化的马尔可夫决策过程（ER-MDP）产生的随机和软最佳政策是可取的探索和仿制学习应用程序的可取性。这种策略对国家过渡概率敏感的事实，并且这些概率的估计可能不准确，我们研究了ER-MDP模型的强大版本，其中随机最佳策略需要坚固尊重潜在的过渡概率中的歧义。我们的工作是加固学习（RL）的两个重要计划的十字路口，即强大的MDP和熵正则化MDP。我们表明，持有非强大的ER-MDP和强大的未反复化MDP型号的基本属性也在我们的设置中保持，使得强大的ER-MDP问题是易旧的。我们展示了我们的框架和结果如何集成到包括值或（修改）策略迭代的不同算法方案中，这将导致新的鲁棒RL和逆RL算法来处理不确定性。还提供了在传统的不确定性设置下计算复杂性和误差传播的分析。

我们研究了基于模型的未识别的强化学习，用于部分可观察到的马尔可夫决策过程（POMDPS）。我们认为的Oracle是POMDP的最佳政策，其在无限视野的平均奖励方面具有已知环境。我们为此问题提出了一种学习算法，基于隐藏的马尔可夫模型的光谱方法估计，POMDPS中的信念错误控制以及在线学习的上等信心结合方法。我们为提出的学习算法建立了$ o（t^{2/3} \ sqrt {\ log t}）$的后悔界限，其中$ t $是学习范围。据我们所知，这是第一种算法，这是对我们学习普通POMDP的甲骨文的统一性后悔。

先前关于安全加强学习的工作（RL）研究了对动态（aleatory）随机性的风险规避，并隔离地模拟了不确定性（认知）。我们提出并分析一个新框架，以共同对有限马和折现的无限马MDP中的认知和差异不确定性相关的风险进行建模。我们称此框架结合了规避风险和软性的方法RASR。我们表明，当使用EVAR或熵风险定义风险规定时，可以使用具有时间依赖性风险水平的新的动态程序公式有效地计算RASR中的最佳策略。结果，即使是在无限 - 亨特折扣环境中，最佳的规避风险政策也是确定性但依赖时间的。我们还表明，具有平均后验过渡概率的特定RASR目标减少到规避风险的RL。我们的经验结果表明，我们的新算法始终减轻EVAR和其他标准风险措施衡量的不确定性。

在阻碍强化学习（RL）到现实世界中的问题的原因之一，两个因素至关重要：与培训相比，数据有限和测试环境的不匹配。在本文中，我们试图通过分配强大的离线RL的问题同时解决这些问题。特别是，我们学习了一个从源环境中获得的历史数据，并优化了RL代理，并在扰动的环境中表现良好。此外，我们考虑将算法应用于大规模问题的线性函数近似。我们证明我们的算法可以实现$ O（1/\ sqrt {k}）$的次级临时性，具体取决于线性函数尺寸$ d $，这似乎是在此设置中使用样品复杂性保证的第一个结果。进行了不同的实验以证明我们的理论发现，显示了我们算法与非持bust算法的优越性。

我们重新审视了最简单的设置之一中的政策梯度方法的有限时间分析：有限状态和动作MDP，具有由所有随机策略组成的策略类和精确的渐变评估。有一些最近的工作将此设置视为平滑的非线性优化问题的实例，并显示具有小阶梯大小的子线性收敛速率。在这里，我们根据与政策迭代的连接采取不同的透视，并显示政策梯度方法的许多变体成功，阶梯大小大，并达到了线性收敛速率。

我们在Isabelle定理箴言中展示了有限马尔可夫决定流程的正式化。我们专注于动态编程和使用加固学习代理所需的基础。特别是，我们从第一个原则（在标量和向量形式中）导出Bellman方程，导出产生任何策略P的预期值的向量计算，并继续证明存在一个普遍的最佳政策的存在折扣因子不到一个。最后，我们证明了价值迭代和策略迭代算法在有限的时间内工作，分别产生ePsilon - 最佳和完全最佳的政策。