在许多综合设置（例如视频游戏）和GO中，增强学习（RL）超出了人类的绩效。但是，端到端RL模型的现实部署不太常见，因为RL模型对环境的轻微扰动非常敏感。强大的马尔可夫决策过程（MDP）框架（其中的过渡概率属于名义模型设置的不确定性）提供了一种开发健壮模型的方法。虽然先前的分析表明，RL算法是有效的，假设访问生成模型，但尚不清楚RL在更现实的在线设置下是否可以有效，这需要在探索和开发之间取得仔细的平衡。在这项工作中，我们通过与未知的名义系统进行互动来考虑在线强大的MDP。我们提出了一种强大的乐观策略优化算法，该算法可有效。为了解决由对抗性环境引起的其他不确定性，我们的模型具有通过Fenchel Conjugates得出的新的乐观更新规则。我们的分析确定了在线强大MDP的第一个遗憾。
translated by 谷歌翻译
本文涉及离线增强学习（RL）中模型鲁棒性和样本效率的核心问题，该问题旨在学习从没有主动探索的情况下从历史数据中执行决策。由于环境的不确定性和变异性，至关重要的是，学习强大的策略（尽可能少的样本），即使部署的环境偏离用于收集历史记录数据集的名义环境时，该策略也能很好地执行。我们考虑了离线RL的分布稳健公式，重点是标签非平稳的有限摩托稳健的马尔可夫决策过程，其不确定性设置为Kullback-Leibler Divergence。为了与样本稀缺作用，提出了一种基于模型的算法，该算法将分布强劲的价值迭代与面对不确定性时的悲观原理结合在一起，通过对稳健的价值估计值进行惩罚，以精心设计的数据驱动的惩罚项进行惩罚。在对历史数据集的轻度和量身定制的假设下，该数据集测量分布变化而不需要完全覆盖州行动空间，我们建立了所提出算法的有限样本复杂性，进一步表明，鉴于几乎无法改善的情况，匹配信息理论下限至地平线长度的多项式因素。据我们所知，这提供了第一个在模型不确定性和部分覆盖范围内学习的近乎最佳的稳健离线RL算法。
translated by 谷歌翻译
我们介绍了一种普遍的策略，可实现有效的多目标勘探。它依赖于adagoal，一种基于简单约束优化问题的新的目标选择方案，其自适应地针对目标状态，这既不是太困难也不是根据代理目前的知识达到的。我们展示了Adagoal如何用于解决学习$ \ epsilon $ -optimal的目标条件的政策，以便在$ L $ S_0 $ S_0 $奖励中获得的每一个目标状态，以便在$ S_0 $中获取。免费马尔可夫决策过程。在标准的表格外壳中，我们的算法需要$ \ tilde {o}（l ^ 3 s a \ epsilon ^ { - 2}）$探索步骤，这几乎很少最佳。我们还容易在线性混合Markov决策过程中实例化Adagoal，其产生具有线性函数近似的第一目标导向的PAC保证。除了强大的理论保证之外，迈克纳队以现有方法的高级别算法结构为锚定，为目标条件的深度加固学习。
translated by 谷歌翻译
在阻碍强化学习（RL）到现实世界中的问题的原因之一，两个因素至关重要：与培训相比，数据有限和测试环境的不匹配。在本文中，我们试图通过分配强大的离线RL的问题同时解决这些问题。特别是，我们学习了一个从源环境中获得的历史数据，并优化了RL代理，并在扰动的环境中表现良好。此外，我们考虑将算法应用于大规模问题的线性函数近似。我们证明我们的算法可以实现$ O（1/\ sqrt {k}）$的次级临时性，具体取决于线性函数尺寸$ d $，这似乎是在此设置中使用样品复杂性保证的第一个结果。进行了不同的实验以证明我们的理论发现，显示了我们算法与非持bust算法的优越性。
translated by 谷歌翻译
尽管基于模型的增强学习（RL）方法被认为是更具样本的高效，但现有算法通常依赖于复杂的规划算法与模型学习过程紧密粘合。因此，学习模型可能缺乏与更专业规划者重新使用的能力。在本文中，我们解决了这个问题，并提供了在没有奖励信号的指导的情况下有效地学习RL模型的方法。特别是，我们采取了一个插件求解器方法，我们专注于在探索阶段学习模型，并要求在学习模型上的\ emph {任何规划算法}可以给出近最佳的政策。具体而言，我们专注于线性混合MDP设置，其中概率转换矩阵是一组现有模型的（未知）凸面组合。我们表明，通过建立新的探索算法，即插即用通过\ tilde {o}来学习模型（d ^ 2h ^ 3 / epsilon ^ 2）$与环境交互，\ emph {任何} $ \ epsilon $ -optimal Planner在模型上给出$ O（\ epsilon）$ - 原始模型上的最佳政策。此示例复杂性与非插入方法的下限与下限匹配，并且是\ EMPH {统计上最佳}。我们通过利用使用伯尔斯坦不等式和指定的线性混合MDP的属性来实现仔细的最大总差异来实现这一结果。
translated by 谷歌翻译
强大的增强学习（RL）的目的是学习一项与模型参数不确定性的强大策略。由于模拟器建模错误，随着时间的推移，现实世界系统动力学的变化以及对抗性干扰，参数不确定性通常发生在许多现实世界中的RL应用中。强大的RL通常被称为最大问题问题，其目的是学习最大化价值与不确定性集合中最坏可能的模型的策略。在这项工作中，我们提出了一种称为鲁棒拟合Q-材料（RFQI）的强大RL算法，该算法仅使用离线数据集来学习最佳稳健策略。使用离线数据的强大RL比其非持续性对应物更具挑战性，因为在强大的Bellman运营商中所有模型的最小化。这在离线数据收集，对模型的优化以及公正的估计中构成了挑战。在这项工作中，我们提出了一种系统的方法来克服这些挑战，从而导致了我们的RFQI算法。我们证明，RFQI在标准假设下学习了一项近乎最佳的强大政策，并证明了其在标准基准问题上的出色表现。
translated by 谷歌翻译
逆增强学习（IRL）是从专家演示中推断奖励功能的强大范式。许多IRL算法都需要已知的过渡模型，有时甚至是已知的专家政策，或者至少需要访问生成模型。但是，对于许多现实世界应用，这些假设太强了，在这些应用程序中，只能通过顺序相互作用访问环境。我们提出了一种新颖的IRL算法：逆增强学习（ACEIRL）的积极探索，该探索积极探索未知的环境和专家政策，以快速学习专家的奖励功能并确定良好的政策。 Aceirl使用以前的观察来构建置信区间，以捕获合理的奖励功能，并找到关注环境最有用区域的勘探政策。 Aceirl是使用样品复杂性界限的第一种活动IRL的方法，不需要环境的生成模型。在最坏情况下，Aceirl与活性IRL的样品复杂性与生成模型匹配。此外，我们建立了一个与问题相关的结合，该结合将Aceirl的样品复杂性与给定IRL问题的次级隔离间隙联系起来。我们在模拟中对Aceirl进行了经验评估，发现它的表现明显优于更幼稚的探索策略。
translated by 谷歌翻译
我们研究了具有线性函数近似增强学习中的随机最短路径（SSP）问题，其中过渡内核表示为未知模型的线性混合物。我们将此类别的SSP问题称为线性混合物SSP。我们提出了一种具有Hoeffding-type置信度的新型算法，用于学习线性混合物SSP，可以获得$ \ tilde {\ Mathcal {o}}}}（d B _ {\ star}^{1.5} \ sqrt {k/c_ {k/c_ {k/c_ {k/c_ { \ min}}）$遗憾。这里$ k $是情节的数量，$ d $是混合模型中功能映射的维度，$ b _ {\ star} $限制了最佳策略的预期累积成本，$ c _ {\ min}>> 0 $是成本函数的下限。当$ c _ {\ min} = 0 $和$ \ tilde {\ mathcal {o}}}（k^{2/3}）$遗憾时，我们的算法也适用于情况。据我们所知，这是第一个具有sublrinear遗憾保证线性混合物SSP的算法。此外，我们设计了精致的伯恩斯坦型信心集并提出了改进的算法，该算法可实现$ \ tilde {\ Mathcal {o}}}（d b _ {\ star} \ sqrt {k/c/c/c {k/c _ {\ min}}） $遗憾。为了补充遗憾的上限，我们还证明了$ \ omega（db _ {\ star} \ sqrt {k}）$的下限。因此，我们的改进算法将下限匹配到$ 1/\ sqrt {c _ {\ min}} $ factor和poly-logarithmic因素，从而实现了近乎最佳的遗憾保证。
translated by 谷歌翻译
我们在随机和对抗性马尔可夫决策过程（MDP）中研究合作在线学习。也就是说，在每一集中，$ m $代理商同时与MDP互动，并共享信息以最大程度地减少他们的遗憾。我们考虑具有两种随机性的环境：\ emph {Fresh} - 在每个代理的轨迹均已采样i.i.d和\ emph {non-fresh} - 其中所有代理人共享实现（但每个代理的轨迹也受到影响）通过其自己的行动）。更确切地说，通过非志趣相投的随机性，每个成本和过渡的实现都在每个情节开始时都固定了，并且在同一时间同时采取相同行动的代理人观察到相同的成本和下一个状态。我们彻底分析了所有相关设置，强调了模型之间的挑战和差异，并证明了几乎匹配的遗憾下层和上限。据我们所知，我们是第一个考虑具有非伪造随机性或对抗性MDP的合作强化学习（RL）。
translated by 谷歌翻译
尽管在理解增强学习的最小样本复杂性（RL）（在“最坏情况”的实例上学习的复杂性）方面已经取得了很多进展，但这种复杂性的衡量标准通常不会捕捉到真正的学习困难。在实践中，在“简单”的情况下，我们可能希望获得比最糟糕的实例可以实现的要好得多。在这项工作中，我们试图理解在具有线性函数近似的RL设置中学习近乎最佳策略（PAC RL）的“实例依赖性”复杂性。我们提出了一种算法，\ textsc {pedel}，该算法实现了依赖于实例的复杂性的量度，这是RL中的第一个具有功能近似设置，从而捕获了每个特定问题实例的学习难度。通过一个明确的示例，我们表明\ textsc {pedel}可以在低重晶，最小值 - 最佳算法上获得可证明的收益，并且这种算法无法达到实例 - 最佳速率。我们的方法取决于基于设计的新型实验程序，该程序将勘探预算重点放在与学习近乎最佳政策最相关的“方向”上，并且可能具有独立的兴趣。
translated by 谷歌翻译
强化学习被广泛用于在与环境互动时需要执行顺序决策的应用中。当决策要求包括满足一些安全限制时，问题就变得更加具有挑战性。该问题在数学上是作为约束的马尔可夫决策过程（CMDP）提出的。在文献中，可以通过无模型的方式解决各种算法来解决CMDP问题，以实现$ \ epsilon $ - 最佳的累积奖励，并使用$ \ epsilon $可行的政策。 $ \ epsilon $可行的政策意味着它遭受了违规的限制。这里的一个重要问题是，我们是否可以实现$ \ epsilon $ - 最佳的累积奖励，并违反零约束。为此，我们主张使用随机原始偶对偶方法来解决CMDP问题，并提出保守的随机原始二重算法（CSPDA），该算法（CSPDA）显示出$ \ tilde {\ tilde {\ Mathcal {o}} \ left（1 /\ epsilon^2 \ right）$样本复杂性，以实现$ \ epsilon $ - 最佳累积奖励，违反零约束。在先前的工作中，$ \ epsilon $ - 最佳策略的最佳可用样本复杂性是零约束的策略是$ \ tilde {\ Mathcal {o}}} \ left（1/\ epsilon^5 \ right）$。因此，与最新技术相比，拟议的算法提供了重大改进。
translated by 谷歌翻译
我们在加固学习中使用汤普森采样（TS） - 样算法中的随机价值函数研究探索。这种类型的算法享有有吸引力的经验性能。我们展示当我们使用1）每一集中的单个随机种子，而2）伯尼斯坦型噪声幅度，我们获得了最坏的情况$ \ widetilde {o}左（h \ sqrt {sat} \右）$遗憾绑定了焦点时间 - 不均匀的马尔可夫决策过程，其中$ S $是国家空间的大小，$ a $的是行动空间的大小，$ h $是规划地平线，$ t $是互动的数量。这种绑定的多项式基于随机值函数的TS样算法的所有现有界限，并且首次匹配$ \ Omega \左（H \ SQRT {SAT}右）$下限到对数因子。我们的结果强调随机勘探可以近乎最佳，这是以前仅通过乐观算法实现的。为了实现所需的结果，我们开发1）新的剪辑操作，以确保持续持续的概率和悲观的概率是较低的常数，并且2）用于分析估计误差的绝对值的新递归公式。后悔。
translated by 谷歌翻译
我们认为在情节环境中的强化学习（RL）中的遗憾最小化问题。在许多实际的RL环境中，状态和动作空间是连续的或非常大的。现有方法通过随机过渡模型的低维表示或$ q $ functions的近似值来确定遗憾的保证。但是，对国家价值函数的函数近似方案的理解基本上仍然缺失。在本文中，我们提出了一种基于在线模型的RL算法，即CME-RL，该算法将过渡分布的表示形式学习为嵌入在复制的内核希尔伯特领域中的嵌入，同时仔细平衡了利用探索 - 探索权衡取舍。我们通过证明频繁的（最糟糕的）遗憾结束了$ \ tilde {o} \ big（h \ gamma_n \ sqrt {n} \ big）$ \ footnote {$ footnote {$ tilde {$ o}（\ cdot）$仅隐藏绝对常数和poly-logarithmic因素。}，其中$ h $是情节长度，$ n $是时间步长的总数，$ \ gamma_n $是信息理论数量国家行动特征空间的有效维度。我们的方法绕过了估计过渡概率的需求，并适用于可以定义内核的任何域。它还为内核方法的一般理论带来了新的见解，以进行近似推断和RL遗憾的最小化。
translated by 谷歌翻译
我们在非静止线性（AKA低级别）马尔可夫决策过程（MDP）中研究了集中加强学习，即奖励和转换内核都是关于给定特征映射的线性，并且被允许缓慢或突然演变时间。对于此问题设置，我们提出了一种基于加权最小二乘值的乐观模型算法的Opt-WLSVI，其使用指数权重来平滑地忘记过去远远的数据。我们表明我们的算法在每次竞争最佳政策时，实现了由$ \ widetilde {\ mathcal {o}}的上部界限的遗憾（d ^ {5/4} h ^ 2 \ delta ^ {1 / 4} k ^ {3/4}）$何地在$ d $是特征空间的尺寸，$ h $是规划地平线，$ k $是剧集的数量和$ \ delta $是一个合适的衡量标准MDP的非固定性。此外，我们指出了在忘记以前作品的非静止线性匪徒环境中忘记策略的技术差距，并提出了修复其遗憾分析。
translated by 谷歌翻译
鲁棒马尔可夫决策过程（RMDP）框架侧重于设计对参数不确定因素而稳健的控制策略，这是由于模拟器模型和真实世界的不匹配。 RMDP问题通常被制定为MAX-MIN问题，其中目标是找到最大化最坏可能模型的值函数的策略，该策略在于围绕标称模型设置的不确定性。标准强大的动态编程方法需要了解标称模型来计算最佳的强大策略。在这项工作中，我们提出了一种基于模型的强化学习（RL）算法，用于学习$ \ epsilon $ - 当标称模型未知时的高新策略。我们考虑了三种不同形式的不确定集，其特征在于总变化距离，Chi-Square发散和kL发散。对于这些不确定性集中的每一个，我们提供了所提出算法的样本复杂性的精确表征。除了样本复杂性结果之外，我们还提供了一个正式的分析论证，就使用强大的政策的益处。最后，我们展示了我们对两个基准问题的算法的性能。
translated by 谷歌翻译
无奖励强化学习（RL）考虑了代理在探索过程中无法访问奖励功能的设置，但必须提出仅在探索后才揭示的任意奖励功能的近乎最佳的政策。在表格环境中，众所周知，这是一个比奖励意识（PAC）RL（代理在探索过程中访问奖励功能）更困难的问题$ | \ Mathcal {s} | $，状态空间的大小。我们表明，在线性MDP的设置中，这种分离不存在。我们首先在$ d $二维线性MDP中开发了一种计算高效算法，其样品复杂度比例为$ \ widetilde {\ Mathcal {o}}（d^2 H^5/\ epsilon^2）$ 。然后，我们显示出$ \ omega（d^2 h^2/\ epsilon^2）$的匹配尺寸依赖性的下限，该限制为奖励感知的RL设置。据我们所知，我们的方法是第一个在线性MDP中实现最佳$ d $依赖性的计算有效算法，即使在单次奖励PAC设置中也是如此。我们的算法取决于一种新的程序，该过程有效地穿越了线性MDP，在任何给定的``特征方向''中收集样品，并在最大状态访问概率（线性MDP等效）中享受最佳缩放样品复杂性。我们表明，该探索过程也可以应用于解决线性MDP中````良好条件''''协变量的问题。
translated by 谷歌翻译
政策优化方法是使用最广泛使用的加固学习（RL）算法之一。然而，对这些方法的理论理解仍然不足。即使在eoisodic（时代）的表格设置中，\ citet的基于政策方法的最先进的理论结果也是只需$ \ tilde {o}（\ sqrt {s ^ 2ah ^ 4k }）$何地在$ S $是州的数量，$ a $是行动的数量，$ h $是地平线，而$ k $是剧集的数量，还有$ \ sqrt {sh} $与信息理论下限$ \ tilde {\ omega}相比，差距（\ sqrt {sah ^ 3k}）$。为了弥合这样的差距，我们提出了一种新的算法基于参考的基于参考的策略优化，在任何时间保证（\ AlgnameAcro），它具有“随时稳定”的特征。我们证明我们的算法实现$ \ tilde {o}（\ sqrt {sah ^ 3k} + \ sqrt {ah ^ 4}）$后悔。当$ s> h $时，我们的算法在忽略对数因子时最佳最佳。为了我们的最佳知识，RPO-SAT是第一次计算上高效，几乎最小的表格RL最佳策略算法。
translated by 谷歌翻译
在表格设置下，我们研究了折扣马尔可夫决策过程（MDP）的强化学习问题。我们提出了一种名为UCBVI - $ \ Gamma $的基于模型的算法，该算法基于\ emph {面对不确定原理}和伯尔斯坦型奖金的乐观。我们展示了UCBVI - $ \ Gamma $实现了一个$ \ tilde {o} \ big（{\ sqrt {sat}} / {（1- \ gamma）^ {1.5}} \ big）$后悔，在哪里$ s $是州的数量，$ a $是行动的数量，$ \ gamma $是折扣因子，$ t $是步数。此外，我们构建了一类硬MDP并表明对于任何算法，预期的遗憾是至少$ \ tilde {\ omega} \ big（{\ sqrt {sat}} / {（1- \ gamma）^ {1.5}} \大）$。我们的上限与对数因子的最低限度相匹配，这表明UCBVI - $ \ Gamma $几乎最小的贴现MDP。
translated by 谷歌翻译
我们与指定为领导者的球员之一和其他球员读为追随者的球员学习多人一般汇总马尔可夫游戏。特别是，我们专注于追随者是近视的游戏，即，他们的目标是最大限度地提高他们的瞬间奖励。对于这样的游戏，我们的目标是找到一个Stackelberg-Nash均衡（SNE），这是一个策略对$（\ pi ^ *，\ nu ^ *）$，这样（i）$ \ pi ^ * $是追随者始终发挥最佳回应的领导者的最佳政策，（ii）$ \ nu ^ * $是追随者的最佳反应政策，这是由$ \ pi ^ *引起的追随者游戏的纳什均衡$。我们开发了用于在线和离线设置中的SNE解决SNE的采样高效的强化学习（RL）算法。我们的算法是最小二乘值迭代的乐观和悲观的变体，并且它们很容易能够在大状态空间的设置中结合函数近似工具。此外，对于线性函数近似的情况，我们证明我们的算法分别在线和离线设置下实现了Sublinear遗憾和次优。据我们所知，我们建立了第一种可用于解决近代Markov游戏的SNES的第一款可透明的RL算法。
translated by 谷歌翻译
Epsilon-Greedy，SoftMax或Gaussian噪声等近视探索政策在某些强化学习任务中无法有效探索，但是在许多其他方面，它们的表现都很好。实际上，实际上，由于简单性，它们通常被选为最佳选择。但是，对于哪些任务执行此类政策成功？我们可以为他们的有利表现提供理论保证吗？尽管这些政策具有显着的实际重要性，但这些关键问题几乎没有得到研究。本文介绍了对此类政策的理论分析，并为通过近视探索提供了对增强学习的首次遗憾和样本复杂性。我们的结果适用于具有有限的Bellman Eluder维度的情节MDP中的基于价值功能的算法。我们提出了一种新的复杂度度量，称为近视探索差距，用Alpha表示，该差距捕获了MDP的结构属性，勘探策略和给定的值函数类别。我们表明，近视探索的样品复杂性与该数量的倒数1 / alpha^2二次地量表。我们通过具体的例子进一步证明，由于相应的动态和奖励结构，在近视探索成功的几项任务中，近视探索差距确实是有利的。
translated by 谷歌翻译