最近的平均野外游戏（MFG）形式主义促进了对许多代理环境中近似NASH均衡的棘手计算。在本文中，我们考虑具有有限摩托目标目标的离散时间有限的MFG。我们表明，所有具有非恒定固定点运算符的离散时间有限的MFG无法正如现有MFG文献中通常假设的，禁止通过固定点迭代收敛。取而代之的是，我们将熵验证和玻尔兹曼策略纳入固定点迭代中。结果，我们获得了现有方法失败的近似固定点的可证明的融合，并达到了近似NASH平衡的原始目标。所有提出的方法均可在其可剥削性方面进行评估，这两个方法都具有可牵引的精确溶液和高维问题的启发性示例，在这些示例中，精确方法变得棘手。在高维场景中，我们采用了既定的深入强化学习方法，并从经验上将虚拟的游戏与我们的近似值结合在一起。

致密的大图限制和平均野外游戏的最新进展已开始实现具有大量代理的广泛动态顺序游戏的可扩展分析。到目前为止，结果已经主要限于Graphon平均现场系统，其具有连续延时扩散或跳跃动态，通常没有控制，并且很少专注于计算方法。我们提出了一种新的离散时间制定，用于Graphon均值野外游戏，作为具有薄弱相互作用的非线性密集图Markov游戏的极限。在理论方面，我们在足够大的系统中给出了Graphon均值场解决方案的广泛且严格的存在和近似性质。在实践方面，我们通过引入代理等价类或将Graphon均值字段系统重新格式化为经典平均字段系统来提供Graphon均值的一般学习方案。通过反复找到正则化的最佳控制解决方案及其生成的平均字段，我们成功地获得了与许多代理商的其他不可行的大密集图游戏中的合理的近似纳入均衡。经验上，我们能够证明一些例子，即有限代理行为越来越接近我们计算的均衡的平均场行为，因为图形或系统尺寸增长，验证了我们的理论。更一般地说，我们成功地与序贯蒙特卡罗方法结合使用政策梯度强化学习。

We consider learning approximate Nash equilibria for discrete-time mean-field games with nonlinear stochastic state dynamics subject to both average and discounted costs. To this end, we introduce a mean-field equilibrium (MFE) operator, whose fixed point is a mean-field equilibrium (i.e. equilibrium in the infinite population limit). We first prove that this operator is a contraction, and propose a learning algorithm to compute an approximate mean-field equilibrium by approximating the MFE operator with a random one. Moreover, using the contraction property of the MFE operator, we establish the error analysis of the proposed learning algorithm. We then show that the learned mean-field equilibrium constitutes an approximate Nash equilibrium for finite-agent games.

具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。

我们提出了一种建模大规模多机构动力学系统的方法，该系统不仅可以使用平均场游戏理论和超图像的概念在成对的代理之间进行相互作用，而且这些概念是大型超透明仪的限制。据我们所知，我们的工作是HyperGraphs平均野外游戏的第一部作品。加上扩展到多层设置，我们获得了非线性，弱相互作用的动力学剂的大型系统的限制描述。从理论方面来说，我们证明了由此产生的超图平均野外游戏的良好基础，显示出存在和近似NASH属性。在应用方面，我们扩展了数值和学习算法以计算超图平均场平衡。为了从经验上验证我们的方法，我们考虑了一个流行病控制问题和社会谣言传播模型，我们为代理人提供了将谣言传播到不知情的代理人的内在动机。

In this paper, we introduce a regularized mean-field game and study learning of this game under an infinite-horizon discounted reward function. Regularization is introduced by adding a strongly concave regularization function to the one-stage reward function in the classical mean-field game model. We establish a value iteration based learning algorithm to this regularized mean-field game using fitted Q-learning. The regularization term in general makes reinforcement learning algorithm more robust to the system components. Moreover, it enables us to establish error analysis of the learning algorithm without imposing restrictive convexity assumptions on the system components, which are needed in the absence of a regularization term.

Mean-field games have been used as a theoretical tool to obtain an approximate Nash equilibrium for symmetric and anonymous $N$-player games in literature. However, limiting applicability, existing theoretical results assume variations of a "population generative model", which allows arbitrary modifications of the population distribution by the learning algorithm. Instead, we show that $N$ agents running policy mirror ascent converge to the Nash equilibrium of the regularized game within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ samples from a single sample trajectory without a population generative model, up to a standard $\mathcal{O}(\frac{1}{\sqrt{N}})$ error due to the mean field. Taking a divergent approach from literature, instead of working with the best-response map we first show that a policy mirror ascent map can be used to construct a contractive operator having the Nash equilibrium as its fixed point. Next, we prove that conditional TD-learning in $N$-agent games can learn value functions within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ time steps. These results allow proving sample complexity guarantees in the oracle-free setting by only relying on a sample path from the $N$ agent simulator. Furthermore, we demonstrate that our methodology allows for independent learning by $N$ agents with finite sample guarantees.

多功能钢筋学习方法在解决复杂的多助理问题中显示出显着的潜力，但大多数缺乏理论担保。最近，平均实地控制和平均野外游戏已被建立为具有许多代理的大规模多代理问题的贸易解决方案。在这项工作中，由激励调度问题驱动，我们考虑具有常见环境状态的离散时间均值实地控制模型。我们严格地建立了近似最优性，因为在有限的代理人案件中增长，发现动态编程原理保持，导致最佳静止政策的存在。由于由于限制平均场地马尔可夫决策过程所产生的连续动作空间，因此难以一般而言，我们应用建立的深度加强学习方法来解决相关的平均场控制问题。将学习的平均实地控制策略的性能与典型的多代理强化学习方法进行比较，并且被发现汇集到足够多种代理的平均场效，验证所获得的理论结果并达到竞争解决方案。

随机游戏的学习可以说是多功能钢筋学习（MARL）中最标准和最基本的环境。在本文中，我们考虑在非渐近制度的随机游戏中分散的Marl。特别是，我们在大量的一般总和随机游戏（SGS）中建立了完全分散的Q学习算法的有限样本复杂性 - 弱循环SGS，包括对所有代理商的普通合作MARL设置具有相同的奖励（马尔可夫团队问题是一个特例。我们专注于实用的同时具有挑战性地设置完全分散的Marl，既不奖励也没有其他药剂的作用，每个试剂都可以观察到。事实上，每个特工都完全忘记了其他决策者的存在。表格和线性函数近似情况都已考虑。在表格设置中，我们分析了分散的Q学习算法的样本复杂性，以收敛到马尔可夫完美均衡（NASH均衡）。利用线性函数近似，结果用于收敛到线性近似平衡 - 我们提出的均衡的新概念 - 这描述了每个代理的策略是线性空间内的最佳回复（到其他代理）。还提供了数值实验，用于展示结果。

我们研究了在两人零和马尔可夫游戏中找到NASH平衡的问题。由于其作为最小值优化程序的表述，解决该问题的自然方法是以交替的方式对每个玩家进行梯度下降/上升。但是，由于基本目标函数的非跨性别/非障碍性，该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫游戏的熵登记变体。正则化将结构引入了优化景观中，从而使解决方案更加可识别，并允许更有效地解决问题。我们的主要贡献是表明，在正则化参数的正确选择下，梯度下降算法会收敛到原始未注册问题的NASH平衡。我们明确表征了我们算法的最后一个迭代的有限时间性能，该算法的梯度下降上升算法的现有收敛界限大大改善了而没有正则化。最后，我们通过数值模拟来补充分析，以说明算法的加速收敛性。

本文讨论了一种学习最佳Q功能的基本问题的新方法。在这种方法中，最佳Q函数被配制为源自经典Bellman最优方程的非线性拉格朗日函数的鞍点。该论文表明，尽管非线性具有非线性，但拉格朗日人仍然具有很强的双重性，这为Q-function学习的一般方法铺平了道路。作为演示，本文根据二元性理论开发了模仿学习算法，并将算法应用于最先进的机器翻译基准。然后，该论文转弯以证明有关拉格朗日鞍点的最佳性的对称性破坏现象，这证明了开发拉格朗日方法的很大程度上被忽视的方向。

已经引入了平均野外游戏（MFG），以有效地近似战略代理人。最近，MFG中学习平衡的问题已经获得了动力，尤其是使用无模型增强学习（RL）方法。使用RL进一步扩展的一个限制因素是，解决MFG的现有算法需要混合近似数量的策略或$ Q $价值。在非线性函数近似的情况下，这远非微不足道的属性，例如，例如神经网络。我们建议解决这一缺点的两种方法。第一个从历史数据蒸馏到神经网络的混合策略，将其应用于虚拟游戏算法。第二种是基于正规化的在线混合方法，不需要记忆历史数据或以前的估计。它用于扩展在线镜下降。我们从数值上证明，这些方法有效地可以使用深RL算法来求解各种MFG。此外，我们表明这些方法的表现优于文献中的SOTA基准。

In this paper we argue for the fundamental importance of the value distribution: the distribution of the random return received by a reinforcement learning agent. This is in contrast to the common approach to reinforcement learning which models the expectation of this return, or value. Although there is an established body of literature studying the value distribution, thus far it has always been used for a specific purpose such as implementing risk-aware behaviour. We begin with theoretical results in both the policy evaluation and control settings, exposing a significant distributional instability in the latter. We then use the distributional perspective to design a new algorithm which applies Bellman's equation to the learning of approximate value distributions. We evaluate our algorithm using the suite of games from the Arcade Learning Environment. We obtain both state-of-the-art results and anecdotal evidence demonstrating the importance of the value distribution in approximate reinforcement learning. Finally, we combine theoretical and empirical evidence to highlight the ways in which the value distribution impacts learning in the approximate setting.

我们考虑在平均场比赛中在线加强学习。与现有作品相反，我们通过开发一种使用通用代理的单个样本路径来估算均值场和最佳策略的算法来减轻对均值甲骨文的需求。我们称此沙盒学习为其，因为它可以用作在多代理非合作环境中运行的任何代理商的温暖启动。我们采用了两种时间尺度的方法，在该方法中，平均场的在线固定点递归在较慢的时间表上运行，并与通用代理更快的时间范围内的控制策略更新同时进行。在足够的勘探条件下，我们提供有限的样本收敛保证，从平均场和控制策略融合到平均场平衡方面。沙盒学习算法的样本复杂性为$ \ Mathcal {o}（\ epsilon^{ - 4}）$。最后，我们从经验上证明了沙盒学习算法在交通拥堵游戏中的有效性。

尽管在过去几年中，多机构增强学习（MARL）的领域取得了长足的进步，但解决了大量代理的系统仍然是一个艰巨的挑战。 Graphon均值现场游戏（GMFGS）可实现对MARL问题的可扩展分析，而MARL问题原本是棘手的。通过图形的数学结构，这种方法仅限于密集的图形，这些图形不足以描述许多现实世界网络，例如幂律图。我们的论文介绍了GMFGS的新型公式，称为LPGMFGS，该公式利用了$ l^p $ Graphons的图理论概念，并提供了一种机器学习工具，以有效，准确地近似于稀疏网络问题的解决方案。这尤其包括在各个应用领域经验观察到的电力法网络，并且不能由标准图形捕获。我们得出理论上的存在和融合保证，并提供了经验示例，以证明我们与许多代理的系统学习方法的准确性。此外，我们严格地将在线镜下降（OMD）学习算法扩展到我们的设置，以加速学习速度，允许通过过渡内核中的平均领域进行代理相互作用，并凭经验显示其功能。通常，我们在许多研究领域中为大量棘手的问题提供了可扩展的，数学上有充分的机器学习方法。

本文分析了双模的彼此优化随机算法框架。 Bilevel优化是一类表现出两级结构的问题，其目标是使具有变量的外目标函数最小化，该变量被限制为对（内部）优化问题的最佳解决方案。我们考虑内部问题的情况是不受约束的并且强烈凸起的情况，而外部问题受到约束并具有平滑的目标函数。我们提出了一种用于解决如此偏纤维问题的两次时间尺度随机近似（TTSA）算法。在算法中，使用较大步长的随机梯度更新用于内部问题，而具有较小步长的投影随机梯度更新用于外部问题。我们在各种设置下分析了TTSA算法的收敛速率：当外部问题强烈凸起（RESP。〜弱凸）时，TTSA算法查找$ \ MATHCAL {O}（k ^ { - 2/3}）$ -Optimal（resp。〜$ \ mathcal {o}（k ^ {-2/5}）$ - 静止）解决方案，其中$ k $是总迭代号。作为一个应用程序，我们表明，两个时间尺度的自然演员 - 批评批评近端策略优化算法可以被视为我们的TTSA框架的特殊情况。重要的是，与全球最优政策相比，自然演员批评算法显示以预期折扣奖励的差距，以$ \ mathcal {o}（k ^ { - 1/4}）的速率收敛。

我们研究了随机游戏（SGS）的梯度播放算法的性能，其中每个代理商试图通过基于代理之间共享的当前状态信息来独立做出决策来最大限度地提高自己的总折扣奖励。通过在给定状态下选择某个动作的概率来直接参数化策略。我们展示了纳什均衡（NES）和一阶固定政策在此设置中等同，并在严格的NES周围给出局部收敛速度。此外，对于称为马尔可夫潜在游戏的SGS的子类（包括具有重要特殊情况的代理中具有相同奖励的协作设置），我们设计了一种基于样本的增强学习算法，并为两者提供非渐近全局收敛速度分析精确的梯度游戏和我们基于样本的学习算法。我们的结果表明，迭代的数量达到$ \ epsilon $ -Ne线性缩放，而不是指数级，而代理人数。还考虑了局部几何和局部稳定性，在那里我们证明严格的NE是总潜在功能的局部最大值，完全混合的NE是鞍点。

We study a multi-agent reinforcement learning (MARL) problem where the agents interact over a given network. The goal of the agents is to cooperatively maximize the average of their entropy-regularized long-term rewards. To overcome the curse of dimensionality and to reduce communication, we propose a Localized Policy Iteration (LPI) algorithm that provably learns a near-globally-optimal policy using only local information. In particular, we show that, despite restricting each agent's attention to only its $\kappa$-hop neighborhood, the agents are able to learn a policy with an optimality gap that decays polynomially in $\kappa$. In addition, we show the finite-sample convergence of LPI to the global optimal policy, which explicitly captures the trade-off between optimality and computational complexity in choosing $\kappa$. Numerical simulations demonstrate the effectiveness of LPI.

在本文中，我们在表格设置中建立了违法演员批评算法的全球最优性和收敛速度，而不使用密度比来校正行为政策的状态分布与目标政策之间的差异。我们的工作超出了现有的工作原理，最佳的策略梯度方法中的现有工作中使用确切的策略渐变来更新策略参数时，我们使用近似和随机更新步骤。我们的更新步骤不是渐变更新，因为我们不使用密度比以纠正状态分布，这与从业者做得好。我们的更新是近似的，因为我们使用学习的评论家而不是真正的价值函数。我们的更新是随机的，因为在每个步骤中，更新仅为当前状态操作对完成。此外，我们在分析中删除了现有作品的几个限制性假设。我们的工作中的核心是基于其均匀收缩性能的时源性Markov链中的通用随机近似算法的有限样本分析。

策略梯度方法适用于复杂的，不理解的，通过对参数化的策略进行随机梯度下降来控制问题。不幸的是，即使对于可以通过标准动态编程技术解决的简单控制问题，策略梯度算法也会面临非凸优化问题，并且被广泛理解为仅收敛到固定点。这项工作确定了结构属性 - 通过几个经典控制问题共享 - 确保策略梯度目标函数尽管是非凸面，但没有次优的固定点。当这些条件得到加强时，该目标满足了产生收敛速率的Polyak-lojasiewicz（梯度优势）条件。当其中一些条件放松时，我们还可以在任何固定点的最佳差距上提供界限。