多机构强化学习（MARL）领域已通过采用各种学习方法来控制挑战的多代理系统。这些方法中的许多方法都集中在Marl问题的经验和算法方面，并且缺乏严格的理论基础。另一方面，Graphon Mean Field游戏（GMFGS）为学习问题提供了可扩展且数学上有充分根据的方法，涉及大量连接的代理。在标准的GMFG中，代理之间的连接是随着时间的推移而无方向性，未加权和不变的。我们的论文介绍了彩色的Digraphon均值野外游戏（CDMFG），该游戏允许在随着时间的推移随着时间的推移而自适应的代理之间进行加权和定向链接。因此，与标准GMFG相比，CDMFG能够建模更复杂的连接。除了进行严格的理论分析（包括存在和融合保证）外，我们还提供了学习计划，并通过流行病模型和金融市场中系统性风险的模型来说明我们的发现。

尽管在过去几年中，多机构增强学习（MARL）的领域取得了长足的进步，但解决了大量代理的系统仍然是一个艰巨的挑战。 Graphon均值现场游戏（GMFGS）可实现对MARL问题的可扩展分析，而MARL问题原本是棘手的。通过图形的数学结构，这种方法仅限于密集的图形，这些图形不足以描述许多现实世界网络，例如幂律图。我们的论文介绍了GMFGS的新型公式，称为LPGMFGS，该公式利用了$ l^p $ Graphons的图理论概念，并提供了一种机器学习工具，以有效，准确地近似于稀疏网络问题的解决方案。这尤其包括在各个应用领域经验观察到的电力法网络，并且不能由标准图形捕获。我们得出理论上的存在和融合保证，并提供了经验示例，以证明我们与许多代理的系统学习方法的准确性。此外，我们严格地将在线镜下降（OMD）学习算法扩展到我们的设置，以加速学习速度，允许通过过渡内核中的平均领域进行代理相互作用，并凭经验显示其功能。通常，我们在许多研究领域中为大量棘手的问题提供了可扩展的，数学上有充分的机器学习方法。

我们提出了一种建模大规模多机构动力学系统的方法，该系统不仅可以使用平均场游戏理论和超图像的概念在成对的代理之间进行相互作用，而且这些概念是大型超透明仪的限制。据我们所知，我们的工作是HyperGraphs平均野外游戏的第一部作品。加上扩展到多层设置，我们获得了非线性，弱相互作用的动力学剂的大型系统的限制描述。从理论方面来说，我们证明了由此产生的超图平均野外游戏的良好基础，显示出存在和近似NASH属性。在应用方面，我们扩展了数值和学习算法以计算超图平均场平衡。为了从经验上验证我们的方法，我们考虑了一个流行病控制问题和社会谣言传播模型，我们为代理人提供了将谣言传播到不知情的代理人的内在动机。

致密的大图限制和平均野外游戏的最新进展已开始实现具有大量代理的广泛动态顺序游戏的可扩展分析。到目前为止，结果已经主要限于Graphon平均现场系统，其具有连续延时扩散或跳跃动态，通常没有控制，并且很少专注于计算方法。我们提出了一种新的离散时间制定，用于Graphon均值野外游戏，作为具有薄弱相互作用的非线性密集图Markov游戏的极限。在理论方面，我们在足够大的系统中给出了Graphon均值场解决方案的广泛且严格的存在和近似性质。在实践方面，我们通过引入代理等价类或将Graphon均值字段系统重新格式化为经典平均字段系统来提供Graphon均值的一般学习方案。通过反复找到正则化的最佳控制解决方案及其生成的平均字段，我们成功地获得了与许多代理商的其他不可行的大密集图游戏中的合理的近似纳入均衡。经验上，我们能够证明一些例子，即有限代理行为越来越接近我们计算的均衡的平均场行为，因为图形或系统尺寸增长，验证了我们的理论。更一般地说，我们成功地与序贯蒙特卡罗方法结合使用政策梯度强化学习。

最近的平均野外游戏（MFG）形式主义促进了对许多代理环境中近似NASH均衡的棘手计算。在本文中，我们考虑具有有限摩托目标目标的离散时间有限的MFG。我们表明，所有具有非恒定固定点运算符的离散时间有限的MFG无法正如现有MFG文献中通常假设的，禁止通过固定点迭代收敛。取而代之的是，我们将熵验证和玻尔兹曼策略纳入固定点迭代中。结果，我们获得了现有方法失败的近似固定点的可证明的融合，并达到了近似NASH平衡的原始目标。所有提出的方法均可在其可剥削性方面进行评估，这两个方法都具有可牵引的精确溶液和高维问题的启发性示例，在这些示例中，精确方法变得棘手。在高维场景中，我们采用了既定的深入强化学习方法，并从经验上将虚拟的游戏与我们的近似值结合在一起。

当今许多大型系统的设计，从交通路由环境到智能电网，都依赖游戏理论平衡概念。但是，随着$ n $玩家游戏的大小通常会随着$ n $而成倍增长，标准游戏理论分析实际上是不可行的。最近的方法通过考虑平均场游戏，匿名$ n $玩家游戏的近似值，在这种限制中，玩家的数量是无限的，而人口的状态分布，而不是每个单独的球员的状态，是兴趣。然而，迄今为止研究最多的平均场平衡的平均场nash平衡的实际可计算性通常取决于有益的非一般结构特性，例如单调性或收缩性能，这是已知的算法收敛所必需的。在这项工作中，我们通过开发均值相关和与粗相关的平衡的概念来研究平均场比赛的替代途径。我们证明，可以使用三种经典算法在\ emph {ash All Games}中有效地学习它们，而无需对游戏结构进行任何其他假设。此外，我们在文献中已经建立了对应关系，从而获得了平均场 - $ n $玩家过渡的最佳范围，并经验证明了这些算法在简单游戏中的收敛性。

近年来，强化学习及其多代理类似物在解决各种复杂控制问题方面取得了巨大的成功。然而，在其理论分析和算法的经验设计中，多机构的增强学习仍然具有挑战性，尤其是对于大量的体现的机器人剂，在这些机器人链中仍然是确定的工具链仍然是积极研究的一部分。我们使用新兴的最先进的均值控制技术，以将多机构群体控制转换为更经典的单位分布控制。这允许从单位加强学习的进步中获利，以假设代理之间的相互作用较弱。结果，平均场模型被带有体现的，身体碰撞的代理的真实系统的性质违反。在这里，我们将避免碰撞和对平均场控制的学习结合到一个统一设计智能机器人群行为的统一框架。在理论方面，我们为连续空间和避免碰撞的一般平均场控制提供了新颖的近似保证。从实际方面来说，我们表明我们的方法的表现优于多代理强化学习，并允许在模拟和真实无人机群中避免碰撞的同时进行分散的开环应用程序。总体而言，我们为群体行为设计框架提出了一个框架，该框架既有数学上有充分的基础，而且实际上有用，从而实现了原本棘手的群问题的解决方案。

Mean-field games have been used as a theoretical tool to obtain an approximate Nash equilibrium for symmetric and anonymous $N$-player games in literature. However, limiting applicability, existing theoretical results assume variations of a "population generative model", which allows arbitrary modifications of the population distribution by the learning algorithm. Instead, we show that $N$ agents running policy mirror ascent converge to the Nash equilibrium of the regularized game within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ samples from a single sample trajectory without a population generative model, up to a standard $\mathcal{O}(\frac{1}{\sqrt{N}})$ error due to the mean field. Taking a divergent approach from literature, instead of working with the best-response map we first show that a policy mirror ascent map can be used to construct a contractive operator having the Nash equilibrium as its fixed point. Next, we prove that conditional TD-learning in $N$-agent games can learn value functions within $\tilde{\mathcal{O}}(\varepsilon^{-2})$ time steps. These results allow proving sample complexity guarantees in the oracle-free setting by only relying on a sample path from the $N$ agent simulator. Furthermore, we demonstrate that our methodology allows for independent learning by $N$ agents with finite sample guarantees.

我们考虑在平均场比赛中在线加强学习。与现有作品相反，我们通过开发一种使用通用代理的单个样本路径来估算均值场和最佳策略的算法来减轻对均值甲骨文的需求。我们称此沙盒学习为其，因为它可以用作在多代理非合作环境中运行的任何代理商的温暖启动。我们采用了两种时间尺度的方法，在该方法中，平均场的在线固定点递归在较慢的时间表上运行，并与通用代理更快的时间范围内的控制策略更新同时进行。在足够的勘探条件下，我们提供有限的样本收敛保证，从平均场和控制策略融合到平均场平衡方面。沙盒学习算法的样本复杂性为$ \ Mathcal {o}（\ epsilon^{ - 4}）$。最后，我们从经验上证明了沙盒学习算法在交通拥堵游戏中的有效性。

具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。

We study a multi-agent reinforcement learning (MARL) problem where the agents interact over a given network. The goal of the agents is to cooperatively maximize the average of their entropy-regularized long-term rewards. To overcome the curse of dimensionality and to reduce communication, we propose a Localized Policy Iteration (LPI) algorithm that provably learns a near-globally-optimal policy using only local information. In particular, we show that, despite restricting each agent's attention to only its $\kappa$-hop neighborhood, the agents are able to learn a policy with an optimality gap that decays polynomially in $\kappa$. In addition, we show the finite-sample convergence of LPI to the global optimal policy, which explicitly captures the trade-off between optimality and computational complexity in choosing $\kappa$. Numerical simulations demonstrate the effectiveness of LPI.

我们研究了在随机代理网络中的多功能加固学习（MARL）。目标是找到最大化（折扣）全球奖励的本地化政策。通常，可扩展性在此设置中是一个挑战，因为全局状态/动作空间的大小可以是代理的数量的指数。在依赖性是静态，固定和局部，例如，在固定的，时不变的底层图形的邻居之间，才知道可扩展算法。在这项工作中，我们提出了一个可扩展的演员评论家框架，适用于依赖关系可以是非本地和随机的设置，并提供有限误差绑定，显示了收敛速度如何取决于网络中的信息速度。另外，作为我们分析的副产物，我们获得了一般随机近似方案的新型有限时间收敛结果，以及具有状态聚合的时间差异学习，其超出了网络系统中的Marl的设置。

In this paper, we introduce a regularized mean-field game and study learning of this game under an infinite-horizon discounted reward function. Regularization is introduced by adding a strongly concave regularization function to the one-stage reward function in the classical mean-field game model. We establish a value iteration based learning algorithm to this regularized mean-field game using fitted Q-learning. The regularization term in general makes reinforcement learning algorithm more robust to the system components. Moreover, it enables us to establish error analysis of the learning algorithm without imposing restrictive convexity assumptions on the system components, which are needed in the absence of a regularization term.

大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。

随机游戏的学习可以说是多功能钢筋学习（MARL）中最标准和最基本的环境。在本文中，我们考虑在非渐近制度的随机游戏中分散的Marl。特别是，我们在大量的一般总和随机游戏（SGS）中建立了完全分散的Q学习算法的有限样本复杂性 - 弱循环SGS，包括对所有代理商的普通合作MARL设置具有相同的奖励（马尔可夫团队问题是一个特例。我们专注于实用的同时具有挑战性地设置完全分散的Marl，既不奖励也没有其他药剂的作用，每个试剂都可以观察到。事实上，每个特工都完全忘记了其他决策者的存在。表格和线性函数近似情况都已考虑。在表格设置中，我们分析了分散的Q学习算法的样本复杂性，以收敛到马尔可夫完美均衡（NASH均衡）。利用线性函数近似，结果用于收敛到线性近似平衡 - 我们提出的均衡的新概念 - 这描述了每个代理的策略是线性空间内的最佳回复（到其他代理）。还提供了数值实验，用于展示结果。

We consider learning approximate Nash equilibria for discrete-time mean-field games with nonlinear stochastic state dynamics subject to both average and discounted costs. To this end, we introduce a mean-field equilibrium (MFE) operator, whose fixed point is a mean-field equilibrium (i.e. equilibrium in the infinite population limit). We first prove that this operator is a contraction, and propose a learning algorithm to compute an approximate mean-field equilibrium by approximating the MFE operator with a random one. Moreover, using the contraction property of the MFE operator, we establish the error analysis of the proposed learning algorithm. We then show that the learned mean-field equilibrium constitutes an approximate Nash equilibrium for finite-agent games.

我们在具有代理网络的环境中研究强化学习（RL），其状态和行动以当地的方式交互，其中目标是找到本地化策略，以便最大化（折扣）全局奖励。此设置中的一个根本挑战是状态 - 行动空间大小在代理的数量中呈指数级级别，呈现大网络难以解决的问题。在本文中，我们提出了一个可扩展的演员评论家（SAC）框架，用于利用网络结构并找到一个$ O（\ Rho ^ {\ Kappa}）$ - 近似于某些目标的静止点的近似$ \ rho \ in（0,1）$，复杂性，与网络最大的$ \ kappa $-hop邻居的本地状态动作空间大小缩放。我们使用无线通信，流行和流量的示例说明了我们的模型和方法。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

多功能钢筋学习方法在解决复杂的多助理问题中显示出显着的潜力，但大多数缺乏理论担保。最近，平均实地控制和平均野外游戏已被建立为具有许多代理的大规模多代理问题的贸易解决方案。在这项工作中，由激励调度问题驱动，我们考虑具有常见环境状态的离散时间均值实地控制模型。我们严格地建立了近似最优性，因为在有限的代理人案件中增长，发现动态编程原理保持，导致最佳静止政策的存在。由于由于限制平均场地马尔可夫决策过程所产生的连续动作空间，因此难以一般而言，我们应用建立的深度加强学习方法来解决相关的平均场控制问题。将学习的平均实地控制策略的性能与典型的多代理强化学习方法进行比较，并且被发现汇集到足够多种代理的平均场效，验证所获得的理论结果并达到竞争解决方案。

我们在无限地平线上享受多智能经纪增强学习（Marl）零汇率马尔可夫游戏。我们专注于分散的Marl的实用性但具有挑战性的环境，其中代理人在没有集中式控制员的情况下做出决定，但仅根据自己的收益和当地行动进行了协调。代理商不需要观察对手的行为或收益，可能甚至不忘记对手的存在，也不得意识到基础游戏的零金额结构，该环境也称为学习文学中的彻底解散游戏。在本文中，我们开发了一种彻底的解耦Q学习动态，既合理和收敛则：当对手遵循渐近静止战略时，学习动态会收敛于对对手战略的最佳反应;当两个代理采用学习动态时，它们会收敛到游戏的纳什均衡。这种分散的环境中的关键挑战是从代理商的角度来看环境的非公平性，因为她自己的回报和系统演变都取决于其他代理人的行为，每个代理商同时和独立地互补她的政策。要解决此问题，我们开发了两个时间尺度的学习动态，每个代理会更新她的本地Q函数和value函数估计，后者在较慢的时间内发生。