深度加强学习（DRL）在复杂的视频游戏中取得了超级性能（例如，星际争霸II和DOTA II）。然而，目前的DRL系统仍然遭受多助手协调，稀疏奖励，随机环境等的挑战。在寻求解决这些挑战时，我们雇用了足球视频游戏，例如Google Research Football（GRF），如我们测试的开发基于端到端的学习的AI系统（表示为Tickick）以完成此具有挑战性的任务。在这项工作中，我们首先从联赛培训获得的单一代理专家的自我播放中生成了一个大型重播数据集。然后，我们开发了一个分布式学习系统和新的离线算法，以从固定的单个代理数据集中学习一个强大的多辅助AI。据我们所知，Tickick是第一个基于学习的AI系统，可以接管多个Agent Google Research Footful Game，而以前的工作可以控制单一代理或实验玩具学术情景。广泛的实验进一步表明，我们的预先训练的模型可以加速现代多功能算法的训练过程，我们的方法在各种学术方案上实现了最先进的性能。

Starcraft II（SC2）对强化学习（RL）提出了巨大的挑战，其中主要困难包括巨大的状态空间，不同的动作空间和长期的视野。在这项工作中，我们研究了《星际争霸II》全长游戏的一系列RL技术。我们研究了涉及提取的宏观活动和神经网络的层次结构的层次RL方法。我们研究了课程转移培训程序，并在具有4个GPU和48个CPU线的单台计算机上训练代理。在64x64地图并使用限制性单元上，我们对内置AI的获胜率达到99％。通过课程转移学习算法和战斗模型的混合物，我们在最困难的非作战水平内置AI（7级）中获得了93％的胜利率。在本文的扩展版本中，我们改进了架构，以针对作弊水平训练代理商，并在8级，9级和10级AIS上达到胜利率，为96％，97％和94 ％， 分别。我们的代码在https://github.com/liuruoze/hiernet-sc2上。为了为我们的工作以及研究和开源社区提供基线，我们将其复制了一个缩放版本的Mini-Alphastar（MAS）。 MAS的最新版本为1.07，可以在具有564个动作的原始动作空间上进行培训。它旨在通过使超参数可调节来在单个普通机器上进行训练。然后，我们使用相同的资源将我们的工作与MAS进行比较，并表明我们的方法更有效。迷你α的代码在https://github.com/liuruoze/mini-alphastar上。我们希望我们的研究能够阐明对SC2和其他大型游戏有效增强学习的未来研究。

With the breakthrough of AlphaGo, deep reinforcement learning becomes a recognized technique for solving sequential decision-making problems. Despite its reputation, data inefficiency caused by its trial and error learning mechanism makes deep reinforcement learning hard to be practical in a wide range of areas. Plenty of methods have been developed for sample efficient deep reinforcement learning, such as environment modeling, experience transfer, and distributed modifications, amongst which, distributed deep reinforcement learning has shown its potential in various applications, such as human-computer gaming, and intelligent transportation. In this paper, we conclude the state of this exciting field, by comparing the classical distributed deep reinforcement learning methods, and studying important components to achieve efficient distributed learning, covering single player single agent distributed deep reinforcement learning to the most complex multiple players multiple agents distributed deep reinforcement learning. Furthermore, we review recently released toolboxes that help to realize distributed deep reinforcement learning without many modifications of their non-distributed versions. By analyzing their strengths and weaknesses, a multi-player multi-agent distributed deep reinforcement learning toolbox is developed and released, which is further validated on Wargame, a complex environment, showing usability of the proposed toolbox for multiple players and multiple agents distributed deep reinforcement learning under complex games. Finally, we try to point out challenges and future trends, hoping this brief review can provide a guide or a spark for researchers who are interested in distributed deep reinforcement learning.

独立的强化学习算法没有理论保证，用于在多代理设置中找到最佳策略。然而，在实践中，先前的作品报告了在某些域中的独立算法和其他方面的良好性能。此外，文献中缺乏对独立算法的优势和弱点的全面研究。在本文中，我们对四个Pettingzoo环境进行了独立算法的性能的实证比较，这些环境跨越了三种主要类别的多助理环境，即合作，竞争和混合。我们表明，在完全可观察的环境中，独立的算法可以在协作和竞争环境中与多代理算法进行同步。对于混合环境，我们表明通过独立算法培训的代理商学会单独执行，但未能学会与盟友合作并与敌人竞争。我们还表明，添加重复性提高了合作部分可观察环境中独立算法的学习。

Recently, model-based agents have achieved better performance than model-free ones using the same computational budget and training time in single-agent environments. However, due to the complexity of multi-agent systems, it is tough to learn the model of the environment. The significant compounding error may hinder the learning process when model-based methods are applied to multi-agent tasks. This paper proposes an implicit model-based multi-agent reinforcement learning method based on value decomposition methods. Under this method, agents can interact with the learned virtual environment and evaluate the current state value according to imagined future states in the latent space, making agents have the foresight. Our approach can be applied to any multi-agent value decomposition method. The experimental results show that our method improves the sample efficiency in different partially observable Markov decision process domains.

离线强化学习利用静态数据集来学习最佳策略，无需访问环境。由于代理商在线交互的展示和培训期间的样本数量，这种技术对于多代理学习任务是可取的。然而，在多代理强化学习（Marl）中，从未研究过在线微调的离线预训练的范式从未研究过，可以使用离线MARL研究的数据集或基准。在本文中，我们试图回答违规在Marl中的离线培训是否能够学习一般的政策表现，这些问题可以帮助提高多个下游任务的性能。我们首先引入基于Starcraftia环境的不同质量水平的第一个离线Marl数据集，然后提出了用于有效的离线学习的多代理决策变压器（MADT）的新颖体系结构。 MADT利用变换器的时间表示的建模能力，并将其与离线和在线MARL任务集成。 Madt的一个至关重要的好处是，它学会了可以在不同任务场景下不同类型的代理之间转移的可稳定性政策。当在脱机目的Datline数据上进行评估时，Madt展示了比最先进的离线RL基线的性能卓越。当应用于在线任务时，预先训练的MADT显着提高了样品效率，即使在零射击案件中也享有强大的性能。为了我们的最佳知识，这是第一个研究并展示了在Marl中的样本效率和最常性增强方面的离线预训练模型的有效性。

多智能体增强学习任务对培训样本的体积提出了很高的需求。不同于其单代理对应物，基于分布式的超代理强化学习面临着苛刻的数据传输，流程间通信管理和勘探高要求的独特挑战。我们提出了一个容器化的学习框架来解决这些问题。我们打包了几个环境实例，本地学习者和缓冲区，以及仔细设计的多队列管理器，避免阻止容器。鼓励每个容器的本地政策尽可能多样，只有最优先考虑的轨迹被送到全球学习者。通过这种方式，我们实现了具有高系统吞吐量的可扩展，较效率和多样化的分布式Marl学习框架。要拥有知识，我们的方法是第一个解决挑战的谷歌研究足球全游戏$ 5 \ _v \ _5 $。在星际争霸II微型管理基准中，与最先进的非分布式MARL算法相比，我们的方法获得了4美元 - $ 18 \倍。

随着alphago的突破，人机游戏的AI已经成为一个非常热门的话题，吸引了世界各地的研究人员，这通常是测试人工智能的有效标准。已经开发了各种游戏AI系统（AIS），如Plibratus，Openai Five和AlphaStar，击败了专业人员。在本文中，我们调查了最近的成功游戏AIS，覆盖棋盘游戏AIS，纸牌游戏AIS，第一人称射击游戏AIS和实时战略游戏AIS。通过这项调查，我们1）比较智能决策领域的不同类型游戏之间的主要困难; 2）说明了开发专业水平AIS的主流框架和技术; 3）提高当前AIS中的挑战或缺点，以实现智能决策; 4）试图提出奥运会和智能决策技巧的未来趋势。最后，我们希望这篇简短的审查可以为初学者提供介绍，激发了在游戏中AI提交的研究人员的见解。

合作多代理设置中的标准问题设置是自我播放（SP），其目标是训练一个很好地合作的代理团队。但是，最佳SP政策通常包含任意惯例（“握手”），并且与其他受独立训练的代理商或人类不兼容。后者的Desiderata最近由Hu等人正式化。 2020年作为零射击协调（ZSC）设置，并以其其他游戏（OP）算法进行了部分解决，该算法在纸牌游戏Hanabi中显示出改进的ZSC和人类表现。 OP假设访问环境的对称性，并防止代理在训练过程中以相互不相容的方式破坏它们。但是，正如作者指出的那样，发现给定环境的对称性是一个计算困难的问题。取而代之的是，我们通过简单的K级推理（KLR）Costa Gomes等人表明。 2006年，我们可以同步训练所有级别，我们可以在哈纳比（Hanabi）获得竞争性的ZSC和临时团队表现，包括与类似人类的代理机器人配对。我们还引入了一种具有最佳响应（SYKLRBR）的新方法，即同步的K级推理，该方法通过共同培训最佳响应来进一步提高同步KLR的性能。

Adequate strategizing of agents behaviors is essential to solving cooperative MARL problems. One intuitively beneficial yet uncommon method in this domain is predicting agents future behaviors and planning accordingly. Leveraging this point, we propose a two-level hierarchical architecture that combines a novel information-theoretic objective with a trajectory prediction model to learn a strategy. To this end, we introduce a latent policy that learns two types of latent strategies: individual $z_A$, and relational $z_R$ using a modified Graph Attention Network module to extract interaction features. We encourage each agent to behave according to the strategy by conditioning its local $Q$ functions on $z_A$, and we further equip agents with a shared $Q$ function that conditions on $z_R$. Additionally, we introduce two regularizers to allow predicted trajectories to be accurate and rewarding. Empirical results on Google Research Football (GRF) and StarCraft (SC) II micromanagement tasks show that our method establishes a new state of the art being, to the best of our knowledge, the first MARL algorithm to solve all super hard SC II scenarios as well as the GRF full game with a win rate higher than $95\%$, thus outperforming all existing methods. Videos and brief overview of the methods and results are available at: https://sites.google.com/view/hier-strats-marl/home.

强化学习（RL）的最新进展使得可以在广泛的应用中开发出擅长的复杂剂。使用这种代理商的模拟可以在难以在现实世界中进行科学实验的情景中提供有价值的信息。在本文中，我们研究了足球RL代理商的游戏风格特征，并揭示了在训练期间可能发展的策略。然后将学习的策略与真正的足球运动员进行比较。我们探索通过使用聚合统计和社交网络分析（SNA）来探索使用模拟环境的学习内容。结果，我们发现（1）代理商的竞争力与各种SNA指标之间存在强烈的相关性，并且（2）RL代理商的各个方面，游戏风格与现实世界足球运动员相似，因为代理人变得更具竞争力。我们讨论了可能有必要的进一步进展，以改善我们必须充分利用RL进行足球的分析所需的理解。

离线增强学习（离线RL）是一个新兴领域，由于其能够从早期收集的数据集中学习行为，该领域最近开始在各个应用领域中引起关注。当与环境进一步交互（计算或其他方式），不安全或完全不可行时，必须使用记录数据。离线RL被证明非常成功，为解决以前棘手的现实世界问题铺平了道路，我们旨在将此范式推广到多代理或多人游戏设置。由于缺乏标准化数据集和有意义的基准，因此在这一领域进行的研究很少，因为进展受到阻碍。在这项工作中，我们将术语“离线平衡发现（OEF）”创造，以描述该区域并构建多个数据集，这些数据集由使用多种既定方法在各种游戏中收集的策略组成。我们还提出了一种基准方法 - 行为克隆和基于模型的算法的合并。我们的两种基于模型的算法 - OEF-PSRO和OEF-CFR - 是在离线学习的背景下，广泛使用的平衡发现算法深入CFR和PSRO的适应。在经验部分中，我们评估了构造数据集上基准算法的性能。我们希望我们的努力可以帮助加速大规模平衡发现的研究。数据集和代码可在https://github.com/securitygames/oef上获得。

近端策略优化（PPO）是一种普遍存在的上利期内学习算法，但在多代理设置中的非政策学习算法所使用的算法明显少得多。这通常是由于认为PPO的样品效率明显低于多代理系统中的销售方法。在这项工作中，我们仔细研究了合作多代理设置中PPO的性能。我们表明，基于PPO的多代理算法在四个受欢迎的多代理测试台上取得了令人惊讶的出色表现：粒子世界环境，星际争霸多代理挑战，哈纳比挑战赛和Google Research Football，并具有最少的超参数调谐任何特定领域的算法修改或架构。重要的是，与强大的非政策方法相比，PPO通常在最终奖励和样本效率中都能取得竞争性或优越的结果。最后，通过消融研究，我们分析了对PPO的经验表现至关重要的实施和高参数因素，并就这些因素提供了具体的实用建议。我们的结果表明，在使用这些实践时，简单的基于PPO的方法在合作多代理增强学习中是强大的基线。源代码可在https://github.com/marlbenchmark/on-policy上发布。

几乎所有的多代理强化学习算法没有交流，都遵循分散执行的集中培训原则。在集中培训期间，代理可以以相同的信号为指导，例如全球国家。但是，在分散执行期间，代理缺乏共享信号。受到观点不变性和对比学习的启发，我们在本文中提出了共识学习，以学习合作的多代理增强学习。尽管基于局部观察结果，但不同的代理可以在离散空间中推断出相同的共识。在分散执行期间，我们将推断的共识作为对代理网络的明确输入提供了，从而发展了他们的合作精神。我们提出的方法可以扩展到具有小模型更改的各种多代理增强学习算法。此外，我们执行一些完全合作的任务，并获得令人信服的结果。

由于部分可观察性，高维视觉感知和延迟奖励，在MINECRAFT等开放世界游戏中的学习理性行为仍然是挑战，以便对加固学习（RL）研究造成挑战性，高维视觉感知和延迟奖励。为了解决这个问题，我们提出了一种具有代表学习和模仿学习的样本有效的等级RL方法，以应对感知和探索。具体来说，我们的方法包括两个层次结构，其中高级控制器学习控制策略来控制选项，低级工作人员学会解决每个子任务。为了提高子任务的学习，我们提出了一种技术组合，包括1）动作感知表示学习，其捕获了行动和表示之间的基础关系，2）基于鉴别者的自模仿学习，以实现有效的探索，以及3）合奏行为克隆一致性筛选政策鲁棒性。广泛的实验表明，Juewu-MC通过大边缘显着提高了样品效率并优于一组基线。值得注意的是，我们赢得了神经脂溢斯矿业锦标赛2021年研究竞赛的冠军，并实现了最高的绩效评分。

Offline multi-agent reinforcement learning (MARL) aims to learn effective multi-agent policies from pre-collected datasets, which is an important step toward the deployment of multi-agent systems in real-world applications. However, in practice, each individual behavior policy that generates multi-agent joint trajectories usually has a different level of how well it performs. e.g., an agent is a random policy while other agents are medium policies. In the cooperative game with global reward, one agent learned by existing offline MARL often inherits this random policy, jeopardizing the performance of the entire team. In this paper, we investigate offline MARL with explicit consideration on the diversity of agent-wise trajectories and propose a novel framework called Shared Individual Trajectories (SIT) to address this problem. Specifically, an attention-based reward decomposition network assigns the credit to each agent through a differentiable key-value memory mechanism in an offline manner. These decomposed credits are then used to reconstruct the joint offline datasets into prioritized experience replay with individual trajectories, thereafter agents can share their good trajectories and conservatively train their policies with a graph attention network (GAT) based critic. We evaluate our method in both discrete control (i.e., StarCraft II and multi-agent particle environment) and continuous control (i.e, multi-agent mujoco). The results indicate that our method achieves significantly better results in complex and mixed offline multi-agent datasets, especially when the difference of data quality between individual trajectories is large.

Recently, some challenging tasks in multi-agent systems have been solved by some hierarchical reinforcement learning methods. Inspired by the intra-level and inter-level coordination in the human nervous system, we propose a novel value decomposition framework HAVEN based on hierarchical reinforcement learning for fully cooperative multi-agent problems. To address the instability arising from the concurrent optimization of policies between various levels and agents, we introduce the dual coordination mechanism of inter-level and inter-agent strategies by designing reward functions in a two-level hierarchy. HAVEN does not require domain knowledge and pre-training, and can be applied to any value decomposition variant. Our method achieves desirable results on different decentralized partially observable Markov decision process domains and outperforms other popular multi-agent hierarchical reinforcement learning algorithms.

The availability of challenging benchmarks has played a key role in the recent progress of machine learning. In cooperative multi-agent reinforcement learning, the StarCraft Multi-Agent Challenge (SMAC) has become a popular testbed for centralised training with decentralised execution. However, after years of sustained improvement on SMAC, algorithms now achieve near-perfect performance. In this work, we conduct new analysis demonstrating that SMAC is not sufficiently stochastic to require complex closed-loop policies. In particular, we show that an open-loop policy conditioned only on the timestep can achieve non-trivial win rates for many SMAC scenarios. To address this limitation, we introduce SMACv2, a new version of the benchmark where scenarios are procedurally generated and require agents to generalise to previously unseen settings (from the same distribution) during evaluation. We show that these changes ensure the benchmark requires the use of closed-loop policies. We evaluate state-of-the-art algorithms on SMACv2 and show that it presents significant challenges not present in the original benchmark. Our analysis illustrates that SMACv2 addresses the discovered deficiencies of SMAC and can help benchmark the next generation of MARL methods. Videos of training are available at https://sites.google.com/view/smacv2

注入人类知识是加速加强学习（RL）的有效途径。但是，这些方法是缺乏缺陷的。本文介绍了我们发现的抽象前瞻性模型（思想游戏（TG））与转移学习（TL）相结合是有效的方式。我们将星际争霸II作为我们的学习环境。在设计的TG的帮助下，该代理可以在64x64地图上学习99％的速率，在一个商业机器中仅使用1.08小时的1级内置AI。我们还表明TG方法并不像被认为是限制性的。它可以使用粗略设计的TGS，并且在环境变化时也可以很有用。与以前的基于模型的RL相比，我们显示TG更有效。我们还提出了一种TG假设，其赋予TG不同保真度水平的影响。对于具有不等状态和行动空间的真实游戏，我们提出了一种新颖的XFRNET，其中有用性在验证有用性，同时达到欺骗级别-10 AI的90％的赢利。我们认为TG方法可能会在利用人类知识的进一步研究中进一步研究。

当一个代理与多代理环境互动时，与以前看不见的各种对手打交道是一项挑战。建模对手的行为，目标或信念可以帮助代理人调整其政策以适应不同的对手。此外，考虑同时学习或能够推理的对手也很重要。但是，现有工作通常仅处理上述对手类型之一。在本文中，我们提出了基于模型的对手建模（MBOM）​​，该模型采用环境模型来适应各种对手。 MBOM在环境模型中模拟了递归推理过程，并想象一组改进对手政策。为了有效，准确地代表对手政策，MBOM根据与对手的真实行为的相似性进一步将想象中的对手政策混合在一起。从经验上讲，我们表明，MBOM比在各种任务中的现有方法更有效地适应，分别具有不同类型的对手，即固定的政策，NA \“ IVE”学习者和推理者。