多基础强化学习（MARL）可以解决复杂的合作任务。但是，现有的MAL方法的效率在很大程度上取决于明确定义的奖励功能。具有稀疏奖励反馈的多项式任务尤其具有挑战性，这不仅是由于信用分配问题，而且还因为获得积极的奖励反馈的可能性较低。在本文中，我们设计了一个称为合作图（CG）的图形网络。合作图是两个简单的二分图的组合，即代理聚类子图（ACG）和指定子图（CDG）的群集。接下来，基于这种新颖的图形结构，我们提出了一个合作图多力增强学习（CG-MARL）算法，该算法可以有效地处理多基因任务中的稀疏奖励问题。在CG-MARL中，代理由合作图直接控制。政策神经网络经过培训，可以操纵这一合作图，并指导代理人以隐式的方式实现合作。 CG-MARL的层次结构特征为定制集群活动提供了空间，这是一个可扩展的界面，用于引入基本合作知识。在实验中，CG-MARL在稀疏奖励多基准基准中显示出最新的性能，包括抗侵袭拦截任务和多货车交付任务。

我们报告了以前未被发现的多项式加强学习（MARL），名为“责任扩散”（DR）。博士导致谈判可靠的责任划分以完成复杂的合作任务。它反映了现有算法如何处理基于价值和基于策略的MARL方法的多种探索难题的缺陷。该DR问题与社会心理学领域（也称为旁观者效应）中具有相同名称的现象具有相似之处。在这项工作中，我们从理论上分析了DR问题的原因开始，我们强调DR问题与奖励成型或信用分配问题无关。为了解决DR问题，我们提出了一种政策共振方法，以改变多种勘探探索策略并促进MARL算法在困难的MARL任务中的性能。大多数现有的MARL算法可以配备此方法，以解决由DR问题引起的性能降解。实验是在多个测试基准任务中进行的，包括FME，诊断性多种环境和竞争性的多基因游戏ADCA。最后，我们在SOTA MARL算法上实施了策略共振方法，以说明这种方法的有效性。

在人工多智能体系中，学习协作政策的能力是基于代理商的沟通技巧，他们必须能够编码从环境中收到的信息，并学习如何与手头任务所要求的其他代理分享它。我们介绍了一个深度加强学习方法，连接驱动的通信（CDC），促进了多种子体协作行为的出现，仅通过经验。代理被建模为加权图的节点，其状态相关的边缘编码可以交换的对方式。我们介绍了一种依赖于图形的关注机制，可以控制代理的传入消息如何加权。此机制完全核对图表所表示的系统的当前状态，并在捕获信息如何在图中流动的扩散过程中构建。图形拓扑未被假定已知先验，但在代理人的观察中动态依赖于代理人，并以端到端的方式与注意机制和政策同时学习。我们的经验结果表明，CDC能够学习有效的协作政策，并可以在合作导航任务上过度执行竞争学习算法。

如今，合作多代理系统用于学习如何在大规模动态环境中实现目标。然而，在这些环境中的学习是具有挑战性的：从搜索空间大小对学习时间的影响，代理商之间的低效合作。此外，增强学习算法可能遭受这种环境的长时间的收敛。本文介绍了通信框架。在拟议的沟通框架中，代理商学会有效地合作，同时通过引入新的状态计算方法，状态空间的大小将大大下降。此外，提出了一种知识传输算法以共享不同代理商之间的获得经验，并制定有效的知识融合机制，以融合利用来自其他团队成员所收到的知识的代理商自己的经验。最后，提供了模拟结果以指示所提出的方法在复杂学习任务中的功效。我们已经评估了我们对牧羊化问题的方法，结果表明，通过利用知识转移机制，学习过程加速了，通过基于状态抽象概念产生类似国家的状态空间的大小均下降。

政策梯度方法在多智能体增强学习中变得流行，但由于存在环境随机性和探索代理（即非公平性​​），它们遭受了高度的差异，这可能因信用分配难度而受到困扰。结果，需要一种方法，该方法不仅能够有效地解决上述两个问题，而且需要足够强大地解决各种任务。为此，我们提出了一种新的多代理政策梯度方法，称为强大的本地优势（ROLA）演员 - 评论家。 Rola允许每个代理人将个人动作值函数作为当地评论家，以及通过基于集中评论家的新型集中培训方法来改善环境不良。通过使用此本地批评，每个代理都计算基准，以减少对其策略梯度估计的差异，这导致含有其他代理的预期优势动作值，这些选项可以隐式提高信用分配。我们在各种基准测试中评估ROLA，并在许多最先进的多代理政策梯度算法上显示其鲁棒性和有效性。

协调图是一种有前途的模型代理协作在多智能体增强学习中的合作方法。它将一个大的多代理系统分解为代表底层协调依赖性的重叠组套件。此范例中的一个危急挑战是计算基于图形的值分子的最大值动作的复杂性。它指的是分散的约束优化问题（DCOP），其恒定比率近似是NP - 硬问题。为了绕过这一基本硬度，提出了一种新的方法，命名为自组织的多项式协调图（SOP-CG），它使用结构化图表来保证具有足够功能表达的所致DCOP的最优性。我们将图形拓扑扩展为状态依赖性，将图形选择作为假想的代理商，最终从统一的Bellman Optimaly方程中获得端到端的学习范例。在实验中，我们表明我们的方法了解可解释的图形拓扑，诱导有效的协调，并提高各种合作多功能机构任务的性能。

多代理深度增强学习（Marl）缺乏缺乏共同使用的评估任务和标准，使方法之间的比较困难。在这项工作中，我们提供了一个系统评估，并比较了三种不同类别的Marl算法（独立学习，集中式多代理政策梯度，价值分解）在各种协作多智能经纪人学习任务中。我们的实验是在不同学习任务中作为算法的预期性能的参考，我们为不同学习方法的有效性提供了见解。我们开源EPYMARL，它将Pymarl CodeBase扩展到包括其他算法，并允许灵活地配置算法实现细节，例如参数共享。最后，我们开源两种环境，用于多智能经纪研究，重点关注稀疏奖励下的协调。

本文考虑了多智能经纪人强化学习（MARL）任务，代理商在集会结束时获得共享全球奖励。这种奖励的延迟性质影响了代理商在中间时间步骤中评估其行动质量的能力。本文侧重于开发学习焦点奖励的时间重新分布的方法，以获得密集奖励信号。解决这些MARL问题需要解决两个挑战：识别（1）沿着集发作（沿时间）的长度相对重要性，以及（2）在任何单一时间步骤（代理商中）的相对重要性。在本文中，我们介绍了奖励中的奖励再分配，在整容多智能体加固学习（Arel）中奖励再分配，以解决这两个挑战。 Arel使用注意机制来表征沿着轨迹（时间关注）对状态转换的动作的影响，以及每个代理在每个时间步骤（代理人注意）的影响。 Arel预测的重新分配奖励是密集的，可以与任何给定的MARL算法集成。我们评估了粒子世界环境的具有挑战性的任务和星际争霸多功能挑战。 arel导致粒子世界的奖励较高，并改善星际争端的胜利率与三个最先进的奖励再分配方法相比。我们的代码可在https://github.com/baicenxiao/arel获得。

在动态控制问题中将深度加强学习（DRL）应用于人体机器人合作（HRC）是有前途的，但由于机器人需要学习人类伴侣的受控系统和动态的动态，因此有挑战性。在现有研究中，由DRL提供动力的机器人采用耦合观察环境和人类伴侣同时学习两个动态。但是，这种学习策略在学习效率和团队表现方面有限。这项工作提出了一种新的任务分解方法，具有分层奖励机制，使机器人能够分开学习分层动态控制任务，从学习人类伴侣的行为。该方法在具有人体主题实验的模拟环境中用分层控制任务进行验证。我们的方法还提供了对HRC学习策略设计的洞察。结果表明，机器人应该首先学习任务，以实现更高的团队表现，并首先学习人类以实现更高的学习效率。

在这项工作中，我们通过用户定义的关系网络将“社交”相互作用集成到MARL设置中，并检查代理与代理关系对新兴行为兴起的影响。利用社会学和神经科学的见解，我们提出的框架模型使用奖励共享的关系网络（RSRN）的构图代理关系，其中网络边缘的权重衡量了一项代理在成功中投入多少代理（或关心“关心） '） 其他。我们构建关系奖励是RSRN相互作用权重的函数，以通过多代理增强学习算法共同训练多代理系统。该系统的性能经过了具有不同关系网络结构（例如自我利益，社区和专制网络）的3个代理方案的测试。我们的结果表明，奖励分享关系网络可以显着影响学习的行为。我们认为，RSRN可以充当一个框架，不同的关系网络会产生独特的新兴行为，通常类似于对此类网络的直觉社会学理解。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

Starcraft II（SC2）对强化学习（RL）提出了巨大的挑战，其中主要困难包括巨大的状态空间，不同的动作空间和长期的视野。在这项工作中，我们研究了《星际争霸II》全长游戏的一系列RL技术。我们研究了涉及提取的宏观活动和神经网络的层次结构的层次RL方法。我们研究了课程转移培训程序，并在具有4个GPU和48个CPU线的单台计算机上训练代理。在64x64地图并使用限制性单元上，我们对内置AI的获胜率达到99％。通过课程转移学习算法和战斗模型的混合物，我们在最困难的非作战水平内置AI（7级）中获得了93％的胜利率。在本文的扩展版本中，我们改进了架构，以针对作弊水平训练代理商，并在8级，9级和10级AIS上达到胜利率，为96％，97％和94 ％， 分别。我们的代码在https://github.com/liuruoze/hiernet-sc2上。为了为我们的工作以及研究和开源社区提供基线，我们将其复制了一个缩放版本的Mini-Alphastar（MAS）。 MAS的最新版本为1.07，可以在具有564个动作的原始动作空间上进行培训。它旨在通过使超参数可调节来在单个普通机器上进行训练。然后，我们使用相同的资源将我们的工作与MAS进行比较，并表明我们的方法更有效。迷你α的代码在https://github.com/liuruoze/mini-alphastar上。我们希望我们的研究能够阐明对SC2和其他大型游戏有效增强学习的未来研究。

在过去的几十年中，多机构增强学习（MARL）一直在学术界和行业受到广泛关注。 MAL中的基本问题之一是如何全面评估不同的方法。在视频游戏或简单的模拟场景中评估了大多数现有的MAL方法。这些方法在实际情况下，尤其是多机器人系统中的性能仍然未知。本文介绍了一个可扩展的仿真平台，用于多机器人增强学习（MRRL），称为SMART，以满足这一需求。确切地说，智能由两个组成部分组成：1）一个模拟环境，该环境为培训提供了各种复杂的交互场景，以及2）现实世界中的多机器人系统，用于现实的性能评估。此外，SMART提供了代理环境API，这些API是算法实现的插件。为了说明我们平台的实用性，我们就合作驾驶车道变更方案进行了案例研究。在案例研究的基础上，我们总结了MRRL的一些独特挑战，这些挑战很少被考虑。最后，我们为鼓励和增强MRRL研究的仿真环境，相关的基准任务和最先进的基线开放。

模拟虚拟人群的轨迹是计算机图形中通常遇到的任务。最近的一些作品应用了强化学习方法来使虚拟代理动画，但是在基本模拟设置方面，它们通常会做出不同的设计选择。这些选择中的每一个都有合理的使用依据，因此并不明显其真正的影响是什么，以及它们如何影响结果。在这项工作中，我们从对学习绩效的影响以及根据能源效率测得的模拟的质量分析了其中一些任意选择。我们对奖励函数设计的性质进行理论分析，并经验评估使用某些观察和动作空间对各种情况的影响，并将奖励函数和能量使用作为指标。我们表明，直接使用相邻代理的信息作为观察，通常优于更广泛使用的射线播放。同样，与具有绝对观察结果的自动对照相比，使用具有以自我为中心的观察的非体力学对照倾向于产生更有效的行为。这些选择中的每一个都对结果产生重大且潜在的非平凡影响，因此研究人员应该注意选择和报告他们的工作。

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

最先进的多机构增强学习（MARL）方法为各种复杂问题提供了有希望的解决方案。然而，这些方法都假定代理执行同步的原始操作执行，因此它们不能真正可扩展到长期胜利的真实世界多代理/机器人任务，这些任务固有地要求代理/机器人以异步的理由，涉及有关高级动作选择的理由。不同的时间。宏观行动分散的部分可观察到的马尔可夫决策过程（MACDEC-POMDP）是在完全合作的多代理任务中不确定的异步决策的一般形式化。在本论文中，我们首先提出了MacDec-Pomdps的一组基于价值的RL方法，其中允许代理在三个范式中使用宏观成果功能执行异步学习和决策：分散学习和控制，集中学习，集中学习和控制，以及分散执行的集中培训（CTDE）。在上述工作的基础上，我们在三个训练范式下制定了一组基于宏观行动的策略梯度算法，在该训练范式下，允许代理以异步方式直接优化其参数化策略。我们在模拟和真实的机器人中评估了我们的方法。经验结果证明了我们在大型多代理问题中的方法的优势，并验证了我们算法在学习具有宏观actions的高质量和异步溶液方面的有效性。

深度加强学习（DEEPRL）方法已广泛用于机器人学，以了解环境，自主获取行为。深度互动强化学习（Deepirl）包括来自外部培训师或专家的互动反馈，提供建议，帮助学习者选择采取行动以加快学习过程。但是，目前的研究仅限于仅为特工现任提供可操作建议的互动。另外，在单个使用之后，代理丢弃该信息，该用途在为Revisit以相同状态引起重复过程。在本文中，我们提出了广泛的建议（BPA），这是一种广泛的持久的咨询方法，可以保留并重新使用加工信息。它不仅可以帮助培训师提供与类似状态相关的更一般性建议，而不是仅仅是当前状态，而且还允许代理加快学习过程。我们在两个连续机器人场景中测试提出的方法，即购物车极衡任务和模拟机器人导航任务。所得结果表明，使用BPA的代理的性能在于与深层方法相比保持培训师所需的相互作用的数量。

Cooperative multi-agent reinforcement learning (MARL) has achieved significant results, most notably by leveraging the representation-learning abilities of deep neural networks. However, large centralized approaches quickly become infeasible as the number of agents scale, and fully decentralized approaches can miss important opportunities for information sharing and coordination. Furthermore, not all agents are equal -- in some cases, individual agents may not even have the ability to send communication to other agents or explicitly model other agents. This paper considers the case where there is a single, powerful, \emph{central agent} that can observe the entire observation space, and there are multiple, low-powered \emph{local agents} that can only receive local observations and are not able to communicate with each other. The central agent's job is to learn what message needs to be sent to different local agents based on the global observations, not by centrally solving the entire problem and sending action commands, but by determining what additional information an individual agent should receive so that it can make a better decision. In this work we present our MARL algorithm \algo, describe where it would be most applicable, and implement it in the cooperative navigation and multi-agent walker domains. Empirical results show that 1) learned communication does indeed improve system performance, 2) results generalize to heterogeneous local agents, and 3) results generalize to different reward structures.

Technology advancements in wireless communications and high-performance Extended Reality (XR) have empowered the developments of the Metaverse. The demand for Metaverse applications and hence, real-time digital twinning of real-world scenes is increasing. Nevertheless, the replication of 2D physical world images into 3D virtual world scenes is computationally intensive and requires computation offloading. The disparity in transmitted scene dimension (2D as opposed to 3D) leads to asymmetric data sizes in uplink (UL) and downlink (DL). To ensure the reliability and low latency of the system, we consider an asynchronous joint UL-DL scenario where in the UL stage, the smaller data size of the physical world scenes captured by multiple extended reality users (XUs) will be uploaded to the Metaverse Console (MC) to be construed and rendered. In the DL stage, the larger-size 3D virtual world scenes need to be transmitted back to the XUs. The decisions pertaining to computation offloading and channel assignment are optimized in the UL stage, and the MC will optimize power allocation for users assigned with a channel in the UL transmission stage. Some problems arise therefrom: (i) interactive multi-process chain, specifically Asynchronous Markov Decision Process (AMDP), (ii) joint optimization in multiple processes, and (iii) high-dimensional objective functions, or hybrid reward scenarios. To ensure the reliability and low latency of the system, we design a novel multi-agent reinforcement learning algorithm structure, namely Asynchronous Actors Hybrid Critic (AAHC). Extensive experiments demonstrate that compared to proposed baselines, AAHC obtains better solutions with preferable training time.

在合作多智能体增强学习（Marl）中的代理商的创造和破坏是一个批判性的研究领域。当前的Marl算法通常认为，在整个实验中，组内的代理数量仍然是固定的。但是，在许多实际问题中，代理人可以在队友之前终止。这次早期终止问题呈现出挑战：终止的代理人必须从本集团的成功或失败中学习，这是超出其自身存在的成败。我们指代薪资奖励的传播价值作为遣返代理商作为追索的奖励作为追索权。当前的MARL方法通过将这些药剂放在吸收状态下，直到整组试剂达到终止条件，通过将这些药剂置于终止状态来处理该问题。虽然吸收状态使现有的算法和API能够在没有修改的情况下处理终止的代理，但存在实际培训效率和资源使用问题。在这项工作中，我们首先表明样本复杂性随着系统监督学习任务中的吸收状态的数量而增加，同时对变量尺寸输入更加强大。然后，我们为现有的最先进的MARL算法提出了一种新颖的架构，它使用注意而不是具有吸收状态的完全连接的层。最后，我们展示了这一新颖架构在剧集中创建或销毁的任务中的标准架构显着优于标准架构以及标准的多代理协调任务。