近年来，强化学习及其多代理类似物在解决各种复杂控制问题方面取得了巨大的成功。然而，在其理论分析和算法的经验设计中，多机构的增强学习仍然具有挑战性，尤其是对于大量的体现的机器人剂，在这些机器人链中仍然是确定的工具链仍然是积极研究的一部分。我们使用新兴的最先进的均值控制技术，以将多机构群体控制转换为更经典的单位分布控制。这允许从单位加强学习的进步中获利，以假设代理之间的相互作用较弱。结果，平均场模型被带有体现的，身体碰撞的代理的真实系统的性质违反。在这里，我们将避免碰撞和对平均场控制的学习结合到一个统一设计智能机器人群行为的统一框架。在理论方面，我们为连续空间和避免碰撞的一般平均场控制提供了新颖的近似保证。从实际方面来说，我们表明我们的方法的表现优于多代理强化学习，并允许在模拟和真实无人机群中避免碰撞的同时进行分散的开环应用程序。总体而言，我们为群体行为设计框架提出了一个框架，该框架既有数学上有充分的基础，而且实际上有用，从而实现了原本棘手的群问题的解决方案。
translated by 谷歌翻译
大型人口系统的分析和控制对研究和工程的各个领域引起了极大的兴趣，从机器人群的流行病学到经济学和金融。一种越来越流行和有效的方法来实现多代理系统中的顺序决策，这是通过多机构增强学习，因为它允许对高度复杂的系统进行自动和无模型的分析。但是，可伸缩性的关键问题使控制和增强学习算法的设计变得复杂，尤其是在具有大量代理的系统中。尽管强化学习在许多情况下都发现了经验成功，但许多代理商的问题很快就变得棘手了，需要特别考虑。在这项调查中，我们将阐明当前的方法，以通过多代理强化学习以及通过诸如平均场游戏，集体智能或复杂的网络理论等研究领域进行仔细理解和分析大型人口系统。这些经典独立的主题领域提供了多种理解或建模大型人口系统的方法，这可能非常适合将来的可拖动MARL算法制定。最后，我们调查了大规模控制的潜在应用领域，并确定了实用系统中学习算法的富有成果的未来应用。我们希望我们的调查可以为理论和应用科学的初级和高级研究人员提供洞察力和未来的方向。
translated by 谷歌翻译
多功能钢筋学习方法在解决复杂的多助理问题中显示出显着的潜力，但大多数缺乏理论担保。最近，平均实地控制和平均野外游戏已被建立为具有许多代理的大规模多代理问题的贸易解决方案。在这项工作中，由激励调度问题驱动，我们考虑具有常见环境状态的离散时间均值实地控制模型。我们严格地建立了近似最优性，因为在有限的代理人案件中增长，发现动态编程原理保持，导致最佳静止政策的存在。由于由于限制平均场地马尔可夫决策过程所产生的连续动作空间，因此难以一般而言，我们应用建立的深度加强学习方法来解决相关的平均场控制问题。将学习的平均实地控制策略的性能与典型的多代理强化学习方法进行比较，并且被发现汇集到足够多种代理的平均场效，验证所获得的理论结果并达到竞争解决方案。
translated by 谷歌翻译
致密的大图限制和平均野外游戏的最新进展已开始实现具有大量代理的广泛动态顺序游戏的可扩展分析。到目前为止，结果已经主要限于Graphon平均现场系统，其具有连续延时扩散或跳跃动态，通常没有控制，并且很少专注于计算方法。我们提出了一种新的离散时间制定，用于Graphon均值野外游戏，作为具有薄弱相互作用的非线性密集图Markov游戏的极限。在理论方面，我们在足够大的系统中给出了Graphon均值场解决方案的广泛且严格的存在和近似性质。在实践方面，我们通过引入代理等价类或将Graphon均值字段系统重新格式化为经典平均字段系统来提供Graphon均值的一般学习方案。通过反复找到正则化的最佳控制解决方案及其生成的平均字段，我们成功地获得了与许多代理商的其他不可行的大密集图游戏中的合理的近似纳入均衡。经验上，我们能够证明一些例子，即有限代理行为越来越接近我们计算的均衡的平均场行为，因为图形或系统尺寸增长，验证了我们的理论。更一般地说，我们成功地与序贯蒙特卡罗方法结合使用政策梯度强化学习。
translated by 谷歌翻译
碰撞避免算法对许多无人机应用程序具有核心兴趣。特别地，分散的方法可以是在集中通信变得过艰巨的情况下启用强大的无人机群解决方案的关键。在这项工作中，我们从椋鸟（Ventgaris）的群群中汲取生物启示，并将洞察力应用于结尾学的分散碰撞避免。更具体地，我们提出了一种新的，可伸缩的观察模型，其仿生最近邻的信息约束，导致快速学习和良好的碰撞行为。通过提出一般加强学习方法，我们获得了基于端到端的学习方法，以通过包装收集和形成变化等任意任务集成碰撞避免。为了验证这种方法的一般性，我们通过中等复杂性的运动模型成功地应用了我们的方法，建模势头，仍然可以与标准PID控制器结合使用直接应用。与事先作品相比，我们发现，在我们足够丰富的运动模型中，最近的邻居信息确实足以学习有效的碰撞行为。我们的学习政策在模拟中进行了测试，随后转移到现实世界的无人机，以验证其现实世界的适用性。
translated by 谷歌翻译
近年来，数据中心和云服务的容量和并行处理能力大大提高。为了充分利用所述分布式系统，必须实现并行排队架构的最佳负载平衡。现有的最新解决方案未能考虑沟通延迟对许多客户的非常大系统的行为的影响。在这项工作中，我们考虑了一个多代理负载平衡系统，其中包含延迟信息，包括许多客户（负载平衡器）和许多并行队列。为了获得可处理的解决方案，我们通过精确离散化在离散时间内将该系统建模为具有扩大状态行动空间的平均场控制问题。随后，我们应用政策梯度增强学习算法来找到最佳的负载平衡解决方案。在这里，离散时间系统模型包含了同步延迟，在该延迟下，在所有客户端，队列状态信息同步广播和更新。然后，我们在大型系统中为我们的方法提供了理论性能保证。最后，使用实验，我们证明了我们的方法不仅可扩展，而且与最新的Join-the-the-the-the-the-the-the-the-the-the-the-the-the-the-the-the-the-the warriant相比，还表现出良好的性能（JSQ）和其他在同步延迟的情况下政策。
translated by 谷歌翻译
我们提出了一种建模大规模多机构动力学系统的方法，该系统不仅可以使用平均场游戏理论和超图像的概念在成对的代理之间进行相互作用，而且这些概念是大型超透明仪的限制。据我们所知，我们的工作是HyperGraphs平均野外游戏的第一部作品。加上扩展到多层设置，我们获得了非线性，弱相互作用的动力学剂的大型系统的限制描述。从理论方面来说，我们证明了由此产生的超图平均野外游戏的良好基础，显示出存在和近似NASH属性。在应用方面，我们扩展了数值和学习算法以计算超图平均场平衡。为了从经验上验证我们的方法，我们考虑了一个流行病控制问题和社会谣言传播模型，我们为代理人提供了将谣言传播到不知情的代理人的内在动机。
translated by 谷歌翻译
最近的平均野外游戏（MFG）形式主义促进了对许多代理环境中近似NASH均衡的棘手计算。在本文中，我们考虑具有有限摩托目标目标的离散时间有限的MFG。我们表明，所有具有非恒定固定点运算符的离散时间有限的MFG无法正如现有MFG文献中通常假设的，禁止通过固定点迭代收敛。取而代之的是，我们将熵验证和玻尔兹曼策略纳入固定点迭代中。结果，我们获得了现有方法失败的近似固定点的可证明的融合，并达到了近似NASH平衡的原始目标。所有提出的方法均可在其可剥削性方面进行评估，这两个方法都具有可牵引的精确溶液和高维问题的启发性示例，在这些示例中，精确方法变得棘手。在高维场景中，我们采用了既定的深入强化学习方法，并从经验上将虚拟的游戏与我们的近似值结合在一起。
translated by 谷歌翻译
嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。
translated by 谷歌翻译
最近已证明，平均场控制（MFC）是可扩展的工具，可近似解决大规模的多代理增强学习（MARL）问题。但是，这些研究通常仅限于无约束的累积奖励最大化框架。在本文中，我们表明，即使在存在约束的情况下，也可以使用MFC方法近似MARL问题。具体来说，我们证明，一个$ n $ agent的约束MARL问题，以及每个尺寸的尺寸$ | \ Mathcal {x} | $和$ | \ Mathcal {u} | $的状态和操作空间，可以通过与错误相关的约束MFC问题近似，$ e \ triangleq \ Mathcal {o} \ left（[\ sqrt {| \ Mathcal {| \ Mathcal {x} |} |}+\ sqrt {| ]/\ sqrt {n} \ right）$。在奖励，成本和状态过渡功能独立于人口的行动分布的特殊情况下，我们证明该错误可以将错误提高到$ e = \ nathcal {o}（\ sqrt {| | \ Mathcal {x x x } |}/\ sqrt {n}）$。另外，我们提供了一种基于自然策略梯度的算法，并证明它可以在$ \ Mathcal {o}（e）$的错误中解决受约束的MARL问题，并具有$ \ MATHCAL {O}的样本复杂性（E^{ - e^{ - 6}）$。
translated by 谷歌翻译
我们为仓库环境中的移动机器人提供基于新颖的强化学习（RL）任务分配和分散的导航算法。我们的方法是针对各种机器人执行各种接送和交付任务的场景而设计的。我们考虑了联合分散任务分配和导航的问题，并提出了解决该问题的两层方法。在更高级别，我们通过根据马尔可夫决策过程制定任务并选择适当的奖励来最大程度地减少总旅行延迟（TTD）来解决任务分配。在较低级别，我们使用基于ORCA的分散导航方案，使每个机器人能够独立执行这些任务，并避免与其他机器人和动态障碍物发生碰撞。我们通过定义较高级别的奖励作为低级导航算法的反馈来结合这些下层和上层。我们在复杂的仓库布局中进行了广泛的评估，并具有大量代理商，并根据近视拾取距离距离最小化和基于遗憾的任务选择，突出了对最先进算法的好处。我们观察到任务完成时间的改善高达14％，并且在计算机器人的无碰撞轨迹方面提高了40％。
translated by 谷歌翻译
具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。
translated by 谷歌翻译
多机构强化学习（MARL）领域已通过采用各种学习方法来控制挑战的多代理系统。这些方法中的许多方法都集中在Marl问题的经验和算法方面，并且缺乏严格的理论基础。另一方面，Graphon Mean Field游戏（GMFGS）为学习问题提供了可扩展且数学上有充分根据的方法，涉及大量连接的代理。在标准的GMFG中，代理之间的连接是随着时间的推移而无方向性，未加权和不变的。我们的论文介绍了彩色的Digraphon均值野外游戏（CDMFG），该游戏允许在随着时间的推移随着时间的推移而自适应的代理之间进行加权和定向链接。因此，与标准GMFG相比，CDMFG能够建模更复杂的连接。除了进行严格的理论分析（包括存在和融合保证）外，我们还提供了学习计划，并通过流行病模型和金融市场中系统性风险的模型来说明我们的发现。
translated by 谷歌翻译
尽管在过去几年中，多机构增强学习（MARL）的领域取得了长足的进步，但解决了大量代理的系统仍然是一个艰巨的挑战。 Graphon均值现场游戏（GMFGS）可实现对MARL问题的可扩展分析，而MARL问题原本是棘手的。通过图形的数学结构，这种方法仅限于密集的图形，这些图形不足以描述许多现实世界网络，例如幂律图。我们的论文介绍了GMFGS的新型公式，称为LPGMFGS，该公式利用了$ l^p $ Graphons的图理论概念，并提供了一种机器学习工具，以有效，准确地近似于稀疏网络问题的解决方案。这尤其包括在各个应用领域经验观察到的电力法网络，并且不能由标准图形捕获。我们得出理论上的存在和融合保证，并提供了经验示例，以证明我们与许多代理的系统学习方法的准确性。此外，我们严格地将在线镜下降（OMD）学习算法扩展到我们的设置，以加速学习速度，允许通过过渡内核中的平均领域进行代理相互作用，并凭经验显示其功能。通常，我们在许多研究领域中为大量棘手的问题提供了可扩展的，数学上有充分的机器学习方法。
translated by 谷歌翻译
我们表明，在合作$ n $ n $ agent网络中，可以为代理设计本地可执行的策略，以使所得的平均奖励（值）的折现总和非常接近于计算出的最佳价值（包括非本地）策略。具体而言，我们证明，如果$ | \ MATHCAL {X} |，| \ MATHCAL {U} | $表示状态大小和单个代理的操作空间，那么对于足够小的折现因子，近似错误，则由$ \ MATHCAL {o}（e）$ where $ e \ triangleq \ frac {1} {\ sqrt {n}}} \ left [\ sqrt {\ sqrt {| \ Mathcal {x}} |} |} |} |}+\ sqrt { } |} \ right] $。此外，在一种特殊情况下，奖励和状态过渡功能独立于人口的行动分布，错误将$ \ nathcal {o}（e）$提高到其中$ e \ e \ triangleq \ frac {1} {\ sqrt {\ sqrt {n}} \ sqrt {| \ Mathcal {x} |} $。最后，我们还设计了一种算法来明确构建本地政策。在我们的近似结果的帮助下，我们进一步确定构建的本地策略在$ \ Mathcal {o}（\ max \ {e，\ epsilon \}）$最佳策略的距离之内对于任何$ \ epsilon> 0 $，本地策略是$ \ MATHCAL {O}（\ Epsilon^{ - 3}）$。
translated by 谷歌翻译
我们在具有代理网络的环境中研究强化学习（RL），其状态和行动以当地的方式交互，其中目标是找到本地化策略，以便最大化（折扣）全局奖励。此设置中的一个根本挑战是状态 - 行动空间大小在代理的数量中呈指数级级别，呈现大网络难以解决的问题。在本文中，我们提出了一个可扩展的演员评论家（SAC）框架，用于利用网络结构并找到一个$ O（\ Rho ^ {\ Kappa}）$ - 近似于某些目标的静止点的近似$ \ rho \ in（0,1）$，复杂性，与网络最大的$ \ kappa $-hop邻居的本地状态动作空间大小缩放。我们使用无线通信，流行和流量的示例说明了我们的模型和方法。
translated by 谷歌翻译
我们考虑在平均场比赛中在线加强学习。与现有作品相反，我们通过开发一种使用通用代理的单个样本路径来估算均值场和最佳策略的算法来减轻对均值甲骨文的需求。我们称此沙盒学习为其，因为它可以用作在多代理非合作环境中运行的任何代理商的温暖启动。我们采用了两种时间尺度的方法，在该方法中，平均场的在线固定点递归在较慢的时间表上运行，并与通用代理更快的时间范围内的控制策略更新同时进行。在足够的勘探条件下，我们提供有限的样本收敛保证，从平均场和控制策略融合到平均场平衡方面。沙盒学习算法的样本复杂性为$ \ Mathcal {o}（\ epsilon^{ - 4}）$。最后，我们从经验上证明了沙盒学习算法在交通拥堵游戏中的有效性。
translated by 谷歌翻译
增强学习算法需要大量样品；这通常会限制他们的现实应用程序在简单的任务上。在多代理任务中，这种挑战更为出色，因为操作的每个步骤都需要进行沟通，转移或资源。这项工作旨在通过基于模型的学习来提高多代理控制的数据效率。我们考虑了代理商合作并仅与邻居进行当地交流的网络系统，并提出了基于模型的政策优化框架（DMPO）。在我们的方法中，每个代理都会学习一个动态模型，以预测未来的状态并通过通信广播其预测，然后在模型推出下训练策略。为了减轻模型生成数据的偏见，我们限制了用于产生近视推出的模型使用量，从而减少了模型生成的复合误差。为了使策略更新的独立性有关，我们引入了扩展的价值函数，理论上证明了由此产生的策略梯度是与真实策略梯度的紧密近似。我们在几个智能运输系统的基准上评估了我们的算法，这些智能运输系统是连接的自动驾驶汽车控制任务（FLOW和CACC）和自适应交通信号控制（ATSC）。经验结果表明，我们的方法可以实现卓越的数据效率，并使用真实模型匹配无模型方法的性能。
translated by 谷歌翻译
增强学习算法通常需要马尔可夫决策过程（MDP）中的状态和行动空间的有限度，并且在文献中已经对连续状态和动作空间的这种算法的适用性进行了各种努力。在本文中，我们表明，在非常温和的规律条件下（特别是仅涉及MDP的转换内核的弱连续性），通过量化状态和动作会聚到限制，Q-Learning用于标准BOREL MDP，而且此外限制满足最优性方程，其导致与明确的性能界限接近最优性，或者保证渐近最佳。我们的方法在（i）上建立了（i）将量化视为测量内核，因此将量化的MDP作为POMDP，（ii）利用Q-Learning的Q-Learning的近的最优性和收敛结果，并最终是有限状态的近最优态模型近似用于MDP的弱连续内核，我们展示对应于构造POMDP的固定点。因此，我们的论文提出了一种非常一般的收敛性和近似值，了解Q-Learning用于连续MDP的适用性。
translated by 谷歌翻译
随着自动驾驶行业的发展，自动驾驶汽车群体的潜在相互作用也随之增长。结合人工智能和模拟的进步，可以模拟此类组，并且可以学习控制内部汽车的安全模型。这项研究将强化学习应用于多代理停车场的问题，在那里，汽车旨在有效地停车，同时保持安全和理性。利用强大的工具和机器学习框架，我们以马尔可夫决策过程的形式与独立学习者一起设计和实施灵活的停车环境，从而利用多代理通信。我们实施了一套工具来进行大规模执行实验，从而取得了超过98.1％成功率的高达7辆汽车的模型，从而超过了现有的单代机构模型。我们还获得了与汽车在我们环境中表现出的竞争性和协作行为有关的几个结果，这些行为的密度和沟通水平各不相同。值得注意的是，我们发现了一种没有竞争的合作形式，以及一种“泄漏”的合作形式，在没有足够状态的情况下，代理商进行了协作。这种工作在自动驾驶和车队管理行业中具有许多潜在的应用，并为将强化学习应用于多机构停车场提供了几种有用的技术和基准。
translated by 谷歌翻译