充电站在开发充电基础设施的区域中的放置是电动汽车未来成功（EV）的关键组成部分。在纽约的奥尔巴尼县，EV人口的预期增加需要额外的充电站，以在整个充电基础设施中保持足够的效率。鉴于预测的充电需求和当前的充电位置，增强学习（RL）的新型应用程序（RL）能够找到新的充电站的最佳位置。影响收费需求预测的最重要因素包括交通密度，EV登记和靠近某些类型的公共建筑。建议的RL框架可以完善并应用于世界各地的城市，以优化充电站的放置。

从传统流动性到电气性的过渡在很大程度上取决于为基础设施的可用性和最佳放置。本文研究了城市地区充电站的最佳位置。我们最大程度地提高了该区域的充电基础设施供应，并在设定预算限制的同时最大程度地减少等待，旅行和充电时间。此外，我们还包括在家中收取车辆的可能性，以更加精致地估计整个城市地区的实际充电需求。我们将充电站问题的放置作为非线性整数优化问题，该问题寻求充电站的最佳位置和不同充电类型的充电堆数量。我们设计了一种新颖的深钢筋学习方法来解决充电站放置问题（PCRL）。与五个基线相比，对现实世界数据集的广泛实验表明，PCRL如何减少等待时间和旅行时间，同时增加收费计划的好处。与现有的基础设施相比，我们可以将等待时间最多减少97％，并将收益提高到497％。

道路维护规划是道路资产管理的一个组成部分。维护和康复（M＆R）实践中的主要挑战之一是确定维护类型和时间。本研究提出了一种基于长期路面性能（LTPP）数据库的强化学习（RL）的框架，以确定M＆R实践的类型和时间。首先以所提出的算法开发预测DNN模型，其用作RL算法的环境。对于RL模型的策略估计，开发了DQN和PPO模型。然而，由于更好的收敛性和更高的样本效率，终点被选中了PPO。本研究中使用的指标是国际粗糙度指数（IRI）和车辙深度（RD）。最初，我们将裂化度量（cm）视为第三指示器，但是由于与其他指标相比的数据少得多，因此被排除在外，导致结果的准确性较低。此外，在成本效益计算（奖励）中，我们考虑了M＆R治疗的经济和环境影响。使用Palate 2.0软件评估了成本和环境影响。我们的方法是在德克萨斯州德克萨斯州的23公里长的六车道高速公路的假设案例研究中进行了测试。结果提出了一个20年的M＆R计划，其中道路状况保持在出色的条件范围。由于道路的早期阶段处于良好的服务水平，因此在第一年不需要重型维护实践。后来，经过重型的M＆R作用，有几个1-2岁的治疗方法。所有这些都表明拟议的计划具有逻辑结果。决策者和运输机构可以使用此计划进行更好的维护实践，以防止预算浪费，同时最大限度地减少环境影响。

在本文中，多种子体增强学习用于控制混合能量存储系统，通过最大化可再生能源和交易的价值来降低微电网的能量成本。该代理商必须学习在波动需求，动态批发能源价格和不可预测的可再生能源中，控制三种不同类型的能量存储系统。考虑了两种案例研究：首先看能量存储系统如何在动态定价下更好地整合可再生能源发电，第二种与这些同一代理商如何与聚合剂一起使用，以向自私外部微电网销售能量的能量减少自己的能源票据。这项工作发现，具有分散执行的多代理深度确定性政策梯度的集中学习及其最先进的变体允许多种代理方法显着地比来自单个全局代理的控制更好。还发现，在多种子体方法中使用单独的奖励功能比使用单个控制剂更好。还发现能够与其他微电网交易，而不是卖回实用电网，也发现大大增加了网格的储蓄。

The electrification of shared mobility has become popular across the globe. Many cities have their new shared e-mobility systems deployed, with continuously expanding coverage from central areas to the city edges. A key challenge in the operation of these systems is fleet rebalancing, i.e., how EVs should be repositioned to better satisfy future demand. This is particularly challenging in the context of expanding systems, because i) the range of the EVs is limited while charging time is typically long, which constrain the viable rebalancing operations; and ii) the EV stations in the system are dynamically changing, i.e., the legitimate targets for rebalancing operations can vary over time. We tackle these challenges by first investigating rich sets of data collected from a real-world shared e-mobility system for one year, analyzing the operation model, usage patterns and expansion dynamics of this new mobility mode. With the learned knowledge we design a high-fidelity simulator, which is able to abstract key operation details of EV sharing at fine granularity. Then we model the rebalancing task for shared e-mobility systems under continuous expansion as a Multi-Agent Reinforcement Learning (MARL) problem, which directly takes the range and charging properties of the EVs into account. We further propose a novel policy optimization approach with action cascading, which is able to cope with the expansion dynamics and solve the formulated MARL. We evaluate the proposed approach extensively, and experimental results show that our approach outperforms the state-of-the-art, offering significant performance gain in both satisfied demand and net revenue.

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.

软件测试活动旨在找到软件产品的可能缺陷，并确保该产品满足其预期要求。一些软件测试接近的方法缺乏自动化或部分自动化，这增加了测试时间和整体软件测试成本。最近，增强学习（RL）已成功地用于复杂的测试任务中，例如游戏测试，回归测试和测试案例优先级，以自动化该过程并提供持续的适应。从业者可以通过从头开始实现RL算法或使用RL框架来使用RL。开发人员已广泛使用这些框架来解决包括软件测试在内的各个领域中的问题。但是，据我们所知，尚无研究从经验上评估RL框架中实用算法的有效性和性能。在本文中，我们凭经验研究了精心选择的RL算法在两个重要的软件测试任务上的应用：在连续集成（CI）和游戏测试的上下文中测试案例的优先级。对于游戏测试任务，我们在简单游戏上进行实验，并使用RL算法探索游戏以检测错误。结果表明，一些选定的RL框架，例如Tensorforce优于文献的最新方法。为了确定测试用例的优先级，我们在CI环境上运行实验，其中使用来自不同框架的RL算法来对测试用例进行排名。我们的结果表明，在某些情况下，预实算算法之间的性能差异很大，激励了进一步的研究。此外，建议对希望选择RL框架的研究人员进行一些基准问题的经验评估，以确保RL算法按预期执行。

由于交通的固有复杂性和不确定性，自主驾驶决策是一项具有挑战性的任务。例如，相邻的车辆可能随时改变其车道或超越，以通过慢速车辆或帮助交通流量。预期周围车辆的意图，估算其未来状态并将其整合到自动化车辆的决策过程中，可以提高复杂驾驶场景中自动驾驶的可靠性。本文提出了一种基于预测的深入强化学习（PDRL）决策模型，该模型在公路驾驶决策过程中考虑了周围车辆的操纵意图。该模型是使用真实流量数据训练的，并通过模拟平台在各种交通条件下进行了测试。结果表明，与深入的增强学习（DRL）模型相比，提出的PDRL模型通过减少碰撞数量来改善决策绩效，从而导致更安全的驾驶。

电动汽车快速采用（EVS）要求广泛安装EV充电站。为了最大限度地提高充电站的盈利能力，提供充电和电网服务的智能控制器实际上很需要。然而，由于不确定的到达时间和EVS的充电需求，确定最佳充电时间表具有挑战性。在本文中，我们提出了一种新的集中分配和分散执行（CADE）强化学习（RL）框架，以最大限度地提高收费站的利润。在集中分配过程中，EVS被分配给等待或充电点。在分散的执行过程中，每个充电器都在学习来自共享重放内存的动作值函数的同时使其自己的充电/放电决定。该CADE框架显着提高了RL算法的可扩展性和采样效率。数值结果表明，所提出的CADE框架既有计算高效且可扩展，显着优于基线模型预测控制（MPC）。我们还提供了对学习的动作值的深入分析，以解释加强学习代理的内部工作。

智能城市的智能交通灯可以最佳地减少交通拥堵。在这项研究中，我们采用了加强学习，培训了城市移动模拟器的红绿灯的控制代理。由于现有工程的差异，除了基于价值的方法之外，利用基于策略的深度加强学习方法，近端策略优化（PPO），例如Deep Q网络（DQN）和双DQN（DDQN）。首先，将获得PPO的最佳政策与来自DQN和DDQN的PPO相比。发现PPO的政策比其他政策更好。接下来，而不是固定间隔的流量光阶段，我们采用具有可变时间间隔的光相位，这导致更好的策略来传递流量流。然后，研究了环境和行动干扰的影响，以展示基于学习的控制器是强大的。最后，我们考虑不平衡的交通流量，并发现智能流量可以适度地对不平衡的流量方案执行，尽管它仅从平衡流量方案中了解最佳策略。

在带有电动车队的乘车系统中，充电是一个复杂的决策过程。大多数电动汽车（EV）出租车服务要求驾驶员做出利己主义决定，从而导致分散的临时充电策略。车辆之间通常缺乏或不共享移动性系统的当前状态，因此无法做出最佳的决定。大多数现有方法都不将时间，位置和持续时间结合到全面的控制算法中，也不适合实时操作。因此，我们提出了一种实时预测性充电方法，用于使用一个名为“闲置时间开发（ITX）”的单个操作员进行乘车服务，该方法预测了车辆闲置并利用这些时期来收获能量的时期。它依靠图形卷积网络和线性分配算法来设计最佳的车辆和充电站配对，以最大程度地提高利用的空闲时间。我们通过对纽约市现实世界数据集的广泛模拟研究评估了我们的方法。结果表明，就货币奖励功能而言，ITX的表现优于所有基线方法至少提高5％（相当于6,000个车辆操作的$ 70,000），该奖励奖励功能的建模旨在复制现实世界中乘车系统的盈利能力。此外，与基线方法相比，ITX可以将延迟至少减少4.68％，并且通常通过促进顾客在整个车队中更好地传播乘客的舒适度。我们的结果还表明，ITX使车辆能够在白天收获能量，稳定电池水平，并增加需求意外激增的弹性。最后，与表现最佳的基线策略相比，峰值负载减少了17.39％，这使网格操作员受益，并为更可持续的电网使用铺平了道路。

“轨迹”是指由地理空间中的移动物体产生的迹线，通常由一系列按时间顺序排列的点表示，其中每个点由地理空间坐标集和时间戳组成。位置感应和无线通信技术的快速进步使我们能够收集和存储大量的轨迹数据。因此，许多研究人员使用轨迹数据来分析各种移动物体的移动性。在本文中，我们专注于“城市车辆轨迹”，这是指城市交通网络中车辆的轨迹，我们专注于“城市车辆轨迹分析”。城市车辆轨迹分析提供了前所未有的机会，可以了解城市交通网络中的车辆运动模式，包括以用户为中心的旅行经验和系统范围的时空模式。城市车辆轨迹数据的时空特征在结构上相互关联，因此，许多先前的研究人员使用了各种方法来理解这种结构。特别是，由于其强大的函数近似和特征表示能力，深度学习模型是由于许多研究人员的注意。因此，本文的目的是开发基于深度学习的城市车辆轨迹分析模型，以更好地了解城市交通网络的移动模式。特别是，本文重点介绍了两项研究主题，具有很高的必要性，重要性和适用性：下一个位置预测，以及合成轨迹生成。在这项研究中，我们向城市车辆轨迹分析提供了各种新型模型，使用深度学习。

本文提出了一个基于加固学习（RL）的电动连接车辆（CV）的生态驾驶框架，以提高信号交叉点的车辆能效。通过整合基于型号的汽车策略，改变车道的政策和RL政策来确保车辆代理的安全操作。随后，制定了马尔可夫决策过程（MDP），该过程使车辆能够执行纵向控制和横向决策，从而共同优化了交叉口附近CVS的CAR跟踪和改变车道的行为。然后，将混合动作空间参数化为层次结构，从而在动态交通环境中使用二维运动模式训练代理。最后，我们所提出的方法从基于单车的透视和基于流的透视图中在Sumo软件中进行了评估。结果表明，我们的策略可以通过学习适当的动作方案来大大减少能源消耗，而不会中断其他人类驱动的车辆（HDVS）。

新一代网络威胁的兴起要求更复杂和智能的网络防御解决方案，配备了能够学习在没有人力专家知识的情况下做出决策的自治代理。近年来提出了用于自动网络入侵任务的几种强化学习方法（例如，马尔可夫）。在本文中，我们介绍了一种新一代的网络入侵检测方法，将基于Q学习的增强学习与用于网络入侵检测的深馈前神经网络方法相结合。我们提出的深度Q-Learning（DQL）模型为网络环境提供了正在进行的自动学习能力，该网络环境可以使用自动试验误差方法检测不同类型的网络入侵，并连续增强其检测能力。我们提供涉及DQL模型的微调不同的超参数的细节，以获得更有效的自学。根据我们基于NSL-KDD数据集的广泛实验结果，我们确认折扣因子在250次训练中设定为0.001，产生了最佳的性能结果。我们的实验结果还表明，我们所提出的DQL在检测不同的入侵课程和优于其他类似的机器学习方法方面的高度有效。

乘客和货物交付的可行性服务服务的无处不在的增长在运输系统领域内带来了各种挑战和机遇。因此，正在开发智能运输系统以最大限度地提高运营盈利能力，用户的便利性和环境可持续性。与riveShiening的最后一次交付的增长呼吁进行高效且凝聚力的系统，运输乘客和货物。现有方法使用静态路由方法来解决考虑到请求的需求和在路线规划期间车辆之间的货物转移。在本文中，我们为合并的商品和乘客运输提供了一种动态和需求意识的舰队管理框架，该乘客运输能够通过允许司机谈判到相互合适的价格中的决策过程中的乘客和司机。乘客接受/拒绝，（2）货物与车辆的匹配，以及货物的多跳转移，（3）基于该插入成本，在沿着它们的途径来动态地为每个车辆提供最佳路线，从而确定匹配的插入成本（4）使用深度加强学习（RL），（5）允许在每个车辆的分布推断，同时共同优化舰队目标，向预期的高乘客和商品需求调度怠速车辆。我们所提出的模型可在每个车辆内独立部署，因为这最大限度地减少了与分布式系统的增长相关的计算成本，并将其民主化决策对每个人进行决策。与各种车辆类型，商品和乘客效用的仿真表明，与不考虑联合负载运输或动态多跳路线规划的其他方法相比，我们的方法的有效性。

由于新的数据智能技术，仓库管理系统一直在不断发展和改进。但是，许多当前的优化已应用于特定情况，或者非常需要手动相互作用。这是强化学习技术发挥作用的地方，提供自动化和适应当前优化政策的能力。在本文中，我们介绍了一个可自定义的环境，它概括了用于强化学习的仓库模拟的定义。我们还验证了这种环境，以防止最新的增强学习算法，并将这些结果与人类和随机政策进行比较。

机器学习算法中多个超参数的最佳设置是发出大多数可用数据的关键。为此目的，已经提出了几种方法，例如进化策略，随机搜索，贝叶斯优化和启发式拇指规则。在钢筋学习（RL）中，学习代理在与其环境交互时收集的数据的信息内容严重依赖于许多超参数的设置。因此，RL算法的用户必须依赖于基于搜索的优化方法，例如网格搜索或Nelder-Mead单简单算法，这对于大多数R1任务来说是非常效率的，显着减慢学习曲线和离开用户的速度有目的地偏见数据收集的负担。在这项工作中，为了使RL算法更加用户独立，提出了一种使用贝叶斯优化的自主超参数设置的新方法。来自过去剧集和不同的超参数值的数据通过执行行为克隆在元学习水平上使用，这有助于提高最大化获取功能的加强学习变体的有效性。此外，通过紧密地整合在加强学习代理设计中的贝叶斯优化，还减少了收敛到给定任务的最佳策略所需的状态转换的数量。与其他手动调整和基于优化的方法相比，计算实验显示了有希望的结果，这突出了改变算法超级参数来增加所生成数据的信息内容的好处。

在本文中，我们介绍了有关典型乘车共享系统中决策优化问题的强化学习方法的全面，深入的调查。涵盖了有关乘车匹配，车辆重新定位，乘车，路由和动态定价主题的论文。在过去的几年中，大多数文献都出现了，并且要继续解决一些核心挑战：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放式仿真环境，以促进进一步的研发。随后，我们讨论了有关该重要领域的强化学习研究的许多挑战和机会。

自早期以来，针对病毒的疫苗一直是小时的需求。但是，很难（准时）将疫苗有效地分配给一个国家的所有角落，尤其是在大流行期间。考虑到人口的广泛，多元化的社区以及智慧社会的需求，有效地在任何国家/国家中优化疫苗分配策略是一项重要任务。尽管各种疫苗管理站点的数据（大数据）大量可以开采，以获得有关大规模疫苗接种驱动器的宝贵见解，但很少有尝试彻底改变传统的大规模疫苗接种运动来减轻社会经济危机大流行国家。在本文中，我们在研究和实验中弥合了这一差距。我们收集公开可用的每日疫苗接种数据，并仔细分析以产生意义上的见解和预测。我们提出了一个新颖的框架，利用了我们称为疫苗的监督学习和强化学习（RL），该学习能够学习一个国家状态下预测疫苗接种的需求，并建议该州的最佳疫苗分配以最低成本采购和供应。目前，我们的框架接受了美国疫苗接种数据的训练和测试。

共享的电子移动服务已被广泛测试和在全球城市中驾驶，并且已经编织成现代城市规划的结构。本文研究了这些系统中的实用而重要的问题：如何在空间和时间跨空间和时间部署和管理其基础架构，以便在可持续的盈利能力的同时对用户无处不在。然而，在现实世界的系统中，评估不同部署策略的性能，然后找到最佳计划是非常昂贵的，因为它通常是不可行的，可以对试用和错误进行许多迭代。我们通过设计高保真仿真环境来解决这一目标，该环境摘要在细粒度下共享电子移动系统的关键操作细节，并使用从现实世界中收集的数据进行校准。这使我们能够尝试任意部署计划来学习在实际在实际系统中实施任何内容之前的特定上下文。特别是，我们提出了一种新的多代理神经检索方法，其中我们设计了一个分层控制器以产生暂定部署计划。然后使用多模拟范例，即并行评估的生成的部署计划进行测试，其中结果用于用深增强学习训练控制器。通过这种闭环，控制器可以被引导以在将来的迭代中产生更好的部署计划的概率。在我们的仿真环境中，已经广泛评估了所提出的方法，实验结果表明它优于基于基于基于基于的基于基于基于的启发式的服务覆盖范围和净收入的方法。