城市地区的车辆移动性优化是智能城市和空间数据分析中的长期问题。鉴于复杂的城市情景和不可预测的社交活动，我们的工作侧重于开发移动顺序推荐系统，以最大限度地提高车辆服务提供商的盈利能力（例如，出租车司机）。特别是，我们将动态路由优化问题视为长期连续决策任务。提出了一种加强学习框架来解决这个问题，通过整合自检机制和深度神经网络进行客户拾取点监控。要考虑意外情况（例如，Covid-19爆发），我们的方法旨在通过自适应参数确定机制来处理相关的环境变化。根据Covid-19爆发前后的纽约市和附近的黄色出租车数据，我们进行了全面的实验，以评估我们方法的有效性。结果表明，从每小时到每周措施的结果表明，通过最先进的方法支持我们的方法的优越性（即，在出租车司机的盈利能力方面有超过98％的提高）。

“轨迹”是指由地理空间中的移动物体产生的迹线，通常由一系列按时间顺序排列的点表示，其中每个点由地理空间坐标集和时间戳组成。位置感应和无线通信技术的快速进步使我们能够收集和存储大量的轨迹数据。因此，许多研究人员使用轨迹数据来分析各种移动物体的移动性。在本文中，我们专注于“城市车辆轨迹”，这是指城市交通网络中车辆的轨迹，我们专注于“城市车辆轨迹分析”。城市车辆轨迹分析提供了前所未有的机会，可以了解城市交通网络中的车辆运动模式，包括以用户为中心的旅行经验和系统范围的时空模式。城市车辆轨迹数据的时空特征在结构上相互关联，因此，许多先前的研究人员使用了各种方法来理解这种结构。特别是，由于其强大的函数近似和特征表示能力，深度学习模型是由于许多研究人员的注意。因此，本文的目的是开发基于深度学习的城市车辆轨迹分析模型，以更好地了解城市交通网络的移动模式。特别是，本文重点介绍了两项研究主题，具有很高的必要性，重要性和适用性：下一个位置预测，以及合成轨迹生成。在这项研究中，我们向城市车辆轨迹分析提供了各种新型模型，使用深度学习。

在本文中，我们介绍了有关典型乘车共享系统中决策优化问题的强化学习方法的全面，深入的调查。涵盖了有关乘车匹配，车辆重新定位，乘车，路由和动态定价主题的论文。在过去的几年中，大多数文献都出现了，并且要继续解决一些核心挑战：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放式仿真环境，以促进进一步的研发。随后，我们讨论了有关该重要领域的强化学习研究的许多挑战和机会。

The high emission and low energy efficiency caused by internal combustion engines (ICE) have become unacceptable under environmental regulations and the energy crisis. As a promising alternative solution, multi-power source electric vehicles (MPS-EVs) introduce different clean energy systems to improve powertrain efficiency. The energy management strategy (EMS) is a critical technology for MPS-EVs to maximize efficiency, fuel economy, and range. Reinforcement learning (RL) has become an effective methodology for the development of EMS. RL has received continuous attention and research, but there is still a lack of systematic analysis of the design elements of RL-based EMS. To this end, this paper presents an in-depth analysis of the current research on RL-based EMS (RL-EMS) and summarizes the design elements of RL-based EMS. This paper first summarizes the previous applications of RL in EMS from five aspects: algorithm, perception scheme, decision scheme, reward function, and innovative training method. The contribution of advanced algorithms to the training effect is shown, the perception and control schemes in the literature are analyzed in detail, different reward function settings are classified, and innovative training methods with their roles are elaborated. Finally, by comparing the development routes of RL and RL-EMS, this paper identifies the gap between advanced RL solutions and existing RL-EMS. Finally, this paper suggests potential development directions for implementing advanced artificial intelligence (AI) solutions in EMS.

对同日发货（SDD）的需求在过去几年中迅速增加，并在Covid-19大流行期间特别蓬勃发展。快速增长并非没有挑战。 2016年，由于较低的成员资格和距离仓库的距离远远，某些少数民族社区被排除在接受亚马逊的SDD服务之外，提高了对公平的担忧。在本文中，我们研究了向客户提供公平的SDD服务的问题。服务区域被分成不同的区域。在一天中，客户请求SDD服务以及请求和交付位置的时机未提前知道。调度员动态分配车辆，以便在交付截止日期前将交付给予接受客户。除整体服务率（实用程序）外，我们还最大限度地提高了所有地区的最小区域服务率（公平性）。我们将问题模拟为多目标马尔可夫决策过程，并开发深度Q学习解决方案方法。我们介绍了从税率到实际服务的新颖改造，从而创造了一个稳定和有效的学习过程。计算结果证明了我们对在不同客户地理位置中的空间和时间内的不公平性的方法的有效性。我们还表明，这种有效性有效地与不同的仓库位置有效，提供业务，其中有机会从任何位置实现更好的公平性。此外，我们考虑忽略公平性在服务中的影响，结果表明，当客户对服务水平的期望很高时，我们的政策最终越优越。

非法车辆停车是世界上主要城市面临的常见城市问题，因为它导致空气污染和交通事故。政府高度依赖于积极的人类努力，以检测非法停车活动。然而，这种方法对于覆盖一个大城市来说，这一方法非常无效，因为警方必须巡逻整个城市道路。 Mobikike的大规模和高质量的共享自行车轨迹为我们提供了一个独特的机会，可以设计无处不在的非法停车检测方法，因为大多数非法停车处发生在路边，对自行车用户产生重大影响。检测结果可以指导巡逻计划，即将巡逻警察发送到具有更高的非法停车风险的地区，进一步提高巡逻效率。灵感来自这个想法，在建议的框架中采用了三个主要组件：1）〜{\ em轨迹预处理}，它过滤了异常GPS点，执行Map-匹配，并构建轨迹索引; 2）〜{\ em非法停车检测}，模拟正常轨迹，从评估轨迹提取特征，并利用基于试验的方法来发现非法停车事件; 3）〜{\ em巡逻计划}，它利用检测结果作为参考上下文，并将调度任务作为一种多智能体增强学习问题来指导巡逻警察。最后，提出了广泛的实验以验证非法停车检测的有效性，以及巡逻效率的提高。

本文通过组合有限的交通量和车辆轨迹数据来解决估计道路网络中链接流的问题。虽然循环检测器的流量量数据是链路流估计的常见数据源，但检测器仅涵盖链接的子集。如今，还合并了从车辆跟踪传感器收集的车辆轨迹数据。然而，轨迹数据通常很少，因为观察到的轨迹仅代表整个种群的一小部分，其中确切的采样率未知，并且可能在时空和时间上有所不同。这项研究提出了一个新颖的生成建模框架，在其中我们使用马尔可夫决策过程框架制定了车辆的链接到连接运动作为顺序决策问题，并训练代理商做出顺序决策以生成逼真的合成车辆轨迹。我们使用加强学习（RL）的方法来找到代理的最佳行为，基于哪些合成人口车辆轨迹可以生成以估算整个网络中的连接流。为了确保生成的人口车辆轨迹与观察到的交通量和轨迹数据一致，提出了两种基于逆强化学习和约束强化学习的方法。通过解决真实的道路网络中的链路流估计问题，通过这些基于RL的方法中的任何一个求解的提出的生成建模框架都可以验证。此外，我们执行全面的实验，以将性能与两种现有方法进行比较。结果表明，在现实情况下，提出的框架具有较高的估计准确性和鲁棒性，在现实情况下，未满足有关驾驶员的某些行为假设或轨迹数据的网络覆盖范围和渗透率较低。

旅行推销员问题（TSP）是许多实用变体的经典NP-HARD组合优化问题。 Lin-Kernighan-Helsgaun（LKH）算法是TSP的最先进的本地搜索算法之一，LKH-3是LKH的强大扩展，可以解决许多TSP变体。 LKH和LKH-3都将一个候选人与每个城市相关联，以提高算法效率，并具有两种不同的方法，称为$ \ alpha $ - 计算和Popmusic，以决定候选人集。在这项工作中，我们首先提出了一种可变策略加强LKH（VSR-LKH）算法，该算法将三种强化学习方法（Q-Learning，SARSA和Monte Carlo）与LKH算法结合在一起，以解决TSP。我们进一步提出了一种称为VSR-LKH-3的新算法，该算法将可变策略强化学习方法与LKH-3结合在一起，用于典型的TSP变体，包括带有时间窗口（TSPTW）和彩色TSP（CTSP）的TSP。所提出的算法取代了LKH和LKH-3中的不灵活的遍历操作，并让算法学会通过增强学习在每个搜索步骤中做出选择。 LKH和LKH-3都具有$ \ alpha $量或Popmusic方法，我们的方法都可以显着改善。具体而言，对236个公共和广泛使用的TSP基准的经验结果具有多达85,900个城市，证明了VSR-LKH的出色表现，扩展的VSR-LKH-3也显着超过了TSPTW和TSPTW和TSPTW和TSPTW的最新启发式方法CTSP。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

在带有电动车队的乘车系统中，充电是一个复杂的决策过程。大多数电动汽车（EV）出租车服务要求驾驶员做出利己主义决定，从而导致分散的临时充电策略。车辆之间通常缺乏或不共享移动性系统的当前状态，因此无法做出最佳的决定。大多数现有方法都不将时间，位置和持续时间结合到全面的控制算法中，也不适合实时操作。因此，我们提出了一种实时预测性充电方法，用于使用一个名为“闲置时间开发（ITX）”的单个操作员进行乘车服务，该方法预测了车辆闲置并利用这些时期来收获能量的时期。它依靠图形卷积网络和线性分配算法来设计最佳的车辆和充电站配对，以最大程度地提高利用的空闲时间。我们通过对纽约市现实世界数据集的广泛模拟研究评估了我们的方法。结果表明，就货币奖励功能而言，ITX的表现优于所有基线方法至少提高5％（相当于6,000个车辆操作的$ 70,000），该奖励奖励功能的建模旨在复制现实世界中乘车系统的盈利能力。此外，与基线方法相比，ITX可以将延迟至少减少4.68％，并且通常通过促进顾客在整个车队中更好地传播乘客的舒适度。我们的结果还表明，ITX使车辆能够在白天收获能量，稳定电池水平，并增加需求意外激增的弹性。最后，与表现最佳的基线策略相比，峰值负载减少了17.39％，这使网格操作员受益，并为更可持续的电网使用铺平了道路。

乘客和货物交付的可行性服务服务的无处不在的增长在运输系统领域内带来了各种挑战和机遇。因此，正在开发智能运输系统以最大限度地提高运营盈利能力，用户的便利性和环境可持续性。与riveShiening的最后一次交付的增长呼吁进行高效且凝聚力的系统，运输乘客和货物。现有方法使用静态路由方法来解决考虑到请求的需求和在路线规划期间车辆之间的货物转移。在本文中，我们为合并的商品和乘客运输提供了一种动态和需求意识的舰队管理框架，该乘客运输能够通过允许司机谈判到相互合适的价格中的决策过程中的乘客和司机。乘客接受/拒绝，（2）货物与车辆的匹配，以及货物的多跳转移，（3）基于该插入成本，在沿着它们的途径来动态地为每个车辆提供最佳路线，从而确定匹配的插入成本（4）使用深度加强学习（RL），（5）允许在每个车辆的分布推断，同时共同优化舰队目标，向预期的高乘客和商品需求调度怠速车辆。我们所提出的模型可在每个车辆内独立部署，因为这最大限度地减少了与分布式系统的增长相关的计算成本，并将其民主化决策对每个人进行决策。与各种车辆类型，商品和乘客效用的仿真表明，与不考虑联合负载运输或动态多跳路线规划的其他方法相比，我们的方法的有效性。

紧急车辆（EMV）在应对城市地区的医疗紧急情况和火灾爆发等时间关键电话方面起着至关重要的作用。现有的EMV调度方法通常会根据历史流量数据数据和设计流量信号相应地优化路线；但是，我们仍然缺乏一种系统的方法来解决EMV路由和流量信号控制之间的耦合。在本文中，我们提出了EMVLIGHT，这是一个分散的加固学习（RL）框架，用于联合动态EMV路由和交通信号的先发制人。我们采用具有政策共享和空间折现因子的多代理优势行为者 - 批评方法。该框架通过多级RL代理的创新设计和新型的基于压力的奖励功能来解决EMV导航和交通信号控制之间的耦合。拟议的方法使EMVLIGHT能够学习网络级的合作交通信号相阶段阶段策略，这些策略不仅减少EMV旅行时间，而且还缩短了非EMV的旅行时间。基于仿真的实验表明，EMVLIGHT可使EMV旅行时间减少$ 42.6 \％$，以及与现有方法相比，$ 23.5 \％$短的平均旅行时间。

The electrification of shared mobility has become popular across the globe. Many cities have their new shared e-mobility systems deployed, with continuously expanding coverage from central areas to the city edges. A key challenge in the operation of these systems is fleet rebalancing, i.e., how EVs should be repositioned to better satisfy future demand. This is particularly challenging in the context of expanding systems, because i) the range of the EVs is limited while charging time is typically long, which constrain the viable rebalancing operations; and ii) the EV stations in the system are dynamically changing, i.e., the legitimate targets for rebalancing operations can vary over time. We tackle these challenges by first investigating rich sets of data collected from a real-world shared e-mobility system for one year, analyzing the operation model, usage patterns and expansion dynamics of this new mobility mode. With the learned knowledge we design a high-fidelity simulator, which is able to abstract key operation details of EV sharing at fine granularity. Then we model the rebalancing task for shared e-mobility systems under continuous expansion as a Multi-Agent Reinforcement Learning (MARL) problem, which directly takes the range and charging properties of the EVs into account. We further propose a novel policy optimization approach with action cascading, which is able to cope with the expansion dynamics and solve the formulated MARL. We evaluate the proposed approach extensively, and experimental results show that our approach outperforms the state-of-the-art, offering significant performance gain in both satisfied demand and net revenue.

巴士系统是可持续城市交通的关键组成部分。然而，公交车队的操作本质上是不稳定的，总线串行已成为泛滥的现象，破坏了公交系统的效率和可靠性。最近的研究表明，多智能体增强学习（MARL）应用了高效的车载控制，以避免公共汽车束缚。然而，现有的研究基本上忽略了过境系统中的各种事件，扰动和异常导致的稳健性问题，这在传输现实世界部署/应用程序的模型时至关重要。在这项研究中，我们将隐式分位式网络和元学习集成了开发分布式Marl框架 - IQNC-M - 以学习连续控制。所提出的IQNC-M框架通过更好地处理实时运输操作中的各种不确定性/事件来实现高效可靠的控制决策。具体而言，我们介绍一个可解释的元学习模块，将全球信息纳入分配MARL框架，这是一种有效的解决方案，以规避过境系统中的信用分配问题。此外，我们设计了一个特定的学习过程，以培训框架内的每个代理，以追求强大的控制策略。我们基于现实世界总线服务和乘客需求数据开发仿真环境，并评估传统控股型号和最先进的MARL模型的建议框架。我们的研究结果表明，建议的IQNC-M框架可以有效处理各种极端事件，如交通状态扰动，服务中断和需求浪涌，从而提高了系统的效率和可靠性。

本文开发了用于多交叉路口自适应交通信号控制（TSC）的分散增强学习（RL）方案，称为“CVlight”，其利用从连接的车辆（CVS）收集的数据。国家和奖励设计促进了代理商之间的协调，并考虑由CVS收集的旅行延误。提出了一种新颖的算法，非对称优势演员 - 评论家（EB-A2C），其中CV和非CV信息都用于培训批评网络，而仅使用CV信息来执行最佳信号定时。综合实验表明，CVlight的优越性在一个2×2合成道路网络下的最先进的算法，各种交通需求模式和穿透速率。然后，学习的政策被可视化以进一步展示ASYM-A2C的优点。采用火车前技术来提高CVlight的可扩展性，这显着缩短了培训时间，并在5×5路网络下表现出性能的优势。在美国宾夕法尼亚州宾夕法尼亚州州学院的2×2路网络上进行了一个案例研究，以进一步展示了在现实世界方案下所提出的算法的有效性。与其他基线模型相比，训练有素的CVlight代理可以仅基于CV数据有效地控制多个交叉点，达到最佳性能，特别是在低CV渗透率下。

我们利用离线增强学习（RL）模型在现实世界中有预算限制的情况下进行连续的目标促销。在我们的应用程序中，移动应用程序旨在通过向客户发送现金奖金并在每个时间段内控制此类现金奖金的成本来促进客户保留。为了实现多任务目标，我们提出了预算限制的加强学习，以进行顺序促销（BCRLSP）框架，以确定要发送给用户的现金奖金的价值。我们首先找出目标策略和相关的Q值，这些Q值是使用RL模型最大化用户保留率的。然后添加线性编程（LP）模型以满足促销成本的限制。我们通过最大化从RL模型中汲取的动作的Q值来解决LP问题。在部署期间，我们将离线RL模型与LP模型相结合，以在预算约束下生成强大的策略。使用在线和离线实验，我们通过证明BCRLSP达到的长期客户保留率和比各种基线更低的成本来证明我们方法的功效。利用近乎实时的成本控制方法，提出的框架可以轻松地使用嘈杂的行为政策和/或满足灵活的预算约束。

我们考虑优化无人机中心的分布操作的问题，该驱动器调度无人机对不同地理位置产生随机需求的医疗用品的随机需求。无人机交付是一种创新方法，引入了许多益处，例如低接触的递送，从而降低了大流行和可染色疫苗的传播。虽然我们专注于这项工作的医疗供应，但无人机交付适用于许多其他物品，包括食品，邮政包和电子商务。在本文中，我们的目标是解决与不同地理位置随机需求相关的无人机交付挑战。我们认为与需要不同飞行范围的地理位置的不同课程，其与在无人机电池中保持的电荷量直接相关。我们根据从无人机中心的距离对随机需求进行分类，使用Markov决策过程来模拟问题，并使用代表突出的无人机交付公司的现实数据进行计算测试。我们使用强化学习方法解决问题，并与使用动态编程的确切解决方案相比，其高性能。最后，我们分析结果并提供管理无人机集线器操作的见解。

在边缘计算中，必须根据用户移动性迁移用户的服务配置文件。已经提出了强化学习（RL）框架。然而，这些框架并不考虑偶尔的服务器故障，尽管很少会阻止Edge Computing用户的延迟敏感应用程序（例如自动驾驶和实时障碍物检测）的平稳和安全功能，因为用户的计算作业不再是完全的。由于这些故障的发生率很低，因此，RL算法本质上很难为数据驱动的算法学习针对典型事件和罕见事件方案的最佳服务迁移解决方案。因此，我们引入了罕见的事件自适应弹性框架火，该框架将重要性采样集成到加强学习中以放置备份服务。我们以与其对价值函数的贡献成正比的稀有事件进行采样，以学习最佳政策。我们的框架平衡了服务迁移和迁移成本之间的迁移权衡，与失败的成本以及备份放置和移民的成本。我们提出了一种基于重要性抽样的Q-学习算法，并证明其界限和收敛到最佳性。随后，我们提出了新的资格轨迹，我们的算法的线性函数近似和深Q学习版本，以确保其扩展到现实世界情景。我们扩展框架，以适应具有不同风险承受失败的用户。最后，我们使用痕量驱动的实验表明我们的算法在发生故障时会降低成本。

A fundamental question in any peer-to-peer ride-sharing system is how to, both effectively and efficiently, meet the request of passengers to balance the supply and demand in real time. On the passenger side, traditional approaches focus on pricing strategies by increasing the probability of users' call to adjust the distribution of demand. However, previous methods do not take into account the impact of changes in strategy on future supply and demand changes, which means drivers are repositioned to different destinations due to passengers' calls, which will affect the driver's income for a period of time in the future. Motivated by this observation, we make an attempt to optimize the distribution of demand to handle this problem by learning the long-term spatio-temporal values as a guideline for pricing strategy. In this study, we propose an offline deep reinforcement learning based method focusing on the demand side to improve the utilization of transportation resources and customer satisfaction. We adopt a spatio-temporal learning method to learn the value of different time and location, then incentivize the ride requests of passengers to adjust the distribution of demand to balance the supply and demand in the system. In particular, we model the problem as a Markov Decision Process (MDP).

我们研究了在国内捐助服务服务中引起的车辆路由问题的随机变体。我们考虑的问题结合了以下属性。就客户是随机的，但不仅限于预定义的集合，因此请求服务的客户是可变的，因为它们可能出现在给定的服务领域的任何地方。此外，需求量是随机的，并且在拜访客户时会观察到。目的是在满足车辆能力和时间限制的同时最大化预期的服务需求。我们将此问题称为VRP，具有高度可变的客户基础和随机需求（VRP-VCSD）。对于这个问题，我们首先提出了马尔可夫决策过程（MDP）的配方，该制定代表了一位决策者建立所有车辆路线的经典集中决策观点。虽然结果配方却很棘手，但它为我们提供了开发新的MDP公式的地面，我们称其为部分分散。在此公式中，动作空间被车辆分解。但是，由于我们执行相同的车辆特定政策，同时优化集体奖励，因此权力下放是不完整的。我们提出了几种策略，以减少与部分分散的配方相关的国家和行动空间的维度。这些产生了一个更容易解决的问题，我们通过加强学习来解决。特别是，我们开发了一种称为DECQN的Q学习算法，具有最先进的加速技术。我们进行了彻底的计算分析。结果表明，DECN的表现大大优于三个基准策略。此外，我们表明我们的方法可以与针对VRP-VCSD的特定情况开发的专业方法竞争，在该情况下，客户位置和预期需求是事先知道的。