如最近的研究所示，支持机器智能的系统容易受到对抗性操纵或自然分配变化产生的测试案例的影响。这引起了人们对现实应用程序部署机器学习算法的极大关注，尤其是在自动驾驶（AD）等安全性领域中。另一方面，由于自然主义场景的传统广告测试需要数亿英里，这是由于现实世界中安全关键方案的高度和稀有性。结果，已经探索了几种自动驾驶评估方法，但是，这些方法通常是基于不同的仿真平台，安全性 - 关键的情况的类型，场景生成算法和驾驶路线变化的方法。因此，尽管在自动驾驶测试方面进行了大量努力，但在相似条件下，比较和了解不同测试场景产生算法和测试机制的有效性和效率仍然是一项挑战。在本文中，我们旨在提供第一个统一的平台Safebench，以整合不同类型的安全性测试方案，场景生成算法以及其他变体，例如驾驶路线和环境。同时，我们实施了4种基于深入学习的AD算法，具有4种类型的输入（例如，鸟类视图，相机，相机），以对SafeBench进行公平的比较。我们发现，我们的生成的测试场景确实更具挑战性，并观察到在良性和关键安全测试方案下的广告代理的性能之间的权衡。我们认为，我们的统一平台安全基地用于大规模和有效的自动驾驶测试，将激发新的测试场景生成和安全AD算法的开发。 SafeBench可从https://safebench.github.io获得。

安全驾驶需要人类和智能代理的多种功能，例如无法看到环境的普遍性，对周围交通的安全意识以及复杂的多代理设置中的决策。尽管强化学习取得了巨大的成功（RL），但由于缺乏集成的环境，大多数RL研究工作分别研究了每个能力。在这项工作中，我们开发了一个名为MetAdrive的新驾驶模拟平台，以支持对机器自治的可概括增强学习算法的研究。 Metadrive具有高度的组成性，可以从程序生成和实际数据导入的实际数据中产生无限数量的不同驾驶场景。基于Metadrive，我们在单一代理和多代理设置中构建了各种RL任务和基线，包括在看不见的场景，安全探索和学习多机构流量的情况下进行基准标记。对程序生成的场景和现实世界情景进行的概括实验表明，增加训练集的多样性和大小会导致RL代理的推广性提高。我们进一步评估了元数据环境中各种安全的增强学习和多代理增强学习算法，并提供基准。源代码，文档和演示视频可在\ url {https://metadriverse.github.io/metadrive}上获得。

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

High-quality traffic flow generation is the core module in building simulators for autonomous driving. However, the majority of available simulators are incapable of replicating traffic patterns that accurately reflect the various features of real-world data while also simulating human-like reactive responses to the tested autopilot driving strategies. Taking one step forward to addressing such a problem, we propose Realistic Interactive TrAffic flow (RITA) as an integrated component of existing driving simulators to provide high-quality traffic flow for the evaluation and optimization of the tested driving strategies. RITA is developed with fidelity, diversity, and controllability in consideration, and consists of two core modules called RITABackend and RITAKit. RITABackend is built to support vehicle-wise control and provide traffic generation models from real-world datasets, while RITAKit is developed with easy-to-use interfaces for controllable traffic generation via RITABackend. We demonstrate RITA's capacity to create diversified and high-fidelity traffic simulations in several highly interactive highway scenarios. The experimental findings demonstrate that our produced RITA traffic flows meet all three design goals, hence enhancing the completeness of driving strategy evaluation. Moreover, we showcase the possibility for further improvement of baseline strategies through online fine-tuning with RITA traffic flows.

强化学习（RL）已证明可以在各种任务中达到超级人类水平的表现。但是，与受监督的机器学习不同，将其推广到各种情况的学习策略仍然是现实世界中最具挑战性的问题之一。自主驾驶（AD）提供了一个多方面的实验领域，因为有必要在许多变化的道路布局和可能的交通情况大量分布中学习正确的行为，包括个人驾驶员个性和难以预测的交通事件。在本文中，我们根据可配置，灵活和性能的代码库为AD提出了一个具有挑战性的基准。我们的基准测试使用了随机场景生成器的目录，包括用于道路布局和交通变化的多种机制，不同的数值和视觉观察类型，不同的动作空间，不同的车辆模型，并允许在静态场景定义下使用。除了纯粹的算法见解外，我们面向应用程序的基准还可以更好地理解设计决策的影响，例如行动和观察空间对政策的普遍性。我们的基准旨在鼓励研究人员提出能够在各种情况下成功概括的解决方案，这是当前RL方法失败的任务。基准的代码可在https://github.com/seawee1/driver-dojo上获得。

自动驾驶在过去二十年中吸引了重要的研究兴趣，因为它提供了许多潜在的好处，包括释放驾驶和减轻交通拥堵的司机等。尽管进展有前途，但车道变化仍然是自治车辆（AV）的巨大挑战，特别是在混合和动态的交通方案中。最近，强化学习（RL）是一种强大的数据驱动控制方法，已被广泛探索了在令人鼓舞的效果中的通道中的车道改变决策。然而，这些研究的大多数研究专注于单车展，并且在多个AVS与人类驱动车辆（HDV）共存的情况下，道路变化已经受到稀缺的关注。在本文中，我们在混合交通公路环境中制定了多个AVS的车道改变决策，作为多功能增强学习（Marl）问题，其中每个AV基于相邻AV的动作使车道变化的决定和HDV。具体地，使用新颖的本地奖励设计和参数共享方案开发了一种多代理优势演员批评网络（MA2C）。特别是，提出了一种多目标奖励功能来纳入燃油效率，驾驶舒适度和自主驾驶的安全性。综合实验结果，在三种不同的交通密度和各级人类司机侵略性下进行，表明我们所提出的Marl框架在效率，安全和驾驶员舒适方面始终如一地优于几个最先进的基准。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

自动化驾驶系统（ADSS）近年来迅速进展。为确保这些系统的安全性和可靠性，在未来的群心部署之前正在进行广泛的测试。测试道路上的系统是最接近真实世界和理想的方法，但它非常昂贵。此外，使用此类现实世界测试覆盖稀有角案件是不可行的。因此，一种流行的替代方案是在一些设计精心设计的具有挑战性场景中评估广告的性能，A.k.a.基于场景的测试。高保真模拟器已广泛用于此设置中，以最大限度地提高测试的灵活性和便利性 - 如果发生的情况。虽然已经提出了许多作品，但为测试特定系统提供了各种框架/方法，但这些作品之间的比较和连接仍然缺失。为了弥合这一差距，在这项工作中，我们在高保真仿真中提供了基于场景的测试的通用制定，并对现有工作进行了文献综述。我们进一步比较了它们并呈现开放挑战以及潜在的未来研究方向。

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性，这种环境中的导航是挑战。我们提出了一种新的仿真技术，包括丰富现有的交通模拟器，其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后，我们使用丰富的模拟器培训深度加强学习（DRL）策略，包括一组高级车辆控制命令，并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互，并计算了自助式驾驶员机动，例如超速，超速，编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集，我们的行为的导航方案可以与最先进的导航算法相结合。

由于互动交通参与者的随机性质和道路结构的复杂性，城市自动驾驶的决策是具有挑战性的。尽管基于强化的学习（RL）决策计划有望处理城市驾驶方案，但它的样本效率低和适应性差。在本文中，我们提出了Scene-Rep Transformer，以通过更好的场景表示编码和顺序预测潜在蒸馏来提高RL决策能力。具体而言，构建了多阶段变压器（MST）编码器，不仅对自我车辆及其邻居之间的相互作用意识进行建模，而且对代理商及其候选路线之间的意图意识。具有自我监督学习目标的连续潜伏变压器（SLT）用于将未来的预测信息提炼成潜在的场景表示，以减少勘探空间并加快训练的速度。基于软演员批评的最终决策模块（SAC）将来自场景rep变压器的精制潜在场景表示输入，并输出驾驶动作。该框架在五个挑战性的模拟城市场景中得到了验证，其性能通过成功率，安全性和效率方面的数据效率和性能的大幅度提高来定量表现出来。定性结果表明，我们的框架能够提取邻居代理人的意图，以帮助做出决策并提供更多多元化的驾驶行为。

交叉点是自主行驶中最复杂和事故的城市场景之一，其中制造安全和计算有效的决策是非微不足道的。目前的研究主要关注简化的交通状况，同时忽略了混合交通流量的存在，即车辆，骑自行车者和行人。对于城市道路而言，不同的参与者导致了一个非常动态和复杂的互动，从而冒着学习智能政策的困难。本文在集成决策和控制框架中开发动态置换状态表示，以处理与混合业务流的信号化交集。特别地，该表示引入了编码功能和总和运算符，以构建来自环境观察的驱动状态，能够处理不同类型和变体的交通参与者。构建了受约束的最佳控制问题，其中目标涉及跟踪性能，并且不同参与者和信号灯的约束分别设计以确保安全性。我们通过离线优化编码函数，值函数和策略函数来解决这个问题，其中编码函数给出合理的状态表示，然后用作策略和值函数的输入。禁止策略培训旨在重用从驾驶环境中的观察，并且使用时间通过时间来利用策略函数和编码功能联合。验证结果表明，动态置换状态表示可以增强IDC的驱动性能，包括具有大边距的舒适性，决策合规性和安全性。训练有素的驾驶政策可以实现复杂交叉口的高效和平滑通过，同时保证驾驶智能和安全性。

在多机构动态交通情况下的自主驾驶具有挑战性：道路使用者的行为不确定，很难明确建模，并且自我车辆应与他们应用复杂的谈判技巧，例如屈服，合并和交付，以实现，以实现在各种环境中都有安全有效的驾驶。在这些复杂的动态场景中，传统的计划方法主要基于规则，并且通常会导致反应性甚至过于保守的行为。因此，他们需要乏味的人类努力来维持可行性。最近，基于深度学习的方法显示出令人鼓舞的结果，具有更好的概括能力，但手工工程的工作较少。但是，它们要么是通过有监督的模仿学习（IL）来实施的，该学习遭受了数据集偏见和分配不匹配问题，要么接受了深入强化学习（DRL）的培训，但专注于一种特定的交通情况。在这项工作中，我们建议DQ-GAT实现可扩展和主动的自主驾驶，在这些驾驶中，基于图形注意力的网络用于隐式建模相互作用，并采用了深层Q学习来以无聊的方式训练网络端到端的网络。 。在高保真驾驶模拟器中进行的广泛实验表明，我们的方法比以前的基于学习的方法和传统的基于规则的方法获得了更高的成功率，并且在可见和看不见的情况下都可以更好地摆脱安全性和效率。此外，轨迹数据集的定性结果表明，我们所学的政策可以通过实时速度转移到现实世界中。演示视频可在https://caipeide.github.io/dq-gat/上找到。

Deep Neural Networks (DNNs) have been widely used to perform real-world tasks in cyber-physical systems such as Autonomous Driving Systems (ADS). Ensuring the correct behavior of such DNN-Enabled Systems (DES) is a crucial topic. Online testing is one of the promising modes for testing such systems with their application environments (simulated or real) in a closed loop taking into account the continuous interaction between the systems and their environments. However, the environmental variables (e.g., lighting conditions) that might change during the systems' operation in the real world, causing the DES to violate requirements (safety, functional), are often kept constant during the execution of an online test scenario due to the two major challenges: (1) the space of all possible scenarios to explore would become even larger if they changed and (2) there are typically many requirements to test simultaneously. In this paper, we present MORLOT (Many-Objective Reinforcement Learning for Online Testing), a novel online testing approach to address these challenges by combining Reinforcement Learning (RL) and many-objective search. MORLOT leverages RL to incrementally generate sequences of environmental changes while relying on many-objective search to determine the changes so that they are more likely to achieve any of the uncovered objectives. We empirically evaluate MORLOT using CARLA, a high-fidelity simulator widely used for autonomous driving research, integrated with Transfuser, a DNN-enabled ADS for end-to-end driving. The evaluation results show that MORLOT is significantly more effective and efficient than alternatives with a large effect size. In other words, MORLOT is a good option to test DES with dynamically changing environments while accounting for multiple safety requirements.

对于自动驾驶汽车而言，遍历交叉点是一个具有挑战性的问题，尤其是当交叉路口没有交通控制时。最近，由于其成功处理自动驾驶任务，深厚的强化学习受到了广泛的关注。在这项工作中，我们解决了使用新颖的课程进行深入增强学习的问题的问题。拟议的课程导致：1）与未经课程训练的代理人相比，增强剂学习代理的更快的训练过程和2）表现更好。我们的主要贡献是两个方面：1）提供一个独特的课程，用于训练深入的强化学习者，2）显示了所提出的课程在未信号的交叉遍历任务中的应用。该框架期望自动驾驶汽车的感知系统对周围环境进行了处理。我们在Comonroad运动计划模拟器中测试我们的TTTERTIONS和四向交集的方法。

由于安全问题，自动驾驶汽车的大规模部署已不断延迟。一方面，全面的场景理解是必不可少的，缺乏这种理解会导致易受罕见但复杂的交通状况，例如突然出现未知物体。但是，从全球环境中的推理需要访问多种类型的传感器以及多模式传感器信号的足够融合，这很难实现。另一方面，学习模型中缺乏可解释性也会因无法验证的故障原因阻碍安全性。在本文中，我们提出了一个安全增强的自主驾驶框架，称为可解释的传感器融合变压器（Interfuser），以完全处理和融合来自多模式多视图传感器的信息，以实现全面的场景理解和对抗性事件检测。此外，我们的框架是从我们的框架中生成的中间解释功能，该功能提供了更多的语义，并被利用以更好地约束操作以在安全集内。我们在Carla基准测试中进行了广泛的实验，我们的模型优于先前的方法，在公共卡拉排行榜上排名第一。

无线技术的最新进步使连接的自动驾驶汽车（CAV）能够通过车辆到车辆（V2V）通信收集有关其环境的信息。在这项工作中，我们为CAVS设计了基于信息共享的多代理增援学习（MARL）框架，以在做出决定以提高交通效率和安全性时利用额外的信息。我们提出的安全参与者批评算法有两种新技术：截断的Q功能和安全动作映射。截断的Q功能利用了来自相邻骑士的共享信息，以使Q-功能的联合状态和动作空间在我们的算法中不会在大型CAV系统中生长。我们证明了截短Q和全局Q函数之间近似误差的结合。安全的操作映射为基于控制屏障功能的培训和执行提供了可证明的安全保证。我们使用CARLA模拟器进行实验，我们表明我们的方法可以在不同的CAV比和不同的交通密度下的平均速度和舒适性方面提高CAV系统的效率。我们还表明，我们的方法避免执行不安全的动作，并始终保持与其他车辆的安全距离。我们构建了一个障碍物的场景，以表明共同的愿景可以帮助骑士早些时候观察障碍，并采取行动避免交通拥堵。

Traditional planning and control methods could fail to find a feasible trajectory for an autonomous vehicle to execute amongst dense traffic on roads. This is because the obstacle-free volume in spacetime is very small in these scenarios for the vehicle to drive through. However, that does not mean the task is infeasible since human drivers are known to be able to drive amongst dense traffic by leveraging the cooperativeness of other drivers to open a gap. The traditional methods fail to take into account the fact that the actions taken by an agent affect the behaviour of other vehicles on the road. In this work, we rely on the ability of deep reinforcement learning to implicitly model such interactions and learn a continuous control policy over the action space of an autonomous vehicle. The application we consider requires our agent to negotiate and open a gap in the road in order to successfully merge or change lanes. Our policy learns to repeatedly probe into the target road lane while trying to find a safe spot to move in to. We compare against two model-predictive control-based algorithms and show that our policy outperforms them in simulation.

Imitation learning (IL) is a simple and powerful way to use high-quality human driving data, which can be collected at scale, to identify driving preferences and produce human-like behavior. However, policies based on imitation learning alone often fail to sufficiently account for safety and reliability concerns. In this paper, we show how imitation learning combined with reinforcement learning using simple rewards can substantially improve the safety and reliability of driving policies over those learned from imitation alone. In particular, we use a combination of imitation and reinforcement learning to train a policy on over 100k miles of urban driving data, and measure its effectiveness in test scenarios grouped by different levels of collision risk. To our knowledge, this is the first application of a combined imitation and reinforcement learning approach in autonomous driving that utilizes large amounts of real-world human driving data.

在动态，多助手和复杂的城市环境中驾驶是一个需要复杂的决策政策的艰巨任务。这种策略的学习需要可以编码整个环境的状态表示。作为图像编码车辆环境的中级表示已成为一种受欢迎的选择。仍然，它们是非常高的，限制了他们在诸如加固学习等数据饥饿的方法的使用。在本文中，我们建议通过利用相关语义因素的知识来学习环境的低维度和丰富的潜在表示。为此，我们训练编码器解码器深神经网络，以预测多种应用相关因素，例如其他代理和自助车的轨迹。此外，我们提出了一种基于其他车辆的未来轨迹的危险信号和计划的路由，这些路线与学习的潜在表示作为输入到下游策略的输入。我们演示了使用多头编码器解码器神经网络导致比标准单头模型更具信息的表示。特别是，所提出的代表学习和危险信号有助于加强学习以更快地学习，而性能提高，数据比基线方法更快。