车辆（IOV）互联网（IOV），其中互连的车辆彼此通信并在公共网络上与道路基础设施通信，具有令人市性的社会经济利益，但也造成了新的网络身体威胁。车辆攻击者的数据可以使用像蜜罐等系统使用网络威胁情报进行现实地收集。不可否认，配置蜜罐在蜜罐攻击者互动的级别和执行和监测这些蜜罐的任何产生的开销和成本之间引入权衡。我们认为，通过战略性地配置蜜罐来代表IOV的组成部分，可以实现有效的欺骗，并参与攻击者来收集网络威胁情报。在本文中，我们展示了HoneyCar，这是IOV中蜜罐欺骗的新决策支持框架。 Honeycar在国家漏洞数据库（NVD）中的常见漏洞和曝光（CVE）中发现的自主和连通车辆的已知漏洞的存储库，以计算最佳蜜罐配置策略。通过采取游戏理论方法，我们将对手交互模拟作为重复的不完美信息零和游戏，其中IOV网络管理员选择一组漏洞，以便在蜜罐中提供，并且战略攻击者选择IOV的脆弱性在不确定性下剥削。我们的调查是通过检查两种不同版本的游戏，并没有重新配置成本来证实，以赋予网络管理员来确定最佳蜜罐配置。我们在一个现实用例中评估Honeycar，以支持决策者，以确定IOV中的战略部署的最佳蜜罐配置策略。

数字化和远程连接扩大了攻击面，使网络系统更脆弱。由于攻击者变得越来越复杂和资源丰富，仅仅依赖传统网络保护，如入侵检测，防火墙和加密，不足以保护网络系统。网络弹性提供了一种新的安全范式，可以使用弹性机制来补充保护不足。一种网络弹性机制（CRM）适应了已知的或零日威胁和实际威胁和不确定性，并对他们进行战略性地响应，以便在成功攻击时保持网络系统的关键功能。反馈架构在启用CRM的在线感应，推理和致动过程中发挥关键作用。强化学习（RL）是一个重要的工具，对网络弹性的反馈架构构成。它允许CRM提供有限或没有事先知识和攻击者的有限攻击的顺序响应。在这项工作中，我们审查了Cyber​​恢复力的RL的文献，并讨论了对三种主要类型的漏洞，即姿势有关，与信息相关的脆弱性的网络恢复力。我们介绍了三个CRM的应用领域：移动目标防御，防守网络欺骗和辅助人类安全技术。 RL算法也有漏洞。我们解释了RL的三个漏洞和目前的攻击模型，其中攻击者针对环境与代理商之间交换的信息：奖励，国家观察和行动命令。我们展示攻击者可以通过最低攻击努力来欺骗RL代理商学习邪恶的政策。最后，我们讨论了RL为基于RL的CRM的网络安全和恢复力和新兴应用的未来挑战。

互联网连接系统的规模大大增加，这些系统比以往任何时候都更接触到网络攻击。网络攻击的复杂性和动态需要保护机制响应，自适应和可扩展。机器学习，或更具体地说，深度增强学习（DRL），方法已经广泛提出以解决这些问题。通过将深入学习纳入传统的RL，DRL能够解决复杂，动态，特别是高维的网络防御问题。本文提出了对为网络安全开发的DRL方法进行了调查。我们触及不同的重要方面，包括基于DRL的网络 - 物理系统的安全方法，自主入侵检测技术和基于多元的DRL的游戏理论模拟，用于防范策略对网络攻击。还给出了对基于DRL的网络安全的广泛讨论和未来的研究方向。我们预计这一全面审查提供了基础，并促进了未来的研究，探讨了越来越复杂的网络安全问题。

互联网连接系统的指数增长产生了许多挑战，例如频谱短缺问题，需要有效的频谱共享（SS）解决方案。复杂和动态的SS系统可以接触不同的潜在安全性和隐私问题，需要保护机制是自适应，可靠和可扩展的。基于机器学习（ML）的方法经常提议解决这些问题。在本文中，我们对最近的基于ML的SS方法，最关键的安全问题和相应的防御机制提供了全面的调查。特别是，我们详细说明了用于提高SS通信系统的性能的最先进的方法，包括基于ML基于ML的基于的数据库辅助SS网络，ML基于基于的数据库辅助SS网络，包括基于ML的数据库辅助的SS网络，基于ML的LTE-U网络，基于ML的环境反向散射网络和其他基于ML的SS解决方案。我们还从物理层和基于ML算法的相应防御策略的安全问题，包括主要用户仿真（PUE）攻击，频谱感测数据伪造（SSDF）攻击，干扰攻击，窃听攻击和隐私问题。最后，还给出了对ML基于ML的开放挑战的广泛讨论。这种全面的审查旨在为探索新出现的ML的潜力提供越来越复杂的SS及其安全问题，提供基础和促进未来的研究。

In the cybersecurity setting, defenders are often at the mercy of their detection technologies and subject to the information and experiences that individual analysts have. In order to give defenders an advantage, it is important to understand an attacker's motivation and their likely next best action. As a first step in modeling this behavior, we introduce a security game framework that simulates interplay between attackers and defenders in a noisy environment, focusing on the factors that drive decision making for attackers and defenders in the variants of the game with full knowledge and observability, knowledge of the parameters but no observability of the state (``partial knowledge''), and zero knowledge or observability (``zero knowledge''). We demonstrate the importance of making the right assumptions about attackers, given significant differences in outcomes. Furthermore, there is a measurable trade-off between false-positives and true-positives in terms of attacker outcomes, suggesting that a more false-positive prone environment may be acceptable under conditions where true-positives are also higher.

欺骗是网络防御曲目中的重要工具，使后卫能够利用其信息优势来减少成功攻击的可能性。可以采用欺骗的一种方式是通过掩盖或掩盖有关系统如何配置的某些信息，从而增加了攻击者对目标的不确定性。我们介绍了由此产生的防守者​​攻击者互动的新颖游戏理论模型，其中防守者选择了掩盖属性的子集，而攻击者通过选择执行漏洞来做出响应。两个参与者的策略具有与复杂的信息依赖性的组合结构，因此甚至代表这些策略并不是微不足道的。首先，我们表明，计算由此产生的零和防御者攻击者游戏平衡的问题可以表示为具有组合数量的系统配置变量和约束的线性程序，并开发了解决此问题的约束生成方法。接下来，我们通过代表两个玩家作为神经网络的策略来介绍一种新颖的高度可扩展方法，用于近乎解决此类游戏。关键思想是使用深神网络生成器代表防御者的混合策略，然后使用交替的梯度散发算法，类似于训练生成对抗性网络。我们的实验以及案例研究证明了所提出的方法的功效。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

使用人工智能（AI）赋予无线网络中数据量的前所未有的数据量激增，为提供无处不在的数据驱动智能服务而开辟了新的视野。通过集中收集数据集和培训模型来实现传统的云彩中心学习（ML）基础的服务。然而，这种传统的训练技术包括两个挑战：（i）由于数据通信增加而导致的高通信和能源成本，（ii）通过允许不受信任的各方利用这些信息来威胁数据隐私。最近，鉴于这些限制，一种新兴的新兴技术，包括联合学习（FL），以使ML带到无线网络的边缘。通过以分布式方式培训全局模型，可以通过FL Server策划的全局模型来提取数据孤岛的好处。 FL利用分散的数据集和参与客户的计算资源，在不影响数据隐私的情况下开发广义ML模型。在本文中，我们介绍了对FL的基本面和能够实现技术的全面调查。此外，提出了一个广泛的研究，详细说明了无线网络中的流体的各种应用，并突出了他们的挑战和局限性。进一步探索了FL的疗效，其新兴的前瞻性超出了第五代（B5G）和第六代（6G）通信系统。本调查的目的是在关键的无线技术中概述了流动的技术，这些技术将作为建立对该主题的坚定了解的基础。最后，我们向未来的研究方向提供前进的道路。

随着数字时代的出现，由于技术进步，每天的任务都是自动化的。但是，技术尚未为人们提供足够的工具和保障措施。随着互联网连接全球越来越多的设备，确保连接设备的问题以均匀的螺旋速率增长。数据盗窃，身份盗窃，欺诈交易，密码妥协和系统漏洞正在成为常规的日常新闻。最近的人工智能进步引起了网络攻击的激烈威胁。 AI几乎应用于不同科学和工程的每个领域。 AI的干预不仅可以使特定任务自动化，而且可以提高效率。因此，很明显，如此美味的传播对网络犯罪分子来说是非常开胃的。因此，传统的网络威胁和攻击现在是``智能威胁''。本文讨论了网络安全和网络威胁，以及传统和智能的防御方式，以防止网络攻击。最终，结束讨论，以潜在的潜在前景结束讨论AI网络安全。

In recent years, the exponential proliferation of smart devices with their intelligent applications poses severe challenges on conventional cellular networks. Such challenges can be potentially overcome by integrating communication, computing, caching, and control (i4C) technologies. In this survey, we first give a snapshot of different aspects of the i4C, comprising background, motivation, leading technological enablers, potential applications, and use cases. Next, we describe different models of communication, computing, caching, and control (4C) to lay the foundation of the integration approach. We review current state-of-the-art research efforts related to the i4C, focusing on recent trends of both conventional and artificial intelligence (AI)-based integration approaches. We also highlight the need for intelligence in resources integration. Then, we discuss integration of sensing and communication (ISAC) and classify the integration approaches into various classes. Finally, we propose open challenges and present future research directions for beyond 5G networks, such as 6G.

Reinforcement learning allows machines to learn from their own experience. Nowadays, it is used in safety-critical applications, such as autonomous driving, despite being vulnerable to attacks carefully crafted to either prevent that the reinforcement learning algorithm learns an effective and reliable policy, or to induce the trained agent to make a wrong decision. The literature about the security of reinforcement learning is rapidly growing, and some surveys have been proposed to shed light on this field. However, their categorizations are insufficient for choosing an appropriate defense given the kind of system at hand. In our survey, we do not only overcome this limitation by considering a different perspective, but we also discuss the applicability of state-of-the-art attacks and defenses when reinforcement learning algorithms are used in the context of autonomous driving.

联邦学习（FL）变得流行，并在训练大型机器学习（ML）模型的情况下表现出很大的潜力，而不会使所有者的原始数据曝光。在FL中，数据所有者可以根据其本地数据培训ML模型，并且仅将模型更新发送到模型更新，而不是原始数据到模型所有者进行聚合。为了提高模型准确性和培训完成时间的学习绩效，招募足够的参与者至关重要。同时，数据所有者是理性的，可能不愿意由于资源消耗而参与协作学习过程。为了解决这些问题，最近有各种作品旨在激励数据业主贡献其资源。在本文中，我们为文献中提出的经济和游戏理论方法提供了全面的审查，以设计刺激数据业主参加流程培训过程的各种计划。特别是，我们首先在激励机制设计中常用的佛罗里达州的基础和背景，经济理论。然后，我们审查博弈理论和经济方法应用于FL的激励机制的应用。最后，我们突出了一些开放的问题和未来关于FL激励机制设计的研究方向。

游戏理论到目前为止在各个领域都发现了许多应用，包括经济学，工业，法学和人工智能，每个玩家都只关心自己对非合作或合作方式的兴趣，但对其他玩家没有明显的恶意。但是，在许多实际应用中，例如扑克，国际象棋，逃避者追求，毒品拦截，海岸警卫队，网络安全和国防，球员通常都具有对抗性立场，也就是说，每个球员的自私行动不可避免地或故意造成损失或对其他球员造成严重破坏。沿着这条线，本文对在对抗性游戏中广泛使用的三种主要游戏模型（即零和零正常形式和广泛形式游戏，stackelberg（Security）游戏，零和差异游戏）提供了系统的调查。观点，包括游戏模型的基本知识，（近似）平衡概念，问题分类，研究前沿，（近似）最佳策略寻求技术，普遍的算法和实际应用。最后，还讨论了有关对抗性游戏的有希望的未来研究方向。

\ EMPH {人工智能}（AI）系统越来越多地参与影响我们生活的决策，确保自动决策是公平的，道德已经成为最优先事项。直观地，我们觉得类似人的决定，人工代理人的判断应该必然地以一些道德原则为基础。然而，如果有关决定所基础的所有有关因素的全部信息，可以真正伦理（人类或人为）和公平（根据任何道德理论）和公平（根据公平的任何概念）的规定在决策时。这提出了两个问题：（1）在设置中，我们依赖使用通过监督学习获得的分类器的AI系统，存在一些感应/泛化，即使在学习期间也可能不存在一些相关属性。 （2）根据游戏揭示任何 - 无论是道德的纯策略都不可避免地易于剥削，建模这些决定。此外，在许多游戏中，只能通过使用混合策略来获得纳什均衡，即实现数学上最佳结果，决定必须随机化。在本文中，我们认为，在监督学习设置中，存在至少以及确定性分类器的随机分类器，因此在许多情况下可能是最佳选择。我们支持我们的理论效果，具有一个实证研究，表明对随机人工决策者的积极社会态度，并讨论了与使用与当前的AI政策和标准化举措相关的随机分类器相关的一些政策和实施问题。

无线电接入网络（RAN）技术继续见证巨大的增长，开放式运行越来越最近的势头。在O-RAN规范中，RAN智能控制器（RIC）用作自动化主机。本文介绍了对O-RAN堆栈相关的机器学习（ML）的原则，特别是加强学习（RL）。此外，我们审查无线网络的最先进的研究，并将其投入到RAN框架和O-RAN架构的层次结构上。我们在整个开发生命周期中提供ML / RL模型面临的挑战的分类：从系统规范到生产部署（数据采集，模型设计，测试和管理等）。为了解决挑战，我们将一组现有的MLOPS原理整合，当考虑RL代理时，具有独特的特性。本文讨论了系统的生命周期模型开发，测试和验证管道，称为：RLOPS。我们讨论了RLOP的所有基本部分，包括：模型规范，开发和蒸馏，生产环境服务，运营监控，安全/安全和数据工程平台。根据这些原则，我们提出了最佳实践，以实现自动化和可重复的模型开发过程。

边缘计算是一个将数据处理服务转移到生成数据的网络边缘的范式。尽管这样的架构提供了更快的处理和响应，但除其他好处外，它还提出了必须解决的关键安全问题和挑战。本文讨论了从硬件层到系统层的边缘网络体系结构出现的安全威胁和漏洞。我们进一步讨论了此类网络中的隐私和法规合规性挑战。最后，我们认为需要一种整体方法来分析边缘网络安全姿势，该姿势必须考虑每一层的知识。

In this tutorial paper, we look into the evolution and prospect of network architecture and propose a novel conceptual architecture for the 6th generation (6G) networks. The proposed architecture has two key elements, i.e., holistic network virtualization and pervasive artificial intelligence (AI). The holistic network virtualization consists of network slicing and digital twin, from the aspects of service provision and service demand, respectively, to incorporate service-centric and user-centric networking. The pervasive network intelligence integrates AI into future networks from the perspectives of networking for AI and AI for networking, respectively. Building on holistic network virtualization and pervasive network intelligence, the proposed architecture can facilitate three types of interplay, i.e., the interplay between digital twin and network slicing paradigms, between model-driven and data-driven methods for network management, and between virtualization and AI, to maximize the flexibility, scalability, adaptivity, and intelligence for 6G networks. We also identify challenges and open issues related to the proposed architecture. By providing our vision, we aim to inspire further discussions and developments on the potential architecture of 6G.

随着智能设备的扩散和通信中的旋转，配电系统逐渐从被动，手动操作和不灵活的，到大规模互连的网络物理智能电网，以解决未来的能源挑战。然而，由于部署的大规模复杂性和资源限制，若干尖端技术的集成引入了几种安全和隐私漏洞。最近的研究趋势表明，虚假数据注入（FDI）攻击正成为整个智能电网范式内最恶毒的网络威胁之一。因此，本文介绍了对积极分配系统内的直接投资袭击事件的最近进展的全面调查，并提出了分类法，以对智能电网目标进行外商直接投资威胁。相关研究与攻击方法和对电力分配网络的影响形成鲜明对比和总结。最后，我们确定了一些研究差距并推荐了一些未来的研究方向，以指导和激励前瞻性研究人员。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

Reinforcement learning (RL) is one of the most important branches of AI. Due to its capacity for self-adaption and decision-making in dynamic environments, reinforcement learning has been widely applied in multiple areas, such as healthcare, data markets, autonomous driving, and robotics. However, some of these applications and systems have been shown to be vulnerable to security or privacy attacks, resulting in unreliable or unstable services. A large number of studies have focused on these security and privacy problems in reinforcement learning. However, few surveys have provided a systematic review and comparison of existing problems and state-of-the-art solutions to keep up with the pace of emerging threats. Accordingly, we herein present such a comprehensive review to explain and summarize the challenges associated with security and privacy in reinforcement learning from a new perspective, namely that of the Markov Decision Process (MDP). In this survey, we first introduce the key concepts related to this area. Next, we cover the security and privacy issues linked to the state, action, environment, and reward function of the MDP process, respectively. We further highlight the special characteristics of security and privacy methodologies related to reinforcement learning. Finally, we discuss the possible future research directions within this area.