Automated Feature Engineering (AFE) refers to automatically generate and select optimal feature sets for downstream tasks, which has achieved great success in real-world applications. Current AFE methods mainly focus on improving the effectiveness of the produced features, but ignoring the low-efficiency issue for large-scale deployment. Therefore, in this work, we propose a generic framework to improve the efficiency of AFE. Specifically, we construct the AFE pipeline based on reinforcement learning setting, where each feature is assigned an agent to perform feature transformation \com{and} selection, and the evaluation score of the produced features in downstream tasks serve as the reward to update the policy. We improve the efficiency of AFE in two perspectives. On the one hand, we develop a Feature Pre-Evaluation (FPE) Model to reduce the sample size and feature size that are two main factors on undermining the efficiency of feature evaluation. On the other hand, we devise a two-stage policy training strategy by running FPE on the pre-evaluation task as the initialization of the policy to avoid training policy from scratch. We conduct comprehensive experiments on 36 datasets in terms of both classification and regression tasks. The results show $2.9\%$ higher performance in average and 2x higher computational efficiency comparing to state-of-the-art AFE methods.

功能转换旨在通过数学转换现有功能来提取良好的表示（功能）空间。应对维度的诅咒，增强模型概括，克服数据稀疏性并扩大经典模型的可用性至关重要。当前的研究重点是基于领域的知识特征工程或学习潜在表示；然而，这些方法并非完全自动化，不能产生可追溯和最佳的表示空间。在重建机器学习任务的功能空间时，可以同时解决这些限制吗？在这项扩展研究中，我们提出了一个用于特征转化的自优化框架。为了取得更好的性能，我们通过（1）获得高级状态表示来改善初步工作，以使加强代理能够更好地理解当前功能集； （2）解决Q值高估的Q值高估，以学习无偏见和有效的政策。最后，为了使实验比初步工作更具说服力，我们结论是通过五个数据集添加异常检测任务，评估各种状态表示方法，并比较不同的培训策略。广泛的实验和案例研究表明，我们的工作更有效和更高。

Feature transformation for AI is an essential task to boost the effectiveness and interpretability of machine learning (ML). Feature transformation aims to transform original data to identify an optimal feature space that enhances the performances of a downstream ML model. Existing studies either combines preprocessing, feature selection, and generation skills to empirically transform data, or automate feature transformation by machine intelligence, such as reinforcement learning. However, existing studies suffer from: 1) high-dimensional non-discriminative feature space; 2) inability to represent complex situational states; 3) inefficiency in integrating local and global feature information. To fill the research gap, we formulate the feature transformation task as an iterative, nested process of feature generation and selection, where feature generation is to generate and add new features based on original features, and feature selection is to remove redundant features to control the size of feature space. Finally, we present extensive experiments and case studies to illustrate 24.7\% improvements in F1 scores compared with SOTAs and robustness in high-dimensional data.

社交机器人被称为社交网络上的自动帐户，这些帐户试图像人类一样行事。尽管图形神经网络（GNNS）已大量应用于社会机器人检测领域，但大量的领域专业知识和先验知识大量参与了最先进的方法，以设计专门的神经网络体系结构，以设计特定的神经网络体系结构。分类任务。但是，在模型设计中涉及超大的节点和网络层，通常会导致过度平滑的问题和缺乏嵌入歧视。在本文中，我们提出了罗斯加斯（Rosgas），这是一种新颖的加强和自我监督的GNN Architecture搜索框架，以适应性地指出了最合适的多跳跃社区和GNN体系结构中的层数。更具体地说，我们将社交机器人检测问题视为以用户为中心的子图嵌入和分类任务。我们利用异构信息网络来通过利用帐户元数据，关系，行为特征和内容功能来展示用户连接。 Rosgas使用多代理的深钢筋学习（RL）机制来导航最佳邻域和网络层的搜索，以分别学习每个目标用户的子图嵌入。开发了一种用于加速RL训练过程的最接近的邻居机制，Rosgas可以借助自我监督的学习来学习更多的判别子图。 5个Twitter数据集的实验表明，Rosgas在准确性，训练效率和稳定性方面优于最先进的方法，并且在处理看不见的样本时具有更好的概括。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

近年来，计算机视觉社区中最受欢迎的技术之一就是深度学习技术。作为一种数据驱动的技术，深层模型需要大量准确标记的培训数据，这在许多现实世界中通常是无法访问的。数据空间解决方案是数据增强（DA），可以人为地从原始样本中生成新图像。图像增强策略可能因数据集而有所不同，因为不同的数据类型可能需要不同的增强以促进模型培训。但是，DA策略的设计主要由具有领域知识的人类专家决定，这被认为是高度主观和错误的。为了减轻此类问题，一个新颖的方向是使用自动数据增强（AUTODA）技术自动从给定数据集中学习图像增强策略。 Autoda模型的目的是找到可以最大化模型性能提高的最佳DA策略。这项调查从图像分类的角度讨论了Autoda技术出现的根本原因。我们确定标准自动赛车模型的三个关键组件：搜索空间，搜索算法和评估功能。根据他们的架构，我们提供了现有图像AUTODA方法的系统分类法。本文介绍了Autoda领域的主要作品，讨论了他们的利弊，并提出了一些潜在的方向以进行未来的改进。

为了跟踪视频中的目标，当前的视觉跟踪器通常采用贪婪搜索每个帧中目标对象定位，也就是说，将选择最大响应分数的候选区域作为每个帧的跟踪结果。但是，我们发现这可能不是一个最佳选择，尤其是在遇到挑战性的跟踪方案（例如重闭塞和快速运动）时。为了解决这个问题，我们建议维护多个跟踪轨迹并将光束搜索策略应用于视觉跟踪，以便可以识别出更少的累积错误的轨迹。因此，本文介绍了一种新型的基于梁搜索策略的新型多代理增强学习策略，称为横梁。它主要是受图像字幕任务的启发，该任务将图像作为输入，并使用Beam搜索算法生成多种描述。因此，我们通过多个并行决策过程来将跟踪提出作为样本选择问题，每个过程旨在将一个样本作为每个帧的跟踪结果选择。每个维护的轨迹都与代理商相关联，以执行决策并确定应采取哪些操作来更新相关信息。处理所有帧时，我们将最大累积分数作为跟踪结果选择轨迹。在七个流行的跟踪基准数据集上进行了广泛的实验证实了所提出的算法的有效性。

深入学习的强化学习（RL）的结合导致了一系列令人印象深刻的壮举，许多相信（深）RL提供了一般能力的代理。然而，RL代理商的成功往往对培训过程中的设计选择非常敏感，这可能需要繁琐和易于易于的手动调整。这使得利用RL对新问题充满挑战，同时也限制了其全部潜力。在许多其他机器学习领域，AutomL已经示出了可以自动化这样的设计选择，并且在应用于RL时也会产生有希望的初始结果。然而，自动化强化学习（AutorL）不仅涉及Automl的标准应用，而且还包括RL独特的额外挑战，其自然地产生了不同的方法。因此，Autorl已成为RL中的一个重要研究领域，提供来自RNA设计的各种应用中的承诺，以便玩游戏等游戏。鉴于RL中考虑的方法和环境的多样性，在不同的子领域进行了大部分研究，从Meta学习到进化。在这项调查中，我们寻求统一自动的领域，我们提供常见的分类法，详细讨论每个区域并对研究人员来说是一个兴趣的开放问题。

深度学习技术在各种任务中都表现出了出色的有效性，并且深度学习具有推进多种应用程序（包括在边缘计算中）的潜力，其中将深层模型部署在边缘设备上，以实现即时的数据处理和响应。一个关键的挑战是，虽然深层模型的应用通常会产生大量的内存和计算成本，但Edge设备通常只提供非常有限的存储和计算功能，这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案，以释放边缘设备的潜力，同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计，这些模型轻巧，仅需少量存储，并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较，这些指标通常用于量化模型在有效性，轻度和计算成本方面的水平。然后，该调查涵盖了深层设计自动化技术的三类最新技术：自动化神经体系结构搜索，自动化模型压缩以及联合自动化设计和压缩。最后，调查涵盖了未来研究的开放问题和方向。

功能工程已成为提高模型预测性能并生产优质数据集的最重要步骤之一。但是，此过程需要非平凡的域知识，涉及耗时的过程。因此，自动化此过程已成为研究的积极领域，并在工业应用中感兴趣。在本文中，提出了一种称为基于元学习和因果关系的特征工程（MACFE）的新方法。我们的方法基于使用元学习，特征分布编码和因果关系特征选择。在MacFe中，使用元学习来找到最佳的转换，然后通过预选为“原始”功能来加速搜索，鉴于其因果关系的相关性。对流行分类数据集的实验评估表明，MACFE可以改善八个分类器的预测性能，表现平均最低的最新方法至少提高6.54％，并且比最佳先前工作的提高了2.71％。

强化学习和最近的深度增强学习是解决如Markov决策过程建模的顺序决策问题的流行方法。问题和选择算法和超参数的RL建模需要仔细考虑，因为不同的配置可能需要完全不同的性能。这些考虑因素主要是RL专家的任务;然而，RL在研究人员和系统设计师不是RL专家的其他领域中逐渐变得流行。此外，许多建模决策，例如定义状态和动作空间，批次的大小和批量更新的频率以及时间戳的数量通常是手动进行的。由于这些原因，RL框架的自动化不同组成部分具有重要意义，近年来它引起了很多关注。自动RL提供了一个框架，其中RL的不同组件包括MDP建模，算法选择和超参数优化是自动建模和定义的。在本文中，我们探讨了可以在自动化RL中使用的文献和目前的工作。此外，我们讨论了Autorl中的挑战，打开问题和研究方向。

越来越多的工作已经认识到利用机器学习（ML）进步的重要性，以满足提取访问控制属性，策略挖掘，策略验证，访问决策等有效自动化的需求。在这项工作中，我们调查和总结了各种ML解决不同访问控制问题的方法。我们提出了ML模型在访问控制域中应用的新分类学。我们重点介绍当前的局限性和公开挑战，例如缺乏公共现实世界数据集，基于ML的访问控制系统的管理，了解黑盒ML模型的决策等，并列举未来的研究方向。

Graph mining tasks arise from many different application domains, ranging from social networks, transportation to E-commerce, etc., which have been receiving great attention from the theoretical and algorithmic design communities in recent years, and there has been some pioneering work employing the research-rich Reinforcement Learning (RL) techniques to address graph data mining tasks. However, these graph mining methods and RL models are dispersed in different research areas, which makes it hard to compare them. In this survey, we provide a comprehensive overview of RL and graph mining methods and generalize these methods to Graph Reinforcement Learning (GRL) as a unified formulation. We further discuss the applications of GRL methods across various domains and summarize the method descriptions, open-source codes, and benchmark datasets of GRL methods. Furthermore, we propose important directions and challenges to be solved in the future. As far as we know, this is the latest work on a comprehensive survey of GRL, this work provides a global view and a learning resource for scholars. In addition, we create an online open-source for both interested scholars who want to enter this rapidly developing domain and experts who would like to compare GRL methods.

Starcraft II（SC2）对强化学习（RL）提出了巨大的挑战，其中主要困难包括巨大的状态空间，不同的动作空间和长期的视野。在这项工作中，我们研究了《星际争霸II》全长游戏的一系列RL技术。我们研究了涉及提取的宏观活动和神经网络的层次结构的层次RL方法。我们研究了课程转移培训程序，并在具有4个GPU和48个CPU线的单台计算机上训练代理。在64x64地图并使用限制性单元上，我们对内置AI的获胜率达到99％。通过课程转移学习算法和战斗模型的混合物，我们在最困难的非作战水平内置AI（7级）中获得了93％的胜利率。在本文的扩展版本中，我们改进了架构，以针对作弊水平训练代理商，并在8级，9级和10级AIS上达到胜利率，为96％，97％和94 ％， 分别。我们的代码在https://github.com/liuruoze/hiernet-sc2上。为了为我们的工作以及研究和开源社区提供基线，我们将其复制了一个缩放版本的Mini-Alphastar（MAS）。 MAS的最新版本为1.07，可以在具有564个动作的原始动作空间上进行培训。它旨在通过使超参数可调节来在单个普通机器上进行训练。然后，我们使用相同的资源将我们的工作与MAS进行比较，并表明我们的方法更有效。迷你α的代码在https://github.com/liuruoze/mini-alphastar上。我们希望我们的研究能够阐明对SC2和其他大型游戏有效增强学习的未来研究。

点击率预测是商业推荐系统中的核心任务之一。它旨在预测用户点击给定用户和项目特征的特定项目的概率。随着特征相互作用引入非线性，它们被广泛采用以提高CTR预测模型的性能。因此，有效的建模特征互动在研究和工业领域引起了很多关注。目前的方法通常可以分为三类：（1）NA \“IVE方法，它不会模拟特征交互，只使用原始特征;（2）记忆方法，通过显式将其视为新功能而记住功能交互。分配可培训嵌入式;（3）分解方法，学习原始特征的潜在矢量和通过分解功能的隐式模型相互作用。研究表明，由于不同特征相互作用的独特特征，这些方法之一的建模特征交互是次优。为了解决这个问题，我们首先提出一个称为OptInter的一般框架，该框架可以找到每个功能交互的最合适的建模方法。可以将不同的最先进的深度CTR模型视为optinter的实例。实现功能Optinter，我们还介绍了一种自动搜索最佳建模方法的学习算法。W e在四个大型数据集中进行广泛的实验。我们的实验表明，Optinter可提高最佳的最先进的基线深度CTR模型，高达2.21％。与回忆的方法相比，这也优于基线，我们减少了高达91％的参数。此外，我们进行了几项消融研究，以研究Optinter不同组分的影响。最后，我们提供关于替代替代品结果的可解释讨论。

Transformer, originally devised for natural language processing, has also attested significant success in computer vision. Thanks to its super expressive power, researchers are investigating ways to deploy transformers to reinforcement learning (RL) and the transformer-based models have manifested their potential in representative RL benchmarks. In this paper, we collect and dissect recent advances on transforming RL by transformer (transformer-based RL or TRL), in order to explore its development trajectory and future trend. We group existing developments in two categories: architecture enhancement and trajectory optimization, and examine the main applications of TRL in robotic manipulation, text-based games, navigation and autonomous driving. For architecture enhancement, these methods consider how to apply the powerful transformer structure to RL problems under the traditional RL framework, which model agents and environments much more precisely than deep RL methods, but they are still limited by the inherent defects of traditional RL algorithms, such as bootstrapping and "deadly triad". For trajectory optimization, these methods treat RL problems as sequence modeling and train a joint state-action model over entire trajectories under the behavior cloning framework, which are able to extract policies from static datasets and fully use the long-sequence modeling capability of the transformer. Given these advancements, extensions and challenges in TRL are reviewed and proposals about future direction are discussed. We hope that this survey can provide a detailed introduction to TRL and motivate future research in this rapidly developing field.

基于细粒的草图的图像检索（FG-SBIR）旨在找到来自给定查询草图的大型画廊的特定图像。尽管FG-SBIR在许多关键域中进行了广泛适用性（例如，犯罪活动跟踪），但现有的方法仍然遭受低精度，同时对外部噪声敏感，例如草图中不必要的笔画。在更实际的在飞行环境下，检索性能将进一步恶化，其中仅具有少数（噪声）笔划的部分完整的草图可用于检索相应的图像。我们提出了一种新颖的框架，利用了一个独特设计的深度加强学习模型，该模型执行双层探索，以处理部分素描训练和注意区域选择。通过对模型的注意力对原始草图的重要地区实施，对不必要的行程噪声仍然坚固，并通过大边距提高检索准确性。为了充分探索部分草图并找到要参加的重要区域，该模型在调整控制本地探索的定位器网络的标准偏差项时，该模型对全局探索进行引导策略梯度。培训过程是由混合损失引导的，融合了强化损失和监督损失。开发了一种动态排名奖励，以使用部分草图来适应随机图像检索过程。在三个公共数据集上执行的广泛实验表明，我们的建议方法在部分草图基于图像检索上实现了最先进的性能。

端到端的Automl吸引了学术界和行业的密集兴趣，它们在功能工程，算法/模型选择和超参数调整引起的空间中自动搜索ML管道。但是，现有的Automl系统在适用于具有较大高维搜索空间的应用程序域时会遇到可伸缩性问题。我们提出了火山洛（Volcanoml），这是一个可扩展且可扩展的框架，可促进对大型汽车搜索空间的系统探索。 Volcanoml引入并实施了将大型搜索空间分解为较小的基本构建块，并允许用户利用这些构建块来制定手头上的汽车问题的执行计划。 Volcanoml进一步支持火山风格的执行模型（类似于现代数据库系统支持的模型）来执行构建的计划。我们的评估表明，不仅火山团提高了汽车中搜索空间分解的表达水平，还导致了分解策略的实际发现，这些发现比先进的自动符号系统所采用的策略更有效率地更加有效。作为自动滑雪。

表格数据是业务应用程序中最常见的数据存储格式之一，范围从零售，银行和电子商务。这些应用在很大程度上依赖机器学习模型来取得业务成功。学习表格数据的关键问题之一是将有影响力的特征与所有预定特征区分开。假设所有实例都具有相同的影响力子集，那么全球功能选择已经进行了很长时间。但是，不同的实例依赖于实践中的不同特征子集，这也引起了实例的特征选择，在最近的研究中受到了越来越多的关注。在本文中，我们首先提出了一种新的方法，以发现表格数据的实例影响特征（DIWIFT），其核心是引入影响函数以衡量实例特征的重要性。 Diwift能够在不同实例中自动发现不同尺寸的影响力子集，这与全局特征选择不同，后者考虑了具有相同影响力特征子集的所有实例。另一方面，与以前的实例功能选择不同，DIWIFT最大程度地减少了验证集的验证损失，因此对于训练数据集和测试数据集中存在的分配变化更为强大，这在表格数据中很重要。最后，我们对合成数据集和现实数据集进行了广泛的实验，以验证我们的diwift的有效性，并将其与基线方法进行了比较。此外，我们还通过一些消融实验来证明我们方法的鲁棒性。

动机：医学图像分析涉及帮助医师对病变或解剖结构进行定性和定量分析的任务，从而显着提高诊断和预后的准确性和可靠性。传统上，这些任务由医生或医学物理学家完成，并带来两个主要问题：（i）低效率； （ii）受个人经验的偏见。在过去的十年中，已经应用了许多机器学习方法来加速和自动化图像分析过程。与受监督和无监督的学习模型的大量部署相比，在医学图像分析中使用强化学习的尝试很少。这篇评论文章可以作为相关研究的垫脚石。意义：从我们的观察结果来看，尽管近年来增强学习逐渐增强了动力，但医学分析领域的许多研究人员发现很难理解和部署在诊所中。一个原因是缺乏组织良好的评论文章，针对缺乏专业计算机科学背景的读者。本文可能没有提供医学图像分析中所有强化学习模型的全面列表，而是可以帮助读者学习如何制定和解决他们的医学图像分析研究作为强化学习问题。方法和结果：我们从Google Scholar和PubMed中选择了已发表的文章。考虑到相关文章的稀缺性，我们还提供了一些出色的最新预印本。根据图像分析任务的类型对论文进行仔细审查和分类。我们首先回顾了强化学习的基本概念和流行模型。然后，我们探讨了增强学习模型在具有里程碑意义的检测中的应用。最后，我们通过讨论审查的强化学习方法的局限性和可能的​​改进来结束这篇文章。