基于语义相似性的代码克隆检测方法在软件工程任务中具有重要价值（例如，软件演进，软件重用）。传统的代码克隆检测技术更加注重语法级别的代码的相似性，并且不太注重代码的语义相似性。结果，忽略语义中类似的候选代码。要解决此问题，我们提出了一种基于语义相似性的代码克隆检测方法。通过将代码视为连续发生的一系列相互依存事件，我们设计了一个模型即欧欧，基于事件嵌入和事件依赖性编码代码语义信息。 EDAM模型使用事件嵌入方法来模拟程序语句的执行特征以及所有语句之间的数据依赖信息。以这种方式，我们可以将程序语义信息嵌入到向量中，并使用矢量来检测语义中类似的代码。实验结果表明，我们的EDAM模型的性能优于用于码克隆检测的最先进的开源模型。

深度学习在各种软件工程任务中广泛使用，例如，节目分类和缺陷预测。虽然该技术消除了特征工程所需的过程，但源代码模型的构建显着影响了这些任务的性能。最近的作品主要集中在通过引入从CFG提取的上下文依赖项来补充基于AST的源代码模型。但是，所有这些都关注基本块的表示，这是上下文依赖性的基础。在本文中，我们集成了AST和CFG，并提出了一种嵌入了分层依赖项的新型源代码模型。基于此，我们还设计了一种神经网络，这取决于图表关注机制。特殊地，我们介绍了基本块的句法结构，即其对应的AST，在源代码模型中提供足够的信息并填补间隙。我们在三种实际软件工程任务中评估了该模型，并将其与其他最先进的方法进行了比较。结果表明，我们的模型可以显着提高性能。例如，与最佳性能的基线相比，我们的模型将参数的比例降低了50 \％并实现了对程序分类任务的准确性的4 \％改进。

尽管不断努力提高代码搜索的有效性和效率，但仍未解决两个问题。首先，编程语言具有固有的牢固结构链接，并且代码的特征是文本表单将省略其中包含的结构信息。其次，代码和查询之间存在潜在的语义关系，跨序列对齐代码和文本是具有挑战性的，因此在相似性匹配期间，向量在空间上保持一致。为了解决这两个问题，在本文中，提出了一个名为CSSAM的代码搜索模型（代码语义和结构注意匹配）。通过引入语义和结构匹配机制，CSSAM有效提取并融合了多维代码功能。具体而言，开发了交叉和残留层，以促进代码和查询的高纬度空间比对。通过利用残差交互，匹配模块旨在保留更多的代码语义和描述性功能，从而增强了代码及其相应查询文本之间的附着力。此外，为了提高模型对代码固有结构的理解，提出了一个名为CSRG的代码表示结构（代码语义表示图），用于共同表示抽象语法树节点和代码的数据流。根据两个包含540K和330K代码段的公开可用数据集的实验结果，CSSAM在两个数据集中分别在获得最高的SR@1/5/10，MRR和NDCG@50方面大大优于基本线。此外，进行消融研究是为了定量衡量CSSAM每个关键组成部分对代码搜索效率和有效性的影响，这为改进高级代码搜索解决方案提供了见解。

Context: The IoT system infrastructure platform facility vulnerability attack has become the main battlefield of network security attacks. Most of the traditional vulnerability mining methods rely on vulnerability detection tools to realize vulnerability discovery. However, due to the inflexibility of tools and the limitation of file size, its scalability It is relatively low and cannot be applied to large-scale power big data fields. Objective: The goal of the research is to intelligently detect vulnerabilities in source codes of high-level languages such as C/C++. This enables us to propose a code representation of sensitive sentence-related slices of source code, and to detect vulnerabilities by designing a distributed deep ensemble learning model. Method: In this paper, a new directional vulnerability mining method of parallel ensemble learning is proposed to solve the problem of large-scale data vulnerability mining. By extracting sensitive functions and statements, a sensitive statement library of vulnerable codes is formed. The AST stream-based vulnerability code slice with higher granularity performs doc2vec sentence vectorization on the source code through the random sampling module, obtains different classification results through distributed training through the Bi-LSTM trainer, and obtains the final classification result by voting. Results: This method designs and implements a distributed deep ensemble learning system software vulnerability mining system called DCDetector. It can make accurate predictions by using the syntactic information of the code, and is an effective method for analyzing large-scale vulnerability data. Conclusion: Experiments show that this method can reduce the false positive rate of traditional static analysis and improve the performance and accuracy of machine learning.

代码搜索目标是根据自然语言查询检索相关的代码片段，以提高软件生产力和质量。但是，由于源代码和查询之间的语义间隙，自动代码搜索是具有挑战性的。大多数现有方法主要考虑嵌入的顺序信息，其中文本背后的结构信息不完全考虑。在本文中，我们设计了一个名为GraphsearchNet的新型神经网络框架，通过共同学习源代码和查询的富集语义来启用有效和准确的源代码搜索。具体地，我们建议将源代码和查询编码为两个图，其中双向GGNN以捕获图表的本地结构信息。此外，我们通过利用有效的多主题来增强BigGNN，以补充BigGNN错过的全球依赖。关于Java和Python数据集的广泛实验说明了GraphSearchNet优于当前最先进的工作原位。

代码克隆是实现类似功能的代码段对。克隆检测是自动源代码理解的基本分支，在重构建议，窃检测和代码摘要中具有许多应用程序。克隆检测的一个特别有趣的案例是检测语义克隆，即具有相同功能但实现方面有显着差异的代码段。检测语义克隆的一种有希望的方法是对比度学习（CL），这是一种在计算机视觉中流行的机器学习范式，但尚未用于代码处理。我们的工作旨在评估最受欢迎的CL算法以及两个任务上的三个源代码表示形式。第一个任务是代码克隆检测，我们在包含104个算法的实现的POJ-104数据集上进行了评估。第二个任务是窃检测。为了评估此任务上的模型，我们介绍了CodeTransFormator，这是用于转换源代码的工具。我们使用它来创建一个基于竞争性编程解决方案模仿窃代码的数据集。我们为这两项任务培训了九个模型，并将其与现有的六种方法进行了比较，包括传统工具和现代培训的神经模型。我们评估的结果表明，提议的模型在每个任务中都具有多样性，但是基于图的模型的性能通常高于其他模型。在CL算法中，SIMCLR和SWAV带来更好的结果，而MoCo是最强大的方法。我们的代码和训练有素的模型可在https://doi.org/10.5281/zenodo.6360627，https://doi.org/10.5281/zenodo.5596345获得。

Decompilation aims to transform a low-level program language (LPL) (eg., binary file) into its functionally-equivalent high-level program language (HPL) (e.g., C/C++). It is a core technology in software security, especially in vulnerability discovery and malware analysis. In recent years, with the successful application of neural machine translation (NMT) models in natural language processing (NLP), researchers have tried to build neural decompilers by borrowing the idea of NMT. They formulate the decompilation process as a translation problem between LPL and HPL, aiming to reduce the human cost required to develop decompilation tools and improve their generalizability. However, state-of-the-art learning-based decompilers do not cope well with compiler-optimized binaries. Since real-world binaries are mostly compiler-optimized, decompilers that do not consider optimized binaries have limited practical significance. In this paper, we propose a novel learning-based approach named NeurDP, that targets compiler-optimized binaries. NeurDP uses a graph neural network (GNN) model to convert LPL to an intermediate representation (IR), which bridges the gap between source code and optimized binary. We also design an Optimized Translation Unit (OTU) to split functions into smaller code fragments for better translation performance. Evaluation results on datasets containing various types of statements show that NeurDP can decompile optimized binaries with 45.21% higher accuracy than state-of-the-art neural decompilation frameworks.

图形神经网络已被证明可以为各种软件工程任务产生令人印象深刻的结果。但是，现有技术仍然有两个问题：（1）长期依赖性和（2）不同的代码组件在不应该的情况下被视为平等。为了解决这些问题，我们提出了一种表示代码为层次结构（代码层次结构）的方法，其中不同的代码组件在各个粒度级别分别表示。然后，为了处理每个表示级别的表示，我们设计了一个新颖的网络体系结构Echelon，它结合了异质图形变压器网络和基于树的卷积神经网络的优势，以学习具有代码依赖性信息丰富的抽象语法树。我们还提出了一个新颖的预处理目标，称为缺失子树预测以补充我们的代码层次结构。评估结果表明，我们的方法在三个任务中大大优于其他基准：任何代码完成，代码分类和代码克隆检测。

作为在Internet交换路由到达性信息的默认协议，边界网关协议（BGP）的流量异常行为与互联网异常事件密切相关。 BGP异常检测模型通过其实时监控和警报功能确保互联网上的稳定路由服务。以前的研究要么专注于特征选择问题或数据中的内存特征，同时忽略特征之间的关系和特征中的精确时间相关（无论是长期还是短期依赖性）。在本文中，我们提出了一种用于捕获来自BGP更新流量的异常行为的多视图模型，其中使用黄土（STL）方法的季节性和趋势分解来减少原始时间序列数据中的噪声和图表网络中的噪声（GAT）用于分别发现功能中的特征关系和时间相关性。我们的结果优于异常检测任务的最先进的方法，平均F1分别在平衡和不平衡数据集上得分高达96.3％和93.2％。同时，我们的模型可以扩展以对多个异常进行分类并检测未知事件。

功能级二进制代码相似性检测在网络空间安全性领域至关重要。它可以帮助我们在发布的软件中找到错误并检测专利侵权，并在预防供应链攻击中起关键作用。一个实用的嵌入学习框架依赖于矢量表示系统的鲁棒性以及功能对注释的准确性。传统上，基于学习的方法是基于学习的方法。但是，用准确的标签对不同的功能对进行注释非常困难。这些监督的学习方法很容易被过度训练，并且遭受了鲁棒性问题的困扰。为了减轻这些问题，我们提出了FUN2VEC：二进制功能级表示的对比学习框架。我们采用一种无监督的学习方法，并将二进制代码相似性检测作为实例歧视。 FUN2VEC直接用于分解的二进制功能，并且可以使用任何编码器实现。它不需要标记类似或不同信息的手动。我们使用编译器优化选项和代码混淆技术来生成增强数据。我们的实验结果表明，我们的方法超过了准确性的最先进，并且在几次射击设置中具有很大的优势。

语义代码搜索是关于为给定的自然语言查询查找语义相关的代码片段。在最先进的方法中，代码和查询之间的语义相似度被量化为它们在共享矢量空间中的表示的距离。在本文中，为了改进向量空间，我们在AST的简化形式中引入树序列化方法，并为代码数据构建多模式表示。我们使用大规模和多语言：CodeSearchNet的单个语料库进行广泛的实验。我们的结果表明，我们的树序列化表示和多模阶学习模型都提高了代码搜索的性能。最后，我们定义了面向直观的量化指标，面向代码数据的语义和句法信息的完整性，以帮助了解实验结果。

由不同类型的节点和边缘组成的学习异质图增强了均匀图技术的结果。这样的图形的一个有趣示例是代表可能的软件代码执行流的控制流图。由于此类图代表了代码的更多语义信息，因此为这些图形开发技术和工具可能对检测软件中的漏洞的可靠性非常有益。但是，现有的异质图技术仍然不足以处理复杂的图形，在处理复杂的图形中，不同类型的节点和边缘数量较大且可变。本文集中于以太坊智能合约作为由构建在控制流图和包含不同类型的节点和链接的呼叫图的异质合同图表示的软件代码样本。我们提出了曼多（Mando），这是一种新的异质图表示，以学习这种异质合同图的结构。 Mando提取自定义的Metapaths，该Metapaths在不同类型的节点及其邻居之间建立了关系连接。此外，它开发了一个多米达异构图注意网络，以学习不同类型的节点及其在异质合同图中的多层嵌入，可以更准确地捕获智能合约的代码语义，并便利两者。 - 水平和粗粒合同级别的漏洞检测。我们对大型智能合同数据集的广泛评估表明，曼多（Mando）在粗粒合同水平上改善了其他技术的脆弱性检测结果。更重要的是，它是第一种基于学习的方法，能够在细粒度的线条层面上识别漏洞，并在F1分数方面将基于代码分析的传统漏洞检测方法显着提高了11.35％至70.81％。

源代码（MLONCODE）上的机器学习有望改变软件的交付方式。通过挖掘软件伪像之间的上下文和关系，mloncode通过代码自动生成，代码建议，代码自动标记和其他数据驱动的增强功能增强了软件开发人员的功能。对于许多任务中，代码的脚本级别表示足够，但是，在许多情况下，要考虑各种依赖关系和存储库结构的存储库级表示，例如，自动标记存储库具有主题或自动记录的存储库。代码等，用于计算存储库级表示的现有方法受（a）依赖代码的自然语言文档（例如，读书文件）（b）方法/脚本级表示的天真聚集，例如，通过串联或平均值。本文介绍了一个深度神经网络，该网络可直接从源代码中生成可公开可用的GitHub代码存储库的存储库嵌入。主题结合了一种注意机制，该机制将源代码，完整依赖关系图和脚本级别的文本信息投射到密集的存储库级表示中。为了计算存储库级别的表示，局部训练可以预测与存储库相关的主题，该主题是在公开可用的GitHub存储库数据集中，这些存储库与他们的地面真相主题标签一起爬行。我们的实验表明，局部计算的嵌入能够胜过多个基线，包括通过在存储库自动标记的任务下平均或串联来天真地结合方法级表示的基线。

基于机器学习的程序分析最近显示了整合正式和概率推理对辅助软件开发的承诺。但是，在没有大型注释的语料库的情况下，培训这些分析是挑战性的。为了解决这个问题，我们呈现Buglab，一种自我监督学习的错误检测和修复方法。Buglab Co-Trains两种型号：（1）检测仪模型，用于检测和修复代码中的错误，（2）选择器模型，了解为探测器创建用于训练数据的错误代码。在2374个真实错误的测试数据集上，Buglab的Python实现在基线方法上提高了30％，并在开源软件中找到19个以前未知的错误。

恢复程序的呼叫图对于基于流程间分析任务和应用程序至关重要。核心挑战是识别间接呼叫的目标（即，间接分支机构）。由于二进制文件中的信息丢失，如果目标程序以二元形式为二元形式，则变得更具挑战性。二进制文件的现有间接Callee识别解决方案都具有高误报和负面，使呼叫图不准确。在本文中，我们提出了一种基于暹罗神经网络的新解决方案，受到质疑答案应用的进步的启发。关键洞察力是，神经网络可以学习通过理解其上下文，即附近呼叫和分支机构的指示是间接代表的潜在目标。在此洞察力之后，我们首先预处理目标二进制文件，以提取电话和分支的上下文。然后，我们构建适用于汇编语言的自定义自然语言处理（NLP）模型。此外，我们收集了丰富的呼叫和分支，并将其上下文与NLP模型嵌入，然后培训暹罗网络和分类器以回答电呼叫路上的问题。我们已经实施了Inclelee的原型，并在几组目标上进行了评估。评价结果表明，我们的解决方案可以将手段与F1措施相匹配93.7％，召回的93.8％，精度为93.5％，比最先进的解决方案好得多。为了展示其有用性，我们将iCallee应用于两个特定的应用 - 二进制代码相似性检测和二进制程序硬化，并发现它可以大大提高最先进的解决方案。

指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。

Deep learning-based vulnerability detection models have recently been shown to be effective and, in some cases, outperform static analysis tools. However, the highest-performing approaches use token-based transformer models, which do not leverage domain knowledge. Classical program analysis techniques such as dataflow analysis can detect many types of bugs and are the most commonly used methods in practice. Motivated by the causal relationship between bugs and dataflow analysis, we present DeepDFA, a dataflow analysis-guided graph learning framework and embedding that uses program semantic features for vulnerability detection. We show that DeepDFA is performant and efficient. DeepDFA ranked first in recall, first in generalizing over unseen projects, and second in F1 among all the state-of-the-art models we experimented with. It is also the smallest model in terms of the number of parameters, and was trained in 9 minutes, 69x faster than the highest-performing baseline. DeepDFA can be used with other models. By integrating LineVul and DeepDFA, we achieved the best vulnerability detection performance of 96.4 F1 score, 98.69 precision, and 94.22 recall.

代码摘要可帮助开发人员理解程序并减少在软件维护过程中推断程序功能的时间。最近的努力诉诸深度学习技术，例如序列到序列模型，以生成准确的代码摘要，其中基于变压器的方法已实现了有希望的性能。但是，在此任务域中，有效地将代码结构信息集成到变压器中的情况不足。在本文中，我们提出了一种名为SG-Trans的新方法，将代码结构属性纳入变压器。具体而言，我们将局部符号信息（例如，代码令牌和语句）和全局句法结构（例如，数据流程图）注入变压器的自我发项模块中。为了进一步捕获代码的层次结构特征，局部信息和全局结构旨在分布在下层和变压器高层的注意力头中。广泛的评估表明，SG-trans的表现优于最先进的方法。与表现最佳的基线相比，SG-Trans在流星评分方面仍然可以提高1.4％和2.0％，这是一个广泛用于测量发电质量的度量，分别在两个基准数据集上。

多标签遥感图像分类（MLRSIC）已获得越来越多的研究兴趣。将多个标签的辅助关系作为其他信息有助于提高此任务的性能。当前方法着重于使用它来限制卷积神经网络（CNN）的最终功能输出。一方面，这些方法不会充分利用标签相关来形成特征表示。另一方面，它们增加了系统的标签噪声灵敏度，导致稳健性差。在本文中，提出了一种称为语义交织的全球通道注意（Signa）的新颖方法。首先，根据数据集的统计信息获得标签共发生图。标签共发生图用作图形神经网络（GNN）的输入，以生成最佳特征表示。然后，语义特征和视觉特征交错，以指导图像从原始特征空间到具有嵌入式标签关系的语义特征空间的特征表达。 Signa在新的语义特征空间中触发了特征地图通道的全球关注，以提取更重要的视觉特征。提出了基于多头签名的功能自适应加权网络，以插件的方式对任何CNN作用。对于遥感图像，可以通过将CNN插入浅层层来实现更好的分类性能。我们对三个数据集进行了广泛的实验比较：UCM数据集，AID数据集和DFC15数据集。实验结果表明，与最新方法（SOTA）方法相比，所提出的Signa具有出色的分类性能。值得一提的是，本文的代码将向社区开放，以进行可重复性研究。我们的代码可在https://github.com/kyle-one/signa上找到。

从结构化数据中学习是一项核心机器学习任务。通常，此类数据表示为图，通常仅考虑（键入）节点对之间的二进制关系。对于具有高度结构化数据的许多域而言，这是一个实质性的限制。一个重要的域是源代码，基于超图的表示可以更好地捕获代码的语义丰富和结构化的性质。在这项工作中，我们提出了热量，这是一种能够代表键入和合格的超图的神经模型，在该模型中，每个Hyperede都明确地符合参与节点的贡献。它可以看作是传递神经网络和变压器的消息的概括。我们使用新型程序代表程序来评估知识库完成和错误检测和维修的热量。在这两种情况下，它都优于强大的基线，表明其力量和通用性。