本体对齐（A.K.A本体匹配（OM））在知识集成中起着关键作用。由于机器学习在许多域中的成功，它已应用于OM。然而，通常采用ad-hoc特征工程或非上下文词嵌入的现有方法尚未表现出基于规则的系统，特别是在无监督的环境中。在本文中，我们提出了一个名为BertMap的新型OM系统，它可以支持无监督和半监督的设置。它首先使用基于微调从本体中提取的文本语义语料上的上下文嵌入模型伯特来预测使用分类器的映射，然后通过利用本体结构和逻辑来通过扩展和修复来改进映射。我们在生物医学本体上的三个对齐任务的评估表明BertMap通常可以比领先的OM系统LogMap和AML更好。

本体匹配（OM）在许多领域（例如生物信息学和语义网络）中起着重要作用，其研究变得越来越流行，尤其是在机器学习（ML）技术的应用中。尽管本体论对准评估计划（OAEI）代表了对OM系统进行系统评估的令人印象深刻的努力，但它仍然受到了几个限制，包括对集合映射的评估，次优参考映射以及对基于ML的系统评估的支持有限。为了应对这些限制，我们介绍了五项新的生物医学OM任务，这些任务涉及从Mondo和UMLS提取的本体。每个任务既包括等价和归因匹配；通过人类的策展，本体论修剪等确保参考映射的质量。并提出了一个全面的评估框架，以从基于ML的基于ML和非ML的OM系统从各个角度衡量OM性能。我们报告了不同类型的OM系统的评估结果，以证明这些资源的使用情况，所有这些资源都是在OAEI 2022年新的BioML轨道的一部分中公开使用的。

自动化本体策划是知识工程中的至关重要的任务。通过机器学习技术（例如语义嵌入）的预测是一个有希望的方向，但相关研究仍然是初步的。在本文中，我们提出了一个名为Bertsubs的类集合预测方法，该方法使用预训练的语言模型BERT来计算类标签和自定义输入模板的上下文嵌入，以结合周围类的上下文。对两个大型现实世界的评估表明，其性能比最先进的表现更好。

机器学习方法尤其是深度神经网络取得了巨大的成功，但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中，我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此，低资源学习，旨在学习具有足够资源（特别是培训样本）的强大预测模型，现在正在被广泛调查。在所有低资源学习研究中，许多人更喜欢以知识图（kg）的形式利用一些辅助信息，这对于知识表示变得越来越受欢迎，以减少对标记样本的依赖。在这项调查中，我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习（ZSL）的预测，从未出现过训练，而且很少拍摄的学习（FSL）预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案，然后系统地分类和总结了KG感知ZSL和FSL方法，将它们划分为不同的范例，例如基于映射的映射，数据增强，基于传播和基于优化的。我们接下来呈现了不同的应用程序，包括计算机视觉和自然语言处理中的kg增强预测任务，还包括kg完成的任务，以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向，以及高质量的KGs的建设。

计算文本表型是从临床注释中鉴定出患有某些疾病和特征的患者的实践。由于很少有用于机器学习的案例和域专家的数据注释需求，因此难以识别的罕见疾病要确定。我们提出了一种使用本体论和弱监督的方法，并具有来自双向变压器（例如BERT）的最新预训练的上下文表示。基于本体的框架包括两个步骤：（i）文本到umls，通过上下文将提及与统一医学语言系统（UMLS）中的概念链接到命名的实体识别和链接（NER+L）工具，SemeHR中提取表型。 ，以及具有自定义规则和上下文提及表示的弱监督； （ii）UMLS-to-to-ordo，将UMLS概念与孤子罕见疾病本体论（ORDO）中的罕见疾病相匹配。提出了弱监督的方法来学习一个表型确认模型，以改善链接的文本对umls，而没有域专家的注释数据。我们评估了来自美国和英国两个机构的三个出院摘要和放射学报告的临床数据集的方法。我们最好的弱监督方法获得了81.4％的精度和91.4％的召回，从模仿III出院摘要中提取罕见疾病UMLS表型。总体管道处理临床笔记可以表面罕见疾病病例，其中大部分在结构化数据（手动分配的ICD代码）中没有受到平衡。关于模仿III和NHS Tayside的放射学报告的结果与放电摘要一致。我们讨论了弱监督方法的有用性，并提出了未来研究的方向。

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code and experiment details of this paper can be obtained from https:// github.com/thunlp/ERNIE.

外部知识（A.K.A.侧面信息）在零拍摄学习（ZSL）中起着关键作用，该角色旨在预测从未出现在训练数据中的看不见的类。已被广泛调查了几种外部知识，例如文本和属性，但他们独自受到不完整的语义。因此，一些最近的研究提出了由于其高度富有效力和代表知识的兼容性而使用知识图表（千克）。但是，ZSL社区仍然缺乏用于学习和比较不同外部知识设置和基于不同的KG的ZSL方法的标准基准。在本文中，我们提出了六个资源，涵盖了三个任务，即零拍摄图像分类（ZS-IMGC），零拍摄关系提取（ZS-RE）和零拍KG完成（ZS-KGC）。每个资源都有一个正常的zsl基准标记和包含从文本到属性的kg的kg，从关系知识到逻辑表达式。我们已清楚地介绍了这些资源，包括其建设，统计数据格式和使用情况W.r.t.不同的ZSL方法。更重要的是，我们进行了一项全面的基准研究，具有两个通用和最先进的方法，两种特定方法和一种可解释方法。我们讨论并比较了不同的ZSL范式W.R.T.不同的外部知识设置，并发现我们的资源具有开发更高级ZSL方法的巨大潜力，并为应用KGS进行增强机学习的更多解决方案。所有资源都可以在https://github.com/china-uk-zsl/resources_for_kzsl上获得。

当查询使用不同的词汇表时，在大型临床本体中寻找概念可能是挑战。一种克服这个问题的搜索算法在概念归一化和本体匹配之类的应用中有用，其中概念可以以不同的方式引用，使用不同的同义词。在本文中，我们提出了一种基于深度学习的方法来构建大型临床本体的语义搜索系统。我们提出了一种三重型BERT模型和一种直接从本体产生培训数据的方法。该模型使用五个真实的基准数据集进行评估，结果表明，我们的方法在自由文本上实现了高结果，以概念和概念到概念搜索任务，并且优越所有基线方法。

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a;Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial taskspecific architecture modifications.BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

链接的开放数据实践导致了过去十年中网络上结构化数据的显着增长。这样的结构化数据以机器可读的方式描述了现实世界实体，并为自然语言处理领域的研究创造了前所未有的机会。但是，缺乏有关如何使用此类数据，哪种任务以及它们在多大程度上对这些任务有用的研究。这项工作着重于电子商务领域，以探索利用此类结构化数据来创建可能用于产品分类和链接的语言资源的方法。我们以RDF N四分之一的形式处理数十亿个结构化数据点，以创建数百万个与产品相关的语料库单词，后来以三种不同的方式用于创建语言资源：培训单词嵌入模型，继续预训练类似于Bert的语言模型和训练机器翻译模型，这些模型被用作生成产品相关的关键字的代理。我们对大量基准测试的评估表明，嵌入单词是提高这两个任务准确性的最可靠和一致的方法（在某些数据集中，宏观 - 平均F1中最高6.9个百分点）。但是，其他两种方法并不那么有用。我们的分析表明，这可能是由于许多原因，包括结构化数据中的偏置域表示以及缺乏词汇覆盖范围。我们分享我们的数据集，并讨论如何将我们所学到的经验教训朝着这一方向介绍未来的研究。

专利数据是创新研究知识的重要来源。尽管专利对之间的技术相似性是用于专利分析的关键指标。最近，研究人员一直在使用基于不同NLP嵌入模型的专利矢量空间模型来计算专利对之间的技术相似性，以帮助更好地了解创新，专利景观，技术映射和专利质量评估。据我们所知，没有一项全面的调查来建立嵌入模型的性能以计算专利相似性指标的大图。因此，在这项研究中，我们根据专利分类性能概述了这些算法的准确性。在详细的讨论中，我们报告了部分，类和子类级别的前3个算法的性能。基于专利的第一个主张的结果表明，专利，贝特（Bert-For）和tf-idf加权单词嵌入具有最佳准确性，可以在亚类级别计算句子嵌入。根据第一个结果，不同类别中模型的性能各不相同，这表明专利分析中的研究人员可以利用本研究的结果根据他们使用的专利数据的特定部分选择最佳的适当模型。

变量名称对于传达预期的程序行为至关重要。基于机器学习的程序分析方法使用变量名称表示广泛的任务，例如建议新的变量名称和错误检测。理想情况下，这些方法可以捕获句法相似性的名称之间的语义关系，例如，名称平均和均值的事实是相似的。不幸的是，以前的工作发现，即使是先前的最佳的表示方法主要是捕获相关性（是否有两个变量始终链接），而不是相似性（是否具有相同的含义）。我们提出了VarCLR，一种用于学习变量名称的语义表示的新方法，这些方法有效地捕获了这种更严格的意义上的可变相似性。我们观察到这个问题是对比学习的优秀契合，旨在最小化明确类似的输入之间的距离，同时最大化不同输入之间的距离。这需要标记的培训数据，因此我们构建了一种新颖的弱监督的变量重命名数据集，从GitHub编辑开采。我们表明VarCLR能够有效地应用BERT等复杂的通用语言模型，以变为变量名称表示，因此也是与变量名称相似性搜索或拼写校正等相关的下游任务。 varclr产生模型，显着越优于idbench的最先进的现有基准，明确地捕获可变相似度（与相关性不同）。最后，我们贡献了所有数据，代码和预先训练模型的版本，旨在为现有或未来程序分析中使用的可变表示提供的可变表示的替代品。

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

开放信息提取（OIE）方法从非结构化文本中提取大量的OIE三元<名词短语，关系短语，名词短语>，它们组成了大型开放知识基础（OKB）。此类OKB中的名词短语和关系短语不是规范化的，这导致了散落和冗余的事实。发现知识的两种观点（即，基于事实三重的事实视图和基于事实三重源上下文的上下文视图）提供了互补信息，这对于OKB规范化的任务至关重要，该信息将其簇为同义名词短语和关系短语分为同一组，并为他们分配唯一的标识符。但是，到目前为止，这两种知识的观点已被现有作品孤立地利用。在本文中，我们提出了CMVC，这是一个新颖的无监督框架，该框架利用这两种知识的观点共同将典范的OKBS化，而无需手动注释的标签。为了实现这一目标，我们提出了一种多视图CH K均值聚类算法，以相互加强通过考虑其不同的聚类质量从每个视图中学到的特定视图嵌入的聚类。为了进一步提高规范化的性能，我们在每个特定视图中分别提出了一个培训数据优化策略，以迭代方式完善学习视图的特定嵌入。此外，我们提出了一种对数跳跃算法，以数据驱动的方式预测簇数的最佳数量，而无需任何标签。我们通过针对最新方法的多个现实世界OKB数据集进行了广泛的实验来证明我们的框架的优势。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

The relationship between words in a sentence often tells us more about the underlying semantic content of a document than its actual words, individually. In this work, we propose two novel algorithms, called Flexible Lexical Chain II and Fixed Lexical Chain II. These algorithms combine the semantic relations derived from lexical chains, prior knowledge from lexical databases, and the robustness of the distributional hypothesis in word embeddings as building blocks forming a single system. In short, our approach has three main contributions: (i) a set of techniques that fully integrate word embeddings and lexical chains; (ii) a more robust semantic representation that considers the latent relation between words in a document; and (iii) lightweight word embeddings models that can be extended to any natural language task. We intend to assess the knowledge of pre-trained models to evaluate their robustness in the document classification task. The proposed techniques are tested against seven word embeddings algorithms using five different machine learning classifiers over six scenarios in the document classification task. Our results show the integration between lexical chains and word embeddings representations sustain state-of-the-art results, even against more complex systems.

We introduce KPI-Check, a novel system that automatically identifies and cross-checks semantically equivalent key performance indicators (KPIs), e.g. "revenue" or "total costs", in real-world German financial reports. It combines a financial named entity and relation extraction module with a BERT-based filtering and text pair classification component to extract KPIs from unstructured sentences before linking them to synonymous occurrences in the balance sheet and profit & loss statement. The tool achieves a high matching performance of $73.00$% micro F$_1$ on a hold out test set and is currently being deployed for a globally operating major auditing firm to assist the auditing procedure of financial statements.

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。

End-to-end text-to-speech synthesis (TTS) can generate highly natural synthetic speech from raw text. However, rendering the correct pitch accents is still a challenging problem for end-to-end TTS. To tackle the challenge of rendering correct pitch accent in Japanese end-to-end TTS, we adopt PnG~BERT, a self-supervised pretrained model in the character and phoneme domain for TTS. We investigate the effects of features captured by PnG~BERT on Japanese TTS by modifying the fine-tuning condition to determine the conditions helpful inferring pitch accents. We manipulate content of PnG~BERT features from being text-oriented to speech-oriented by changing the number of fine-tuned layers during TTS. In addition, we teach PnG~BERT pitch accent information by fine-tuning with tone prediction as an additional downstream task. Our experimental results show that the features of PnG~BERT captured by pretraining contain information helpful inferring pitch accent, and PnG~BERT outperforms baseline Tacotron on accent correctness in a listening test.