这项工作调查了以知识图（kg）形式的外部知识来源的理解问题的学习和推理的挑战。我们提出了一种新型的图形神经网络体系结构，称为动态相关图形网络（DRGN）。 DRGN根据问题和答案实体在给定的KG子图上运行，并使用节点之间的相关得分来动态建立新的边缘，以在图形网络中学习节点表示。相关性的这种显式用法作为图表具有以下优点，a）模型可以利用现有关系，重新缩放节点权重，并影响邻里节点的表示方式在kg子图中汇总的方式，b）恢复推理所需的千克中缺失的边缘。此外，作为副产品，由于考虑了问题节点与图形实体之间的相关性，我们的模型改善了处理负面问题。与最新发布的结果相比，我们提出的方法在两个质量检查基准CommonSenseQA和OpenBookQA上显示了竞争性能。

使用从预先接受训练的语言模型（LMS）和知识图表（LMS）和知识图表（kgs）回答问题的问题提出了两个挑战：给定QA上下文（问答选择），方法需要（i）从大型千克识别相关知识，（ii）对QA上下文和kg进行联合推理。在这项工作中，我们提出了一种新的模型，QA-GNN，它通过两个关键创新解决了上述挑战：（i）相关评分，我们使用LMS来估计KG节点相对于给定的QA上下文的重要性，以及（ii）联合推理，我们将QA上下文和kg连接到联合图，并通过图形神经网络相互更新它们的表示。我们评估了QA基准的模型（CommanSeaseQA，OpenBookQA）和生物医学（MedQa-USMLE）域名。QA-GNN优于现有的LM和LM + kg模型，并表现出可解释和结构化推理的能力，例如，正确处理问题的否定。

我们研究了学习因果推理对程序文本的挑战，以回答“如果...”何时需要外常识知识。我们提出了一个新颖的多跳图推理模型，以1）有效地从大知识图中提取常识子图；2）通过推理从常识子图获得的表示以及问题与上下文之间的上下文相互作用来预测因果答案。我们评估了WIQA基准测试的模型，并与最近的模型相比实现了最先进的性能。

现有的kg增强模型用于问题回答主要专注于设计精心图形神经网络（GNN）以模拟知识图（KG）。但是，它们忽略了（i）有效地融合和推理过问题上下文表示和kg表示，并且（ii）在推理期间自动从嘈杂的KG中选择相关节点。在本文中，我们提出了一种新颖的型号，其通过LMS和GNN的联合推理和动态KGS修剪机制解决了上述限制。具体而言，ConntLK通过新的密集双向注意模块在LMS和GNN之间执行联合推理，其中每个问题令牌参加KG节点，每个KG节点都会参加问题令牌，并且两个模态表示熔断和通过多次熔断和更新。步互动。然后，动态修剪模块使用通过联合推理产生的注意重量来递归修剪无关的kg节点。我们在CommanSENSEQA和OpenBookQA数据集上的结果表明，我们的模态融合和知识修剪方法可以更好地利用相关知识来推理。

Question Answering (QA) is a task that entails reasoning over natural language contexts, and many relevant works augment language models (LMs) with graph neural networks (GNNs) to encode the Knowledge Graph (KG) information. However, most existing GNN-based modules for QA do not take advantage of rich relational information of KGs and depend on limited information interaction between the LM and the KG. To address these issues, we propose Question Answering Transformer (QAT), which is designed to jointly reason over language and graphs with respect to entity relations in a unified manner. Specifically, QAT constructs Meta-Path tokens, which learn relation-centric embeddings based on diverse structural and semantic relations. Then, our Relation-Aware Self-Attention module comprehensively integrates different modalities via the Cross-Modal Relative Position Bias, which guides information exchange between relevant entities of different modalities. We validate the effectiveness of QAT on commonsense question answering datasets like CommonsenseQA and OpenBookQA, and on a medical question answering dataset, MedQA-USMLE. On all the datasets, our method achieves state-of-the-art performance. Our code is available at http://github.com/mlvlab/QAT.

Machine reading comprehension (MRC) is a long-standing topic in natural language processing (NLP). The MRC task aims to answer a question based on the given context. Recently studies focus on multi-hop MRC which is a more challenging extension of MRC, which to answer a question some disjoint pieces of information across the context are required. Due to the complexity and importance of multi-hop MRC, a large number of studies have been focused on this topic in recent years, therefore, it is necessary and worth reviewing the related literature. This study aims to investigate recent advances in the multi-hop MRC approaches based on 31 studies from 2018 to 2022. In this regard, first, the multi-hop MRC problem definition will be introduced, then 31 models will be reviewed in detail with a strong focus on their multi-hop aspects. They also will be categorized based on their main techniques. Finally, a fine-grain comprehensive comparison of the models and techniques will be presented.

Knowledge graph (KG) link prediction aims to infer new facts based on existing facts in the KG. Recent studies have shown that using the graph neighborhood of a node via graph neural networks (GNNs) provides more useful information compared to just using the query information. Conventional GNNs for KG link prediction follow the standard message-passing paradigm on the entire KG, which leads to over-smoothing of representations and also limits their scalability. On a large scale, it becomes computationally expensive to aggregate useful information from the entire KG for inference. To address the limitations of existing KG link prediction frameworks, we propose a novel retrieve-and-read framework, which first retrieves a relevant subgraph context for the query and then jointly reasons over the context and the query with a high-capacity reader. As part of our exemplar instantiation for the new framework, we propose a novel Transformer-based GNN as the reader, which incorporates graph-based attention structure and cross-attention between query and context for deep fusion. This design enables the model to focus on salient context information relevant to the query. Empirical results on two standard KG link prediction datasets demonstrate the competitive performance of the proposed method.

问题回答（QA）对知识库（KBS）的挑战是充满挑战的，因为所需的推理模式多样化，本质上是无限的，类型的推理模式。但是，我们假设以大型KB为基础，以回答各自子图中各个实体的查询类型所需的推理模式。利用不同子图的本地社区之间的这种结构相似性，我们引入了一个半参数模型（cbr-subg），（i）一个非参数组件，每个查询，每个查询，都会动态检索其他类似的$ k $ - $ - $ - $ - near-neart-tebrienk（KNN）培训查询以及查询特定的子图和（ii）训练的参数组件，该参数分量可以从KNN查询的子图中识别（潜在的）推理模式，然后将其应用于目标查询的子图。我们还提出了一种自适应子图收集策略，以选择特定于查询的compact子图，从而使我们可以扩展到包含数十亿个事实的完整freebase kb。我们表明，CBR-SUBG可以回答需要子图推理模式的查询，并在几个KBQA基准上的最佳模型竞争性能。我们的子图收集策略还会产生更多紧凑的子图（例如，webQSP的尺寸减小55 \％，而将答案召回的召回率增加4.85 \％）\ footNote {代码，模型和子码头可在\ url {https://github.com上获得。 /rajarshd/cbr-subg}}。

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

语言模型（LM）是否可以通过固有的关系推理能力在知识库中的地面问题解决方案（QA）任务？尽管以前仅使用LMS的模型在许多质量检查任务上都看到了一些成功，但最新的方法包括知识图（KG），以补充LMS的逻辑驱动的隐式知识。但是，有效从结构化数据（例如KGS）中提取信息，使LMS保持开放性问题，并且当前模型依靠图形技术来提取知识。在本文中，我们建议仅利用LMS将基于知识的问题的语言和知识与灵活性，覆盖范围和结构化推理相结合。具体而言，我们设计了一种知识构建方法，该方法可以通过动态跳跃来检索相关背景，该方法比传统的基于GNN的技术表达了更全面的。我们设计了一种深层融合机制，以进一步弥合语言和知识之间交换瓶颈的信息。广泛的实验表明，我们的模型始终证明了其对CommenSensenSENSENSESQA基准测试的最先进性能，从而展示了仅利用LMS将LMS稳健地质量质量质量质量质量固定到知识库的可能性。

预训练的语言模型（PTLM）已显示出在自然语言任务上表现良好。许多先前的作品都以通过知识图（KGS）标记的关系链接的实体的形式利用结构性常识来协助PTLM。检索方法使用kg作为单独的静态模块，该模块限制了覆盖范围，因为kgs包含有限的知识。生成方法训练PTLMS kg三倍以提高获得知识的规模。但是，对符号KG实体的培训限制了其在涉及自然语言文本的任务中的适用性，在这些任务中，它们忽略了整体上下文。为了减轻这种情况，我们提出了一个以句子为条件的常识性上下文化器（COSE-CO）作为输入，以使其在生成与输入文本的整体上下文相关的任务中通常可用。为了训练Cose-Co，我们提出了一个新的数据集，其中包括句子和常识知识对。 COSE-CO推断出的知识是多种多样的，并且包含了基础KG中不存在的新实体。我们增强了在多选质量质量检查和开放式常识性推理任务中产生的知识，从而改善了CSQA，ARC，QASC和OBQA数据集的当前最佳方法。我们还展示了其在改善释义生成任务的基线模型方面的适用性。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

知识图表问题基于信息检索旨在通过从大型知识图表中检索答案来回答问题来回答（即，kgqa）。大多数现有方法首先粗略地检索可能包含候选答案的知识子图（KSG），然后搜索子图中的确切答案。然而，粗略检索的KSG可以包含数千个候选节点，因为查询中涉及的知识图通常是大规模的。为了解决这个问题，我们首先建议通过新的子图分区算法将检索到的ksg分区为几个较小的子ksgs，然后呈现一个图形增强学习，以便测量模型以从中选择排名的子ksgs。我们所提出的模型结合了新的子图匹配网络，以捕获问题和子图中的全局交互以及增强的双边多视角匹配模型，以捕获局部交互。最后，我们分别在全KSG和排名级分ksg上应用答案选择模型，以验证我们提出的图形增强学习的效果。多个基准数据集的实验结果表明了我们方法的有效性。

在知识图上回答自然语言问题（KGQA）仍然是通过多跳推理理解复杂问题的巨大挑战。以前的努力通常利用与实体相关的文本语料库或知识图（kg）嵌入作为辅助信息来促进答案选择。但是，实体之间隐含的富裕语义远未得到很好的探索。本文提议通过利用关系路径的混合语义来改善多跳kgqa。具体而言，我们基于新颖的旋转和规模的实体链接链接预测框架，集成了关系路径的明确文本信息和隐式kg结构特征。在三个KGQA数据集上进行的广泛实验证明了我们方法的优势，尤其是在多跳场景中。进一步的调查证实了我们方法在问题和关系路径之间的系统协调，以识别答案实体。

深度学习模型在各种自然语言处理任务中设置了基准。然而，这些模型需要巨大的培训数据，这在许多实际问题中是不可行的。虽然各种技术如域适应，但是几个学习技术解决了这个问题，我们介绍了一种积极地将外部知识的新技术引入学习以解决低数据制度问题。我们提出了一种称为Actknow的技术，它基于知识图（KG）的“按需”在学习中，激发了知识图表（KG）的知识（QA）。通过从概念网络中注入世界知识，我们对基于文本的基于文本的变压器模型的临时挑战 - 在低数据制度中的变压器模型上显示了显着的改进。例如，通过仅使用20％的训练示例，我们分别证明了弧形挑战和OpenBookQA的准确性提高了4％。

大多数图形之间的作品都是在具有交叉注意机制的编码器框架上构建的。最近的研究表明，对输入图结构进行明确建模可以显着改善性能。但是，香草结构编码器无法在所有解码步骤的单个正向通道中捕获所有专业信息，从而导致语义表示不准确。同时，输入图在交叉注意中作为无序序列被扁平，忽略了原始图形结构。结果，解码器中获得的输入图上下文向量可能存在缺陷。为了解决这些问题，我们提出了一种结构感知的交叉注意（SACA）机制，以在每个解码步骤中以结构意识的方式重新编码在新生成的上下文上的输入图表示条件。我们进一步调整SACA，并引入其变体动态图修剪（DGP）机制，以在解码过程中动态下降无关的节点。我们在两个图形数据集（LDC2020T02和ENT-DESC）上实现了新的最新结果，但计算成本仅略有增加。

Multi-hop Question Answering over Knowledge Graph~(KGQA) aims to find the answer entities that are multiple hops away from the topic entities mentioned in a natural language question on a large-scale Knowledge Graph (KG). To cope with the vast search space, existing work usually adopts a two-stage approach: it firstly retrieves a relatively small subgraph related to the question and then performs the reasoning on the subgraph to accurately find the answer entities. Although these two stages are highly related, previous work employs very different technical solutions for developing the retrieval and reasoning models, neglecting their relatedness in task essence. In this paper, we propose UniKGQA, a novel approach for multi-hop KGQA task, by unifying retrieval and reasoning in both model architecture and parameter learning. For model architecture, UniKGQA consists of a semantic matching module based on a pre-trained language model~(PLM) for question-relation semantic matching, and a matching information propagation module to propagate the matching information along the edges on KGs. For parameter learning, we design a shared pre-training task based on question-relation matching for both retrieval and reasoning models, and then propose retrieval- and reasoning-oriented fine-tuning strategies. Compared with previous studies, our approach is more unified, tightly relating the retrieval and reasoning stages. Extensive experiments on three benchmark datasets have demonstrated the effectiveness of our method on the multi-hop KGQA task. Our codes and data are publicly available at https://github.com/RUCAIBox/UniKGQA.

知识库及其以知识图（kg）形式的表示自然是不完整的。由于科学和工业应用已广泛采用，因此对完成信息的解决方案的需求很高。最近的一些作品通过学习实体和关系的嵌入来应对这一挑战，然后雇用它们来预测实体之间的新关系。尽管它们加重了，但大多数方法仅着眼于学习嵌入的当地邻居。结果，他们可能无法通过忽视长期依赖性和实体语义的传播来捕获KGS的上下文信息。在此手稿中，我们提出{\ ae} MP（来自多种模式的注意力嵌入），这是一种通过以下方式学习上下文化表示的新颖模型：实体的本地语义，同时着眼于邻里的各个方面； （ii）通过利用道路及其之间的关系来捕获语义上下文。我们的经验发现吸引了人们对注意力机制如何改善实体的上下文表示以及结合实体和语义路径环境如何改善实体的一般表示和关系预测的见解。几个大知识图基准的实验结果表明，{\ ae} MP的表现要优于最先进的关系预测方法。

近年来，在挑战的多跳QA任务方面有令人印象深刻的进步。然而，当面对输入文本中的一些干扰时，这些QA模型可能会失败，并且它们进行多跳推理的可解释性仍然不确定。以前的逆势攻击作品通常编辑整个问题句，这对测试基于实体的多跳推理能力有限。在本文中，我们提出了一种基于多跳推理链的逆势攻击方法。我们将从查询实体开始的多跳推理链与构造的图表中的答案实体一起制定，这使我们能够将问题对齐到每个推理跳跃，从而攻击任何跃点。我们将问题分类为不同的推理类型和对应于所选推理跳的部分问题，以产生分散注意力的句子。我们在HotpotQA DataSet上的三个QA模型上测试我们的对抗方案。结果表明，对答案和支持事实预测的显着性能降低，验证了我们推理基于链条推理模型的攻击方法的有效性以及它们的脆弱性。我们的对抗重新培训进一步提高了这些模型的性能和鲁棒性。

大多数阅读理解的研究都集中在基于单个文档甚至单一段落的问题上回答问题。我们介绍了一个神经模型，该神经模型集成和理由依赖于文档中和跨多个文档中的信息传播。我们将其作为图表上的推理问题构图。提及实体是该图的节点，而边缘编码不同提及（例如，内部和跨文档的共同参考）之间的关系。图形卷积网络（GCN）应用于这些图形，并经过训练以执行多步电推理。我们的实体-GCN方法是可扩展的，紧凑的，它可以在答案数据集的多文件问题上获得最新的结果，Wikihop（Welbl等，2018）。