目前，自然语言理解（NLU）中最根本的两个挑战是：（a）如何以“正确”的原因确定基于深度学习的模型是否在NLU基准上得分很高；（b）了解这些原因甚至是什么。我们研究了关于两个语言“技能”的阅读理解模型的行为：核心分辨率和比较。我们为从系统中预期的推理步骤提出了一个定义，该系统将“缓慢阅读”，并将其与各种大小的贝特家族的五个模型的行为进行比较，这是通过显着分数和反事实解释观察到的。我们发现，对于比较（而不是核心），基于较大编码器的系统更有可能依靠“正确”的信息，但即使他们在概括方面也很难，表明他们仍然学习特定的词汇模式，而不是比较的一般原则。

我们提出了一种可解释的关系提取方法，通过共同训练这两个目标来减轻概括和解释性之间的张力。我们的方法使用多任务学习体系结构，该体系结构共同训练分类器以进行关系提取，并在解释关系分类器的决策的关系中标记单词的序列模型。我们还将模型输出转换为规则，以将全局解释带入这种方法。使用混合策略对此序列模型进行训练：有监督，当可获得预先存在的模式的监督时，另外还要半监督。在后一种情况下，我们将序列模型的标签视为潜在变量，并学习最大化关系分类器性能的最佳分配。我们评估了两个数据集中的提议方法，并表明序列模型提供了标签，可作为关系分类器决策的准确解释，并且重要的是，联合培训通常可以改善关系分类器的性能。我们还评估了生成的规则的性能，并表明新规则是手动规则的重要附加功能，并使基于规则的系统更接近神经模型。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

已经做出了许多努力，试图理解什么语法知识（例如，理解代币的语音部分的能力）是在大型预训练的语言模型（LM）中编码的。这是通过“边缘探测”（EP）测试完成的：监督分类任务，以预测SPAN的语法属性（是否具有语音的特定部分）仅使用来自LM编码器的令牌表示。但是，大多数NLP应用程序对这些LM编码器进行了微调，以用于特定任务。在这里，我们问：如果通过EP测试来衡量，LM是否进行了微调，它的语言信息的编码会改变吗？具体来说，我们专注于回答（QA）的任务，并在多个数据集上进行实验。我们发现，当微调模型表现良好或在模型被迫学习错误的相关性的对抗情况下，EP测试结果不会发生显着变化。从类似的发现来看，最近的一些论文得出结论，微调不会改变编码器中的语言知识，但它们没有提供解释。我们发现，EP模型本身容易利用EP数据集中的虚假相关性。当纠正该数据集偏差时，我们确实会看到EP测试结果的改善。

尽管预训练的语言模型（LMS）在许多NLP任务中都取得了重大改进，但人们越来越关注探索LMS的能力并解释其预测。但是，现有作品通常仅着眼于某些下游任务的特定功能。缺乏直接评估蒙版单词预测性能和预训练LMS的解释性的数据集。为了填补空白，我们提出了一个新颖的评估基准，以提供英语和中文注释的数据。它在多个维度（即语法，语义，知识，推理和计算）中测试LMS能力。此外，它提供了满足足够和紧凑性的仔细注释的令牌级别的理由。它包含每个原始实例的扰动实例，以便将扰动下的基本原理一致性用作忠实的指标，即解释性的观点。我们在几个广泛使用的预训练的LMS上进行实验。结果表明，他们在知识和计算的维度上表现较差。而且它们在所有维度上的合理性远非令人满意，尤其是当理由缩短时。此外，我们评估的预训练的LMS在语法感知数据上并不强大。我们将以\ url {http：// xyz}发布此评估基准，并希望它可以促进预训练的LMS的研究进度。

Transformer-based language models have been shown to be highly effective for several NLP tasks. In this paper, we consider three transformer models, BERT, RoBERTa, and XLNet, in both small and large version, and investigate how faithful their representations are with respect to the semantic content of texts. We formalize a notion of semantic faithfulness, in which the semantic content of a text should causally figure in a model's inferences in question answering. We then test this notion by observing a model's behavior on answering questions about a story after performing two novel semantic interventions -- deletion intervention and negation intervention. While transformer models achieve high performance on standard question answering tasks, we show that they fail to be semantically faithful once we perform these interventions for a significant number of cases (~50% for deletion intervention, and ~20% drop in accuracy for negation intervention). We then propose an intervention-based training regime that can mitigate the undesirable effects for deletion intervention by a significant margin (from ~50% to ~6%). We analyze the inner-workings of the models to better understand the effectiveness of intervention-based training for deletion intervention. But we show that this training does not attenuate other aspects of semantic unfaithfulness such as the models' inability to deal with negation intervention or to capture the predicate-argument structure of texts. We also test InstructGPT, via prompting, for its ability to handle the two interventions and to capture predicate-argument structure. While InstructGPT models do achieve very high performance on predicate-argument structure task, they fail to respond adequately to our deletion and negation interventions.

Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.

近年来，低资源机器阅读理解（MRC）取得了重大进展，模型在各种语言数据集中获得了显着性能。但是，这些模型都没有为URDU语言定制。这项工作探讨了通过将机器翻译的队伍与来自剑桥O级书籍的Wikipedia文章和Urdu RC工作表组合的人生成的样本组合了机器翻译的小队，探讨了乌尔通题的半自动创建了数据集（UQuad1.0）。 UQuad1.0是一个大型URDU数据集，用于提取机器阅读理解任务，由49K问题答案成对组成，段落和回答格式。在UQuad1.0中，通过众包的原始SquAd1.0和大约4000对的机器翻译产生45000对QA。在本研究中，我们使用了两种类型的MRC型号：基于规则的基线和基于先进的变换器的模型。但是，我们发现后者优于其他人;因此，我们已经决定专注于基于变压器的架构。使用XLMroberta和多语言伯特，我们分别获得0.66和0.63的F1得分。

Machine reading comprehension (MRC) is a long-standing topic in natural language processing (NLP). The MRC task aims to answer a question based on the given context. Recently studies focus on multi-hop MRC which is a more challenging extension of MRC, which to answer a question some disjoint pieces of information across the context are required. Due to the complexity and importance of multi-hop MRC, a large number of studies have been focused on this topic in recent years, therefore, it is necessary and worth reviewing the related literature. This study aims to investigate recent advances in the multi-hop MRC approaches based on 31 studies from 2018 to 2022. In this regard, first, the multi-hop MRC problem definition will be introduced, then 31 models will be reviewed in detail with a strong focus on their multi-hop aspects. They also will be categorized based on their main techniques. Finally, a fine-grain comprehensive comparison of the models and techniques will be presented.

Multi-hop Machine reading comprehension is a challenging task with aim of answering a question based on disjoint pieces of information across the different passages. The evaluation metrics and datasets are a vital part of multi-hop MRC because it is not possible to train and evaluate models without them, also, the proposed challenges by datasets often are an important motivation for improving the existing models. Due to increasing attention to this field, it is necessary and worth reviewing them in detail. This study aims to present a comprehensive survey on recent advances in multi-hop MRC evaluation metrics and datasets. In this regard, first, the multi-hop MRC problem definition will be presented, then the evaluation metrics based on their multi-hop aspect will be investigated. Also, 15 multi-hop datasets have been reviewed in detail from 2017 to 2022, and a comprehensive analysis has been prepared at the end. Finally, open issues in this field have been discussed.

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

快捷方式学习的问题在NLP中广为人知，并且近年来一直是重要的研究重点。数据中的意外相关性使模型能够轻松地求解旨在表现出高级语言理解和推理能力的任务。在本调查论文中，我们关注机器阅读理解的领域（MRC），这是展示高级语言理解的重要任务，这也遭受了一系列快捷方式。我们总结了用于测量和减轻快捷方式的可用技术，并以捷径研究进一步进展的建议结论。最重要的是，我们强调了MRC中缓解快捷方式的两个主要问题：缺乏公共挑战集，有效和可重复使用的评估的必要组成部分以及在其他领域中缺乏某些缓解技术。

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

使用知识图（KGS）增强预培训的语言模型在各种型号推理任务方面取得了成功。但是，对于给定的任务实例，kg或kg的某些部分可能没有用。虽然kg-cugmented模型经常使用注意力集中在特定的kg组件上，但仍然始终使用kg，并且从未明确教授应该使用关注机制。同时，显着性方法可以测量kg特征（例如，图形，节点，路径）对模型进行正确预测的影响，从而解释了哪个kg特征是有用的。本文探讨了可用于提高kg增强模型的性能的显着性解释。首先，我们建议创建粗（是kg有用的？）和精细（kg中的节点/路径是有用的？）显着解释。其次，为了激励基于显着的监督，我们分析了Oracle kg-angimented模型，即直接使用显着解释作为引导他们注意的额外输入。第三，我们提出Salkg，kg-ug-anded模型的框架，以从粗糙和/或罚款解释中学习。给定从任务的培训集创建的显着解释，Salkg共同列举模型来预测解释，然后通过参加预测的解释突出显示的kg功能来解决任务。在三个型号QA基准（CSQA，OBQA，Codah）和一系列KG增强模型中，我们表明Salkg可以产生相当大的性能增益 - 对CSQA的绝对改善高达2.76％。

微调预训练模型在标准的自然语言处理基准上取得了令人印象深刻的性能。然而，所产生的模型概括性仍然明确地理解。例如，我们不知道，性能如何导致泛化模型的完善。在这项研究中，我们使用关系提取来分析来自不同观点的微调BERT模型。我们还根据我们提出的改进来表征泛化技术的差异。从经验实验中，我们发现BERT通过随机化，对抗性和反事实试验以及偏差（即选择和语义）遭受鲁棒性而遭受瓶颈。这些发现突出了未来改进的机会。我们的开放式测试平台诊断为\ url {https://github.com/zjunlp/diagnosere}。

为了实现长文档理解的构建和测试模型，我们引入质量，具有中文段的多项选择QA DataSet，具有约5,000个令牌的平均长度，比典型的当前模型更长。与经过段落的事先工作不同，我们的问题是由阅读整个段落的贡献者编写和验证的，而不是依赖摘要或摘录。此外，只有一半的问题是通过在紧缩时间限制下工作的注释器来应答，表明略读和简单的搜索不足以一直表现良好。目前的模型在此任务上表现不佳（55.4％），并且落后于人类性能（93.5％）。

Large language models show improved downstream task performance when prompted to generate step-by-step reasoning to justify their final answers. These reasoning steps greatly improve model interpretability and verification, but objectively studying their correctness (independent of the final answer) is difficult without reliable methods for automatic evaluation. We simply do not know how often the stated reasoning steps actually support the final end task predictions. In this work, we present ROSCOE, a suite of interpretable, unsupervised automatic scores that improve and extend previous text generation evaluation metrics. To evaluate ROSCOE against baseline metrics, we design a typology of reasoning errors and collect synthetic and human evaluation scores on commonly used reasoning datasets. In contrast with existing metrics, ROSCOE can measure semantic consistency, logicality, informativeness, fluency, and factuality - among other traits - by leveraging properties of step-by-step rationales. We empirically verify the strength of our metrics on five human annotated and six programmatically perturbed diagnostics datasets - covering a diverse set of tasks that require reasoning skills and show that ROSCOE can consistently outperform baseline metrics.

问题答案（QA）是自然语言处理中最具挑战性的最具挑战性的问题之一（NLP）。问答（QA）系统试图为给定问题产生答案。这些答案可以从非结构化或结构化文本生成。因此，QA被认为是可以用于评估文本了解系统的重要研究区域。大量的QA研究致力于英语语言，调查最先进的技术和实现最先进的结果。然而，由于阿拉伯QA中的研究努力和缺乏大型基准数据集，在阿拉伯语问答进展中的研究努力得到了很大速度的速度。最近许多预先接受的语言模型在许多阿拉伯语NLP问题中提供了高性能。在这项工作中，我们使用四个阅读理解数据集来评估阿拉伯QA的最先进的接种变压器模型，它是阿拉伯语 - 队，ArcD，AQAD和TYDIQA-GoldP数据集。我们微调并比较了Arabertv2基础模型，ArabertV0.2大型型号和ARAElectra模型的性能。在最后，我们提供了一个分析，了解和解释某些型号获得的低绩效结果。