会话问题应答（CQA）系统旨在为用户提供自然语言答案，以信息寻求对话。现有的CQA基准测试与预先收集的人类谈话进行比较模型，使用在会话历史中提供的地面真理答案。它仍然尚不清楚我们是否可以依赖于模型开发的这种静态评估，以及当前系统是否能够充分地概括为现实世界的人机对话。在这项工作中，我们开展了最先进的CQA系统的大规模人类评估，人类评估人员与模型交谈并判断了答案的正确性。我们发现，人机对话的分布与人类谈话的分配急剧不同，并且在模型排名方面存在人和金历史评估之间的分歧。我们进一步调查了如何改进自动评估，并提出基于预测历史的问题重写机制，与人类判断更好地相关。最后，我们讨论了各种建模策略和未来方向对更好的会话问题应答系统的影响。

Humans gather information through conversations involving a series of interconnected questions and answers. For machines to assist in information gathering, it is therefore essential to enable them to answer conversational questions. We introduce CoQA, a novel dataset for building Conversational Question Answering systems. 1 Our dataset contains 127k questions with answers, obtained from 8k conversations about text passages from seven diverse domains. The questions are conversational, and the answers are free-form text with their corresponding evidence highlighted in the passage. We analyze CoQA in depth and show that conversational questions have challenging phenomena not present in existing reading comprehension datasets, e.g., coreference and pragmatic reasoning. We evaluate strong dialogue and reading comprehension models on CoQA. The best system obtains an F1 score of 65.4%, which is 23.4 points behind human performance (88.8%), indicating there is ample room for improvement. We present CoQA as a challenge to the community at https://stanfordnlp. github.io/coqa.

大多数在对话率问题回答中建模对话历史记录（CQA）的作品报告了共同CQA基准测试的主要结果。尽管现有模型在CQA排行榜上显示出令人印象深刻的结果，但尚不清楚它们在设置方面（有时是更现实的），训练数据大小（例如从大型集合到小型集合）和域是否有牢固的变化。在这项工作中，我们设计并进行了首次针对CQA的历史建模方法的大规模鲁棒性研究。我们发现，高基准分数不一定会转化为强大的鲁棒性，并且在不同的设置下，各种方法的性能都大不相同。配备了我们研究的见解，我们设计了一种基于及时的新型历史建模方法，并在各种环境中展示了其强大的鲁棒性。我们的方法灵感来自现有方法，这些方法突出了段落中的历史答案。但是，我们不是通过修改段落令牌嵌入来突出显示，而是直接在段落文本中添加文本提示。我们的方法简单，易于插入实际上任何模型，并且非常有效，因此我们建议它作为未来模型开发人员的起点。我们还希望我们的研究和见解将提高人们对以鲁棒性评估的重要性的认识，除了获得较高的排行榜分数，从而提高了更好的CQA系统。

We present QuAC, a dataset for Question Answering in Context that contains 14K information-seeking QA dialogs (100K questions in total). The dialogs involve two crowd workers: (1) a student who poses a sequence of freeform questions to learn as much as possible about a hidden Wikipedia text, and (2) a teacher who answers the questions by providing short excerpts from the text. QuAC introduces challenges not found in existing machine comprehension datasets: its questions are often more open-ended, unanswerable, or only meaningful within the dialog context, as we show in a detailed qualitative evaluation. We also report results for a number of reference models, including a recently state-ofthe-art reading comprehension architecture extended to model dialog context. Our best model underperforms humans by 20 F1, suggesting that there is significant room for future work on this data. Dataset, baseline, and leaderboard available at http://quac.ai.

包含布尔问题的现有数据集（如Booolq和Tydi QA）为用户提供对问题的是/否响应。然而，一个单词响应不足以可说明的系统。我们通过释放一组标记现有TYDI QA和Booolq数据集的证据的新辅助来促进解释性。我们表明，与依赖现有资源的模型相比，我们的注释可用于培训提取改进证据跨度的模型。我们通过用户学习确认我们的调查结果表明我们提取的证据涵盖了增强用户体验。我们还提供进一步了解回答布尔问题的挑战，例如包含冲突的是和无答案的段落，以及预测证据的不同程度。

在寻求信息的对话中，用户与代理商进行对话，以提出一系列通常可以不足或过度指定的问题。理想的代理商首先将通过搜索其基本知识来源，然后与用户进行适当互动以解决它，从而确定他们处于这种情况。但是，大多数现有研究都无法或人为地纳入此类代理端计划。在这项工作中，我们介绍了Inscit（发音为Insight），这是一种用于与混合互动相互作用的信息寻求对话的数据集。它包含从805个人类对话中进行的4.7k用户代理转弯，代理商对Wikipedia进行搜索，并要求澄清或提供相关信息以解决用户查询。我们定义了两个子任务，即证据通过识别和响应产生，以及一种新的人类评估协议来评估模型绩效。我们根据对话知识识别和开放域问题的最新模型报告了两个强大的基线的结果。这两种模型都显着不足，并且没有产生连贯和信息丰富的反应，这表明未来的研究有足够的改进空间。

虽然通过简单的因素问题回答，文本理解的大量进展，但更加全面理解话语仍然存在重大挑战。批判性地反映出文本的人将造成好奇心驱动，通常是开放的问题，这反映了对内容的深刻理解，并要求复杂的推理来回答。建立和评估这种类型的话语理解模型的关键挑战是缺乏注释数据，特别是因为找到了这些问题的答案（可能根本不回答），需要高度的注释载荷的高认知负荷。本文提出了一种新的范式，使可扩展的数据收集能够针对新闻文件的理解，通过话语镜头查看这些问题。由此产生的语料库DCQA（疑问回答的话语理解）包括在607名英语文件中的22,430个问题答案对组成。 DCQA以自由形式，开放式问题的形式捕获句子之间的话语和语义链接。在评估集中，我们向问题上的问题提交了来自好奇数据集的问题，我们表明DCQA提供了有价值的监督，以回答开放式问题。我们还在使用现有的问答资源设计预训练方法，并使用合成数据来适应不可批售的问题。

为了实现长文档理解的构建和测试模型，我们引入质量，具有中文段的多项选择QA DataSet，具有约5,000个令牌的平均长度，比典型的当前模型更长。与经过段落的事先工作不同，我们的问题是由阅读整个段落的贡献者编写和验证的，而不是依赖摘要或摘录。此外，只有一半的问题是通过在紧缩时间限制下工作的注释器来应答，表明略读和简单的搜索不足以一直表现良好。目前的模型在此任务上表现不佳（55.4％），并且落后于人类性能（93.5％）。

我们介绍了作为创建高质量的，对抗机器阅读透明数据的注释，用于为动态对抗数据收集（DADC）的第一个研讨会的提取质量检查数据。DADC是一个新兴的数据收集范式，循环中都有模型和人类。我们设置了准实验注释设计，并对各组进行定量分析，这些分析量不同，这些注释者重点是成功的对抗攻击，成本分析和注释者置信度相关。鉴于我们数据集中的段落的不同主题，我们进一步对我们对任务的困难进行了定性分析，并以建议和建议对从事未来DADC任务和相关注释接口的人们可能有价值。

最近的开放式域问题回答表明，新颖的测试问题之间的模型性能和那些在很大程度上与培训问题重叠的模型性能存在很大差异。然而，目前尚不清楚新颖的问题的哪些方面使他们成为挑战。在进行系统泛化的研究时，我们根据三个类别介绍和注释问题，这些类别测量了不同的水平和概括的种类：培训设定重叠，组成泛化（Comp-Gen）和新颖的实体概括（新实体）。在评估六个流行的参数和非参数模型时，我们发现，对于既定的自然问题和TriviaQA数据集，即使是Comp-Gen /新颖实体的最强的模型性能也是13.1 / 5.4％和9.6 / 1.5％，而与此相比降低对于完整的测试集 - 表示这些类型的问题所带来的挑战。此外，我们表明，虽然非参数模型可以相对良好地处理含有新颖实体的问题，但它们与那些需要组成泛化的问题斗争。最后，我们发现关键问题是：来自检索组件的级联错误，问题模式的频率和实体的频率。

知识依赖任务通常使用两个知识来源：参数，在培训时间和上下文中学到的，作为推理时间的段落给出。要了解模型如何使用这些来源，我们正式化知识冲突问题，其中上下文信息与学到的信息相矛盾。分析流行模型的行为，我们衡量其过度依赖记忆信息（幻觉的原因），并揭示加剧这种行为的重要因素。最后，我们提出了一种简单的方法来减轻对参数知识的过度依赖，这最大限度地减少了幻觉，并提高了分配的推广4％-7％。我们的调查结果表明了从业者评估模型倾向于幻觉而不是阅读的重要性，并表明我们的缓解战略鼓励向不断发展的信息（即时间依赖查询）概括。为鼓励这些做法，我们发布了我们的框架，以产生知识冲突。

随着近期自然语言生成（NLG）模型的各种应用程序的改进，它变得必须具有识别和评估NLG输出是否仅共享关于外部世界的可验证信息的手段。在这项工作中，我们提出了一个归属于识别的来源（AIS）的新评估框架，用于评估自然语言生成模型的输出，当这种输出涉及外部世界时。我们首先定义AIS，并引入两级注释管道，用于允许注释器根据AIS指南适当地评估模型输出。通过人为评估研究，我们在三个代数据集（会话QA域中的两个中和总结一下，概括地验证了这种方法，表明AIS可以作为测量模型生成的语句是否支持基础来源的常见框架。我们释放人类评估研究指南。

尽管改善神经对话代理的事实准确性是大量研究的对象，但在神经对话的环境中，沟通的另一个重要方面是对无知的透明度。在这项工作中，我们分析了最新的聊天模型在多大程度上是语言校准的，因为它们的疑问（或信心）的口头表达与该模型的响应实际上是不正确（或正确）的可能性相匹配。 。我们发现这些模型的校准很差，但是我们表明可以准确预测正确性的可能性。通过将这种元认知特征纳入可控生成模型的训练中，我们获得了具有大大改进语言校准的对话代理。尽管改善神经对话代理的事实准确性是大量研究的对象，但在神经对话的环境中，沟通的另一个重要方面是对无知的透明度。在这项工作中，我们分析了最新的聊天模型在多大程度上是语言校准的，因为它们的疑问（或信心）的口头表达与该模型的响应实际上是不正确（或正确）的可能性相匹配。 。我们发现这些模型的校准很差，但是我们表明可以准确预测正确性的可能性。通过将这种元认知特征纳入可控生成模型的训练中，我们获得了具有大大改进语言校准的对话代理。

Language models (LMs) now excel at many tasks such as few-shot learning, question answering, reasoning, and dialog. However, they sometimes generate unsupported or misleading content. A user cannot easily determine whether their outputs are trustworthy or not, because most LMs do not have any built-in mechanism for attribution to external evidence. To enable attribution while still preserving all the powerful advantages of recent generation models, we propose RARR (Retrofit Attribution using Research and Revision), a system that 1) automatically finds attribution for the output of any text generation model and 2) post-edits the output to fix unsupported content while preserving the original output as much as possible. When applied to the output of several state-of-the-art LMs on a diverse set of generation tasks, we find that RARR significantly improves attribution while otherwise preserving the original input to a much greater degree than previously explored edit models. Furthermore, the implementation of RARR requires only a handful of training examples, a large language model, and standard web search.

Existing question answering (QA) datasets fail to train QA systems to perform complex reasoning and provide explanations for answers. We introduce HOTPOTQA, a new dataset with 113k Wikipedia-based question-answer pairs with four key features: (1) the questions require finding and reasoning over multiple supporting documents to answer; (2) the questions are diverse and not constrained to any pre-existing knowledge bases or knowledge schemas; (3) we provide sentence-level supporting facts required for reasoning, allowing QA systems to reason with strong supervision and explain the predictions; (4) we offer a new type of factoid comparison questions to test QA systems' ability to extract relevant facts and perform necessary comparison. We show that HOTPOTQA is challenging for the latest QA systems, and the supporting facts enable models to improve performance and make explainable predictions.

人类在对话中提出的问题通常包含上下文依赖性，即对先前对话转弯的明确或隐式引用。这些依赖性采用核心发挥的形式（例如，通过代词使用）或椭圆形，并且可以使自动化系统的理解难以理解。促进对问题的理解和后续治疗方法的一种方法是将其重写为不受欢迎的形式，即可以理解的形式而没有对话性上下文。我们提出了Coqar，Coqar是一种语料库，其中包含$ 4.5 $ k的对话中的对话询问数据集COQA，总计$ 53 $ K的后续提问 - 答案对。每个原始问题都在至少2个脱离台面重写中手动注释。 COQAR可用于监督三个任务的监督：问题释义，问题重写和会话问题回答。为了评估Coqar重写的质量，我们进行了几项实验，包括培训和评估这三个任务的模型。我们的结果支持以下想法：问题重写可以用作问题回答模型的预处理步骤，从而提高其性能。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

Large pre-trained language models have recently enabled open-ended generation frameworks (e.g., prompt-to-text NLG) to tackle a variety of tasks going beyond the traditional data-to-text generation. While this framework is more general, it is under-specified and often leads to a lack of controllability restricting their real-world usage. We propose a new grounded keys-to-text generation task: the task is to generate a factual description about an entity given a set of guiding keys, and grounding passages. To address this task, we introduce a new dataset, called EntDeGen. Inspired by recent QA-based evaluation measures, we propose an automatic metric, MAFE, for factual correctness of generated descriptions. Our EntDescriptor model is equipped with strong rankers to fetch helpful passages and generate entity descriptions. Experimental result shows a good correlation (60.14) between our proposed metric and human judgments of factuality. Our rankers significantly improved the factual correctness of generated descriptions (15.95% and 34.51% relative gains in recall and precision). Finally, our ablation study highlights the benefit of combining keys and groundings.

In the last year, new models and methods for pretraining and transfer learning have driven striking performance improvements across a range of language understanding tasks. The GLUE benchmark, introduced a little over one year ago, offers a single-number metric that summarizes progress on a diverse set of such tasks, but performance on the benchmark has recently surpassed the level of non-expert humans, suggesting limited headroom for further research. In this paper we present SuperGLUE, a new benchmark styled after GLUE with a new set of more difficult language understanding tasks, a software toolkit, and a public leaderboard. SuperGLUE is available at super.gluebenchmark.com.

会话问题生成（CQG）是机器通过对话等人类（例如交互式阅读理解）的重要任务。与传统的单转交问题（SQG）相比，CQG更具挑战性的意义，即生成的问题不仅需要有意义，而且要与发生的对话历史保持一致。虽然先前的研究主要集中于如何建模对话的流量和对齐，但迄今为止，尚无对模型必需部分和历史的部分进行全面的研究。我们认为，缩短上下文和历史是至关重要的，因为它可以帮助该模型对对话的一致性进行更多优化。为此，我们提出了一个两阶段CQG框架COHS-CQG，该框架采用COHS模块来缩短输入的上下文和历史记录。特别是，COHS选择连续的句子，并根据其相关性得分通过顶级P策略转弯。我们的模型在答案感和答案环境中都可以在COQA上实现最先进的表演。