A crucial issue of current text generation models is that they often uncontrollably generate factually inconsistent text with respective of their inputs. Limited by the lack of annotated data, existing works in evaluating factual consistency directly transfer the reasoning ability of models trained on other data-rich upstream tasks like question answering (QA) and natural language inference (NLI) without any further adaptation. As a result, they perform poorly on the real generated text and are biased heavily by their single-source upstream tasks. To alleviate this problem, we propose a weakly supervised framework that aggregates multiple resources to train a precise and efficient factual metric, namely WeCheck. WeCheck first utilizes a generative model to accurately label a real generated sample by aggregating its weak labels, which are inferred from multiple resources. Then, we train the target metric model with the weak supervision while taking noises into consideration. Comprehensive experiments on a variety of tasks demonstrate the strong performance of WeCheck, which achieves a 3.4\% absolute improvement over previous state-of-the-art methods on TRUE benchmark on average.

实际一致性是实际设置中文本摘要模型的基本质量。在评估此维度的现有工作可以大致分为两行研究，基于征收的指标和问题应答（QA）的指标。然而，最近作品中提出的不同的实验设置导致对比的结论是哪个范例表现最佳。在这项工作中，我们进行了广泛的征集和基于QA的指标的比较，致力于仔细选择基于QA的度量的组件对于性能至关重要。在那些见解中，我们提出了一个优化的公制，我们称之为QAFacteval，这导致了对夏季事实一致性基准的基于QA的度量标准的平均平均平均改进。我们的解决方案提高了基于最佳的基于范围的公制，并在该基准测试中实现了最先进的性能。此外，我们发现基于QA和基于征求的度量提供了互补信号，并将两者组合成单个学习的度量，以进一步提升。通过定性和定量分析，我们将问题生成和可应答性分类视为基于QA的度量的未来工作的两个关键组成部分。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

查询聚焦的文本摘要（QFTS）任务旨在构建基于给定查询的文本文档摘要的构建系统。解决此任务的关键挑战是缺乏培训摘要模型的大量标记数据。在本文中，我们通过探索一系列域适应技术来解决这一挑战。鉴于最近在广泛的自然语言处理任务中进行预先接受的变压器模型的成功，我们利用此类模型为单文档和多文件方案的QFTS任务产生抽象摘要。对于域适应，我们使用预先训练的变压器的摘要模型应用了各种技术，包括转移学习，弱监督学习和远程监督。六个数据集的广泛实验表明，我们所提出的方法非常有效地为QFTS任务产生抽象摘要，同时在一组自动和人类评估指标上设置新的最先进的结果。

最先进的抽象摘要系统经常生成\ emph {幻觉};即，不直接从源文本中推断的内容。尽管被认为是不正确的，我们发现非常令人难潮的内容是事实，即与世界知识一致。这些事实幻觉通过提供有用的背景信息，可以在摘要中受益。在这项工作中，我们提出了一种新的检测方法，将事实与实体的非事实幻觉分开。我们的方法分别使用实体的先前和后验概率，分别是预训练和芬特的屏蔽语言模型。经验结果表明，我们的方法在精度和F1分数方面大大优于两种基线％，与人类判断强烈相关。百分比对事实分类任务。此外，我们显示我们的探测器，当用作离线增强学习（RL）算法中的奖励信号时，显着提高了摘要的事实性，同时保持抽象水平。

在本文中，我们建议利用对话的独特特征，共享参与者的常识性知识，以解决总结它们的困难。我们提出了病态的框架，该框架使用常识推论作为其他背景。与以前仅依赖于输入对话的工作相比，Sick使用外部知识模型来生成丰富的常识推断，并选择具有基于相似性选择方法的最可能的推理。基于生病的，病人++的理解为监督，在总结多任务学习环境中的对话时，添加了产生常识推断的任务。实验结果表明，通过注入常识性知识，我们的框架比现有方法产生更多信息和一致的摘要。

在摘要域中，摘要的关键要求是与输入文档一致。以前的工作发现，当应用于不一致检测时，自然语言推理（NLI）模型不会竞争地执行。在这项工作中，我们重新访问NLI的使用进行不一致检测，发现过去的工作遭到了NLI数据集（句子级）与不一致检测（文档级别）之间的输入粒度不匹配。我们提供称为SummacConv的高效和轻量级方法，使NLI模型能够通过将文档分段为句子单元并在句子对之间聚合得分来成功地用于此任务。在我们的新推出的基准名为Summac（简介一致性）中由六个大的不一致检测数据集组成，SummacConv以74.4％的均衡精度获得最先进的结果，与现有工作相比，5％的点改进。我们制作可用的模型和数据集：https://github.com/tingofurro/summac

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

预审前的语言模型通过提供高质量的上下文化单词嵌入来显着改善了下游语言理解任务（包括提取性问题）的性能。但是，培训问答模型仍然需要大量特定域的注释数据。在这项工作中，我们提出了一个合作的自我训练框架RGX，用于自动生成更非平凡的问题 - 解答对以提高模型性能。 RGX建立在带有答案实体识别器，问题生成器和答案提取器的交互式学习环境的蒙版答案提取任务上。给定带有蒙版实体的段落，生成器会在实体周围生成一个问题，并培训了提取器，以提取蒙面实体，并使用生成的问题和原始文本。该框架允许对任何文本语料库的问题产生和回答模型进行培训，而无需注释。实验结果表明，RGX优于最先进的语言模型（SOTA）的语言模型，并在标准提问基准的基准上采用转移学习方法，并在给定的模型大小和传输学习设置下产生新的SOTA性能。

知识密集型语言任务（苏格兰信）通常需要大量信息来提供正确的答案。解决此问题的一种流行范式是将搜索系统与机器读取器相结合，前者检索支持证据，后者检查它们以产生答案。最近，读者组成部分在大规模预培养的生成模型的帮助下见证了重大进展。同时，搜索组件中的大多数现有解决方案都依赖于传统的``索引 - retrieve-then-Rank''管道，该管道遭受了巨大的内存足迹和端到端优化的困难。受到最新构建基于模型的IR模型的努力的启发，我们建议用新颖的单步生成模型替换传统的多步搜索管道，该模型可以极大地简化搜索过程并以端到端的方式进行优化。我们表明，可以通过一组经过适当设计的预训练任务来学习强大的生成检索模型，并被采用以通过进一步的微调来改善各种下游苏格兰短裙任务。我们将预训练的生成检索模型命名为Copusbrain，因为有关该语料库的所有信息均以其参数进行编码，而无需构造其他索引。经验结果表明，在苏格兰语基准上的检索任务并建立了新的最新性能，Copusbrain可以极大地超过强大的基准。我们还表明，在零农源和低资源设置下，科体班运行良好。

对话是人类沟通与合作的重要组成部分。现有研究主要关注一对一时尚的短对话情景。然而，现实世界中的多人互动，例如会议或访谈，经常超过几千个字。仍然缺乏相应的研究和强大的工具来了解和处理这么长的对话。因此，在这项工作中，我们为长时间对话理解和总结提供了预先培训框架。考虑到长期交谈的性质，我们提出了一种基于窗口的去噪方法，用于生成预训练。对于对话框，它损坏了一个带有对话激发灵感噪声的文本窗口，并指导模型基于剩余对话的内容来重建此窗口。此外，为了更长的输入，我们增加了稀疏关注模型，这些模型以混合方式与传统的关注相结合。我们在长对话的五个数据集进行广泛的实验，涵盖对话摘要的任务，抽象问题回答和主题分割。实验，我们表明，我们的预先训练的模型DialogLM显着超越了数据集和任务的最先进的模型。我们的GitHub存储库（HTTPS:/github.com/microsoft/dialoglm上有源代码和所有预先训练的型号。

自动摘要评估对于机器生成和人为生产的摘要都有用。自动评估给定文档的摘要文本启用，例如，摘要生成系统开发和检测不适当的摘要。摘要评估可以以多种模式进行：排名摘要生成系统；对特定文档的排名摘要；并在绝对规模上估算文档 - 苏格尔对的质量。带有注释的现有数据集用于摘要评估，通常基于新闻摘要数据集，例如CNN/DailyMail或XSUM。在这项工作中，我们描述了一个新的数据集，即播客摘要评估语料库，这是由TREC2020的人类专家评估的播客摘要集。与现有的摘要评估数据相比，该数据集具有两个独特的方面：（i）基于语音播客的长输入，文档； （ii）有机会在播客语料库中检测不适当的参考摘要。首先，我们检查了现有的评估方法，包括无模型和基于模型的方法，并为此长输入摘要评估数据集提供基准结果。其次，为了过滤参考参考文献配对以进行培训，我们采用摘要评估进行数据选择。这两个方面的实验结果为摘要评估和发电任务提供了有趣的见解。播客摘要评估数据可用。

Temporal reasoning is the task of predicting temporal relations of event pairs with corresponding contexts. While some temporal reasoning models perform reasonably well on in-domain benchmarks, we have little idea of the systems' generalizability due to existing datasets' limitations. In this work, we introduce a novel task named TODAY that bridges this gap with temporal differential analysis, which as the name suggests, evaluates if systems can correctly understand the effect of incremental changes. Specifically, TODAY makes slight context changes for given event pairs, and systems need to tell how this subtle contextual change will affect temporal relation distributions. To facilitate learning, TODAY also annotates human explanations. We show that existing models, including GPT-3, drop to random guessing on TODAY, suggesting that they heavily rely on spurious information rather than proper reasoning for temporal predictions. On the other hand, we show that TODAY's supervision style and explanation annotations can be used in joint learning and encourage models to use more appropriate signals during training and outperform across several benchmarks. TODAY can also be used to train models to solicit incidental supervision from noisy sources such as GPT-3 and moves farther towards generic temporal reasoning systems.

Controllable Text Generation (CTG) is emerging area in the field of natural language generation (NLG). It is regarded as crucial for the development of advanced text generation technologies that are more natural and better meet the specific constraints in practical applications. In recent years, methods using large-scale pre-trained language models (PLMs), in particular the widely used transformer-based PLMs, have become a new paradigm of NLG, allowing generation of more diverse and fluent text. However, due to the lower level of interpretability of deep neural networks, the controllability of these methods need to be guaranteed. To this end, controllable text generation using transformer-based PLMs has become a rapidly growing yet challenging new research hotspot. A diverse range of approaches have emerged in the recent 3-4 years, targeting different CTG tasks which may require different types of controlled constraints. In this paper, we present a systematic critical review on the common tasks, main approaches and evaluation methods in this area. Finally, we discuss the challenges that the field is facing, and put forward various promising future directions. To the best of our knowledge, this is the first survey paper to summarize CTG techniques from the perspective of PLMs. We hope it can help researchers in related fields to quickly track the academic frontier, providing them with a landscape of the area and a roadmap for future research.

利用预训练语言模型的抽象摘要系统在基准数据集上取得了卓越的结果。但是，此类模型已被证明更容易幻觉，这些事实对输入背景不忠。在本文中，我们提出了一种通过实体覆盖范围控制（ECC）来补救实体级外部幻觉的方法。我们首先计算实体覆盖范围的精度，并为每个培训示例提供相应的控制代码，该示例隐含地指导该模型在训练阶段识别忠实的内容。我们通过从Wikipedia提取的大但嘈杂的数据中进行中间调整进一步扩展了我们的方法，以解锁零击摘要。我们表明，根据我们对三个基准数据集XSUM，PubMed和Samsum的实验结果，根据我们在监督的微调和零射击设置中，可以在监督微调和零摄像设置中更加忠实和显着的抽象性汇总。

在这项工作中，我们提出了一种将问题回答（QA）信号纳入摘要模型的方法。我们的方法通过自动生成由NPS回答的WH问题并自动确定在黄金摘要中是否回答这些问题，识别输入文档中的显着名词短语（NPS）。基于QA的信号被纳入了一种双级摘要模型，该模型首先使用分类模型在输入文档中标记突出NPS，然后有条件地生成摘要。我们的实验表明，使用基于QA的监督训练的模型产生了比在基准摘要数据集上识别突出跨度的基线方法的高质量摘要。此外，我们示出可以基于输入文档中标记的NPS来控制所产生的摘要的内容。最后，我们提出了一种增强培训数据的方法，因此黄金摘要与培训期间使用的标记的输入跨度更加一致，并展示了如何在学习更好地排除未标记的文档内容的模型中的结果。

Knowledge-grounded dialogue systems powered by large language models often generate responses that, while fluent, are not attributable to a relevant source of information. Progress towards models that do not exhibit this issue requires evaluation metrics that can quantify its prevalence. To this end, we introduce the Benchmark for Evaluation of Grounded INteraction (BEGIN), comprised of 12k dialogue turns generated by neural dialogue systems trained on three knowledgegrounded dialogue corpora. We collect human annotations assessing the extent to which the models' responses can be attributed to the given background information. We then use BEGIN to analyze eight evaluation metrics. We find that these metrics rely on spurious correlations, do not reliably distinguish attributable abstractive responses from unattributable ones, and perform substantially worse when the knowledge source is longer. Our findings underscore the need for more sophisticated and robust evaluation metrics for knowledge-grounded dialogue. We make BEGIN publicly available at https://github.com/ google/BEGIN-dataset.

大型语言模型可以产生流畅的对话，但往往是幻觉的事实不准确。虽然检索式增强的模型有助于缓解这个问题，但他们仍然面临着推理的艰难挑战，以便同时提供正确的知识和产生对话。在这项工作中，我们提出了一种模块化模型，知识响应（K2R），将知识纳入会话代理商，这将这个问题分解为两个更简单的步骤。 K2R首先生成一个知识序列，给定对话背景作为中间步骤。在此“推理步骤”之后，该模型随后参加自己生成的知识序列，以及对话背景，以产生最终的响应。在详细的实验中，我们发现这种模型在知识接地的对话任务中少幻觉，并且在可解释性和模块化方面具有优势。特别地，它可以用来将QA和对话系统一起融合在一起，以使对话代理能够提供知识渊博的答案，或者QA模型，以在零拍摄设置中给出对话响应。

Dialogue summarization has recently garnered significant attention due to its wide range of applications. However, existing methods for summarizing dialogues are suboptimal because they do not take into account the inherent structure of dialogue and rely heavily on labeled data, which can lead to poor performance in new domains. In this work, we propose DIONYSUS (dynamic input optimization in pre-training for dialogue summarization), a pre-trained encoder-decoder model for summarizing dialogues in any new domain. To pre-train DIONYSUS, we create two pseudo summaries for each dialogue example: one is produced by a fine-tuned summarization model, and the other is a collection of dialogue turns that convey important information. We then choose one of these pseudo summaries based on the difference in information distribution across different types of dialogues. This selected pseudo summary serves as the objective for pre-training DIONYSUS using a self-supervised approach on a large dialogue corpus. Our experiments show that DIONYSUS outperforms existing methods on six datasets, as demonstrated by its ROUGE scores in zero-shot and few-shot settings.

弱监督指定的实体识别方法训练标签模型，以汇总多个嘈杂标签功能（LFS）的代币注释，而无需看到任何手动注释的标签。为了正常工作，标签模型需要在上下文上识别和强调表现出色的LF，同时降低表现不佳的情况。但是，由于缺乏地面真理，评估LFS是具有挑战性的。为了解决这个问题，我们提出了稀疏条件隐藏的马尔可夫模型（稀疏-CHMM）。稀疏-CHMM并没有将整个发射矩阵视为其他基于HMM的方法，而是专注于估计其对角线元素，这些元素被认为是LFS的可靠性得分。然后将稀疏分数扩展到具有预定义膨胀函数的全面发射矩阵。我们还通过加权XOR分数来增强发射，该分数跟踪LF观察不正确实体的概率。通过三阶段的训练管道通过无监督的学习来优化稀疏-CHMM，从而降低了训练难度并防止模型落入本地Optima。与扳手基准中的基线相比，稀疏-CHMM在五个综合数据集上取得了3.01的平均F1分数提高。实验表明，稀疏-CHMM的每个组件都是有效的，估计的LF可靠性与真实LF F1分数密切相关。