缺乏创造力的抽象方法在自动文本摘要中尤其是一个问题。模型产生的摘要主要是从源文章中提取的。该问题的主要原因之一是缺乏抽象性的数据集，尤其是对于中文而言。为了解决这个问题，我们用CLT中的参考摘要解释，中国长文本摘要数据集，正确的事实不一致的错误，并提出了第一个中国长文本摘要数据集，其中包含高度的clts+，其中包含超过更多的中文。 180k文章 - 苏格尔对，可在线购买。此外，我们引入了一个基于共发生词的固有度量，以评估我们构建的数据集。我们对CLTS+摘要中使用的提取策略进行了针对其他数据集的提取策略，以量化我们的新数据的抽象性和难度，并在CLTS+上训练多个基线，以验证IT的实用性以提高模型的创造力。

健康素养被出现为制定适当的健康决策和确保治疗结果的关键因素。然而，医学术语和该领域的专业语言的复杂结构使健康信息尤为难以解释。因此，迫切需要对自动化方法来提高生物医学文献的可访问性，以提高一般人群。这个问题可以作为医疗保健专业人员语言与公众的语言之间的翻译问题。在本文中，我们介绍了自动化生物医学科学评论的制定语言摘要的新任务，建设了一个数据集，以支持自动化方法的开发和评估，以提高生物医学文献的可访问性。我们对解决这项任务的各种挑战进行了分析，包括不仅对关键要点的总结，而且还概述了对背景知识和专业语言的简化的解释。我们试验最先进的摘要模型以及多种数据增强技术，并使用自动指标和人工评估评估其性能。结果表明，与专家专家专门开发的参考摘要相比，使用当代神经架构产生的自动产生的摘要可以实现有希望的质量和可读性（最佳Rouge-L为50.24和Flesch-Kincaid可读性得分为13.30）。我们还讨论了目前尝试的局限性，为未来工作提供了洞察和方向。

We introduce extreme summarization, a new single-document summarization task which does not favor extractive strategies and calls for an abstractive modeling approach. The idea is to create a short, one-sentence news summary answering the question "What is the article about?". We collect a real-world, large scale dataset for this task by harvesting online articles from the British Broadcasting Corporation (BBC). We propose a novel abstractive model which is conditioned on the article's topics and based entirely on convolutional neural networks. We demonstrate experimentally that this architecture captures longrange dependencies in a document and recognizes pertinent content, outperforming an oracle extractive system and state-of-the-art abstractive approaches when evaluated automatically and by humans. 1

Cross-Lingual Summarization (CLS) aims at generating summaries in one language for the given documents in another language. CLS has attracted wide research attention due to its practical significance in the multi-lingual world. Though great contributions have been made, existing CLS works typically focus on short documents, such as news articles, short dialogues and guides. Different from these short texts, long documents such as academic articles and business reports usually discuss complicated subjects and consist of thousands of words, making them non-trivial to process and summarize. To promote CLS research on long documents, we construct Perseus, the first long-document CLS dataset which collects about 94K Chinese scientific documents paired with English summaries. The average length of documents in Perseus is more than two thousand tokens. As a preliminary study on long-document CLS, we build and evaluate various CLS baselines, including pipeline and end-to-end methods. Experimental results on Perseus show the superiority of the end-to-end baseline, outperforming the strong pipeline models equipped with sophisticated machine translation systems. Furthermore, to provide a deeper understanding, we manually analyze the model outputs and discuss specific challenges faced by current approaches. We hope that our work could benchmark long-document CLS and benefit future studies.

大型和超大语言模型的开发，例如GPT-3，T5，Switch Transformer，Ernie等，已经显着改善了文本生成的性能。该领域的重要研究方向之一是产生具有争论的文本。该问题的解决方案可以用于商务会议，政治辩论，对话系统，以准备学生论文。这些应用的主要领域之一是经济领域。俄罗斯语言的论证文本生成的关键问题是缺乏注释的论证语料库。在本文中，我们将论证的微观版，说服力论文和UKP句子语料库的翻译版本用于微调Rubert模型。此外，该模型用于通过论证注释经济新闻的语料库。然后使用带注释的语料库微调Rugpt-3模型，该模型生成参数文本。结果表明，与原始RUGPT-3模型相比，这种方法将论点生成的准确性提高了20个百分点（63.2％对42.5％）。

The research on text summarization for low-resource Indian languages has been limited due to the availability of relevant datasets. This paper presents a summary of various deep-learning approaches used for the ILSUM 2022 Indic language summarization datasets. The ISUM 2022 dataset consists of news articles written in Indian English, Hindi, and Gujarati respectively, and their ground-truth summarizations. In our work, we explore different pre-trained seq2seq models and fine-tune those with the ILSUM 2022 datasets. In our case, the fine-tuned SoTA PEGASUS model worked the best for English, the fine-tuned IndicBART model with augmented data for Hindi, and again fine-tuned PEGASUS model along with a translation mapping-based approach for Gujarati. Our scores on the obtained inferences were evaluated using ROUGE-1, ROUGE-2, and ROUGE-4 as the evaluation metrics.

多文件摘要（MDS）是信息聚合的有效工具，它从与主题相关文档集群生成信息和简洁的摘要。我们的调查是，首先，系统地概述了最近的基于深度学习的MDS模型。我们提出了一种新的分类学，总结神经网络的设计策略，并进行全面的最先进的概要。我们突出了在现有文献中很少讨论的各种客观函数之间的差异。最后，我们提出了与这个新的和令人兴奋的领域有关的几个方向。

Bidirectional Encoder Representations from Transformers (BERT; Devlin et al. 2019) represents the latest incarnation of pretrained language models which have recently advanced a wide range of natural language processing tasks. In this paper, we showcase how BERT can be usefully applied in text summarization and propose a general framework for both extractive and abstractive models. We introduce a novel document-level encoder based on BERT which is able to express the semantics of a document and obtain representations for its sentences. Our extractive model is built on top of this encoder by stacking several intersentence Transformer layers. For abstractive summarization, we propose a new fine-tuning schedule which adopts different optimizers for the encoder and the decoder as a means of alleviating the mismatch between the two (the former is pretrained while the latter is not). We also demonstrate that a two-staged fine-tuning approach can further boost the quality of the generated summaries. Experiments on three datasets show that our model achieves stateof-the-art results across the board in both extractive and abstractive settings. 1

随着大数据挖掘和现代大量文本分析的出现和普及，自动化文本摘要在从文档中提取和检索重要信息而变得突出。这项研究从单个和多个文档的角度研究了自动文本摘要的各个方面。摘要是将庞大的文本文章凝结成简短的摘要版本的任务。为了摘要目的，该文本的大小减小，但保留了关键的重要信息并保留原始文档的含义。这项研究介绍了潜在的Dirichlet分配（LDA）方法，用于从具有与基因和疾病有关的主题进行摘要的医学科学期刊文章进行主题建模。在这项研究中，基于Pyldavis Web的交互式可视化工具用于可视化所选主题。可视化提供了主要主题的总体视图，同时允许并将深度含义归因于流行率单个主题。这项研究提出了一种新颖的方法来汇总单个文档和多个文档。结果表明，使用提取性摘要技术在处理后的文档中考虑其主题患病率的概率，纯粹是通过考虑其术语来排名的。 Pyldavis可视化描述了探索主题与拟合LDA模型的术语的灵活性。主题建模结果显示了主题1和2中的流行率。该关联表明，本研究中的主题1和2中的术语之间存在相似性。使用潜在语义分析（LSA）和面向召回的研究测量LDA和提取性摘要方法的功效，以评估模型的可靠性和有效性。

Narrative summarization aims to produce a distilled version of a narrative to describe its most salient events and characters. Summarizing a narrative is challenging as it requires an understanding of event causality and character behaviors. To encourage research in this direction, we propose NarraSum, a large-scale narrative summarization dataset. It contains 122K narrative documents, which are collected from plot descriptions of movies and TV episodes with diverse genres, and their corresponding abstractive summaries. Experiments show that there is a large performance gap between humans and the state-of-the-art summarization models on NarraSum. We hope that this dataset will promote future research in summarization, as well as broader studies of natural language understanding and generation. The dataset is available at https://github.com/zhaochaocs/narrasum.

尽管最近的抽象性摘要在自动评估指标上取得了成功，但生成的摘要仍然与源文档呈现事实不一致。在本文中，我们专注于实体级别的事实不一致，即减少生成的摘要与源文档之间的不匹配实体。因此，我们提出了一种基于实体的新型跨度机制，并通过全球相关成分探索其扩展。四个摘要数据集的实验结果表明，跨度可以有效地改善实体级别的事实一致性，而单词级别和实体级别的显着性基本上没有变化。该代码可在https://github.com/wendy-xiao/entity基于基础上找到

尽管具有抽象文本摘要的神经序列到序列模型的成功，但它具有一些缺点，例如重复不准确的事实细节并倾向于重复自己。我们提出了一个混合指针发生器网络，以解决再现事实细节的缺点和短语重复。我们使用混合指针发生器网络增强了基于注意的序列到序列，该混合指针发生器网络可以生成词汇单词并增强再现真实细节的准确性和劝阻重复的覆盖机制。它产生合理的输出文本，可以保留输入文章的概念完整性和事实信息。为了评估，我们主要雇用“百拉那” - 一个高度采用的公共孟加拉数据集。此外，我们准备了一个名为“BANS-133”的大型数据集，由133K Bangla新闻文章组成，与人类生成的摘要相关。试验拟议的模型，我们分别实现了胭脂-1和胭脂 - 2分别为0.66,0.41的“Bansdata”数据集，分别为0.67,0.42，为Bans-133k“数据集。我们证明了所提出的系统超过以前的国家 - 近距离数据集的近距离攀义概要技术及其稳定性。“Bans-133”数据集和代码基础将公开进行研究。

诸如学术文章和商业报告之类的长期文件一直是详细说明重要问题和需要额外关注的复杂主题的标准格式。自动汇总系统可以有效地将长文档置于简短而简洁的文本中，以封装最重要的信息，从而在帮助读者的理解中很重要。最近，随着神经体系结构的出现，已经做出了重大的研究工作，以推动自动文本摘要系统，以及有关将这些系统扩展到长期文档领域的挑战的大量研究。在这项调查中，我们提供了有关长期文档摘要的研究的全面概述，以及其研究环境的三个主要组成部分的系统评估：基准数据集，汇总模型和评估指标。对于每个组成部分，我们在长期汇总的背景下组织文献，并进行经验分析，以扩大有关当前研究进度的观点。实证分析包括一项研究基准数据集的内在特征，摘要模型的多维分析以及摘要评估指标的综述。根据总体发现，我们通过提出可能在这个快速增长的领域中提出未来探索的方向来得出结论。

文本摘要方法一直引起了很多关注。近年来，深入学习已被应用于文本摘要，结果表明是非常有效的。然而，基于深度学习的大多数基于深度学习的文本摘要方法需要大规模数据集，这很难在实际应用中实现。本文提出了一种基于多轮计算的无监督的提取文本摘要方法。基于定向图算法，我们改变了一次计算句子排名的传统方法，以多轮计算，并且摘要句子在每一轮计算后动态优化，以更好地匹配文本的特征。在本文中，实验在四个数据集中进行，每组单独包含汉语，英文，长短和短文本。实验结果表明，我们的方法具有比基线方法和其他无监督方法更好的性能，并且在不同的数据集中是强大的。

Nowadays, time-stamped web documents related to a general news query floods spread throughout the Internet, and timeline summarization targets concisely summarizing the evolution trajectory of events along the timeline. Unlike traditional document summarization, timeline summarization needs to model the time series information of the input events and summarize important events in chronological order. To tackle this challenge, in this paper, we propose a Unified Timeline Summarizer (UTS) that can generate abstractive and extractive timeline summaries in time order. Concretely, in the encoder part, we propose a graph-based event encoder that relates multiple events according to their content dependency and learns a global representation of each event. In the decoder part, to ensure the chronological order of the abstractive summary, we propose to extract the feature of event-level attention in its generation process with sequential information remained and use it to simulate the evolutionary attention of the ground truth summary. The event-level attention can also be used to assist in extracting summary, where the extracted summary also comes in time sequence. We augment the previous Chinese large-scale timeline summarization dataset and collect a new English timeline dataset. Extensive experiments conducted on these datasets and on the out-of-domain Timeline 17 dataset show that UTS achieves state-of-the-art performance in terms of both automatic and human evaluations.

传统上，文本简化被视为单语翻译任务，其中源文本及其简化的对应物之间的句子是对齐的。但是，尤其是对于更长的输入文档，总结文本（或完全删除相关内容）在简化过程中起重要作用，目前在现有数据集中尚未反映出该过程。同时，非英语语言的资源通常很少，并且对于培训新解决方案而言是过分的。为了解决这个问题，我们对可以共同总结和简化长源文档的系统提出了核心要求。我们进一步描述了基于德国Wikipedia和德国儿童词典“ Klexikon”的新数据集的创建，用于简化和摘要，包括近2900个文档。我们发布了一个与文档一致的版本，特别突出了摘要方面，并提供了统计证据，表明此资源也非常适合简化。代码和数据可在GitHub上找到：https：//github.com/dennlinger/klexikon

学术研究是解决以前从未解决过的问题的探索活动。通过这种性质，每个学术研究工作都需要进行文献审查，以区分其Novelties尚未通过事先作品解决。在自然语言处理中，该文献综述通常在“相关工作”部分下进行。鉴于研究文件的其余部分和引用的论文列表，自动相关工作生成的任务旨在自动生成“相关工作”部分。虽然这项任务是在10年前提出的，但直到最近，它被认为是作为科学多文件摘要问题的变种。然而，即使在今天，尚未标准化了自动相关工作和引用文本生成的问题。在这项调查中，我们进行了一个元研究，从问题制定，数据集收集，方法方法，绩效评估和未来前景的角度来比较相关工作的现有文献，以便为读者洞察到国家的进步 - 最内容的研究，以及如何进行未来的研究。我们还调查了我们建议未来工作要考虑整合的相关研究领域。

In this work, we model abstractive text summarization using Attentional Encoder-Decoder Recurrent Neural Networks, and show that they achieve state-of-the-art performance on two different corpora. We propose several novel models that address critical problems in summarization that are not adequately modeled by the basic architecture, such as modeling key-words, capturing the hierarchy of sentence-toword structure, and emitting words that are rare or unseen at training time. Our work shows that many of our proposed models contribute to further improvement in performance. We also propose a new dataset consisting of multi-sentence summaries, and establish performance benchmarks for further research.

现有以查询为中心的摘要数据集的大小有限，使培训数据驱动的摘要模型提出了挑战。同时，以查询为重点的摘要语料库的手动构造昂贵且耗时。在本文中，我们使用Wikipedia自动收集超过280，000个示例的大型以查询为中心的摘要数据集（名为Wikiref），这可以用作数据增强的手段。我们还开发了一个基于BERT的以查询为重点的摘要模型（Q-bert），以从文档中提取句子作为摘要。为了更好地调整包含数百万个参数的巨大模型，我们仅识别和微调一个稀疏的子网络，这对应于整个模型参数的一小部分。三个DUC基准测试的实验结果表明，在Wikiref中预先培训的模型已经达到了合理的性能。在对特定基准数据集进行了微调后，具有数据增强的模型优于强大比较系统。此外，我们提出的Q-Bert模型和子网微调都进一步改善了模型性能。该数据集可在https://aka.ms/wikiref上公开获取。

自动摘要评估对于机器生成和人为生产的摘要都有用。自动评估给定文档的摘要文本启用，例如，摘要生成系统开发和检测不适当的摘要。摘要评估可以以多种模式进行：排名摘要生成系统；对特定文档的排名摘要；并在绝对规模上估算文档 - 苏格尔对的质量。带有注释的现有数据集用于摘要评估，通常基于新闻摘要数据集，例如CNN/DailyMail或XSUM。在这项工作中，我们描述了一个新的数据集，即播客摘要评估语料库，这是由TREC2020的人类专家评估的播客摘要集。与现有的摘要评估数据相比，该数据集具有两个独特的方面：（i）基于语音播客的长输入，文档； （ii）有机会在播客语料库中检测不适当的参考摘要。首先，我们检查了现有的评估方法，包括无模型和基于模型的方法，并为此长输入摘要评估数据集提供基准结果。其次，为了过滤参考参考文献配对以进行培训，我们采用摘要评估进行数据选择。这两个方面的实验结果为摘要评估和发电任务提供了有趣的见解。播客摘要评估数据可用。