知识图（kg）存储了大量的结构知识，而直接人类的理解并不容易。知识图表到文本（kg-to-text）生成旨在从kg产生易于理解的句子，同时，在生成的句子和kg之间保持语义一致性。现有的kg至文本生成方法短语此任务是线性化kg作为序列到序列生成任务作为输入的，并通过在每个解码的句子和kg节点word之间的简单选择来考虑生成的文本和kg的一致性问题时间步骤。但是，线性化的kg顺序通常是通过启发式搜索获得的，而无需数据驱动的优化。在本文中，我们根据从标题提取的顺序监督优化了知识描述顺序预测，并通过句法和语义正则化进一步增强了生成的句子和kg的一致性。我们合并了词性（POS）句法标签，以限制位置以复制kg中的单词并采用语义上下文评分函数，以评估生成句子中的每个单词时在本地上下文中每个单词的语义适应性。在两个数据集（WebNLG和DART）上进行了广泛的实验，并实现最先进的表演。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

使用诸如BERT，ELMO和FLAIR等模型建模上下文信息的成立具有显着改善了文字的表示学习。它还给出了几乎每个NLP任务机器翻译，文本摘要和命名实体识别的Sota结果，以命名为少。在这项工作中，除了使用这些主导的上下文感知的表示之外，我们还提出了一种用于命名实体识别（NER）的知识意识表示学习（KARL）网络。我们讨论了利用现有方法在纳入世界知识方面的挑战，并展示了如何利用我们所提出的方法来克服这些挑战。 KARL基于变压器编码器，该变压器编码器利用表示为事实三元组的大知识库，将它们转换为图形上下文，并提取驻留在内部的基本实体信息以生成用于特征增强的上下文化三联表示。实验结果表明，使用卡尔的增强可以大大提升我们的内部系统的性能，并在三个公共网络数据集中的文献中的现有方法，即Conll 2003，Conll ++和Ontonotes V5实现了比文献中现有方法的显着更好的结果。我们还观察到更好的概括和应用于从Karl上看不见的实体的真实环境。

基于多模式方面的情感分类（MABSC）是一项新兴的分类任务，旨在将给定目标的情感分类，例如具有不同模式的数据中提到的实体。在带有文本和图像的典型多模式数据中，以前的方法不能充分利用图像的细颗粒语义，尤其是与文本的语义结合在一起，并且不完全考虑对细粒图像之间的关系进行建模信息和目标，这导致图像的使用不足和不足以识别细粒度的方面和意见。为了应对这些局限性，我们提出了一个新的框架SEQCSG，包括一种构建顺序跨模式语义图和编码器模型的方法。具体而言，我们从原始图像，图像标题和场景图中提取细粒度的信息，并将它们视为跨模式语义图的元素以及文本的令牌。跨模式语义图表示为具有多模式可见矩阵的序列，指示元素之间的关系。为了有效地利用跨模式语义图，我们建议使用目标提示模板的编码器解码器方法。实验结果表明，我们的方法优于现有方法，并在两个标准数据集MABSC上实现了最新方法。进一步的分析证明了每个组件的有效性，我们的模型可以隐含地学习图像的目标和细粒度信息之间的相关性。

考虑到RDF三元组的集合，RDF到文本生成任务旨在生成文本描述。最先前的方法使用序列到序列模型或使用基于图形的模型来求解此任务以编码RDF三维并生成文本序列。然而，这些方法未能明确模拟RDF三元组之间的本地和全球结构信息。此外，以前的方法也面临了生成文本的低信任问题的不可忽略的问题，这严重影响了这些模型的整体性能。为了解决这些问题，我们提出了一种组合两个新的图形增强结构神经编码器的模型，共同学习输入的RDF三元组中的本地和全局结构信息。为了进一步改进文本忠诚，我们创新地根据信息提取（即）引进了强化学习（RL）奖励。我们首先使用佩带的IE模型从所生成的文本中提取三元组，并将提取的三级的正确数量视为额外的RL奖励。两个基准数据集上的实验结果表明，我们所提出的模型优于最先进的基线，额外的加强学习奖励确实有助于改善所生成的文本的忠诚度。

增强描述视频内容的句子的多样性是近期视频字幕研究中出现的重要问题。在本文中，我们通过模仿示例句语法来自定义视频标题的小说视角来探讨此问题。具体地，给定视频和任何语法有效的示例句子，我们介绍了一个新的语法定制视频标题（SCVC）的任务，旨在生成一个字幕，不仅开始描述视频内容，而且还句法模仿给定的示例句子。为了解决SCVC任务，我们提出了一种新的视频标题模型，其中首先设计了分层句子语法编码器来提取示例句子的语法结构，然后设计了语法调节标题解码器以生成表达视频语义的语法结构标题。由于没有可用的语法定制地面视频字幕，我们通过提出新的培训策略来解决这种挑战，该策略利用传统的成对视频标题数据和我们所收集的示例性句子来完成模型学习。在语义，句法，流畅性和多样性评估方面进行了广泛的实验，清楚地展示了我们的模型能力，以生成与丰富的多样性很好地模仿不同示例性句子的语法变化和语义 - 相干的视频标题。

与外部知识的接地对话系统是提高响应质量的一种有希望的方法。大多数现有的作品采用知识图（KGS）作为外部资源，关注对话的最后一句话中实体的贡献，以了解上下文理解和响应。然而，在多转变环境中隐含的知识与公斤关系之间的过渡规律之间的相关性是不足的。为此，我们提出了一个关系过渡意识知识的对话生成模型（RT-KGD）。具体而言，受到人类对话潜在逻辑的启发，我们的模型将对话级别的关系过渡规律与转向级实体语义信息相结合。以这种方式，知识之间的相互作用被认为是产生丰富的线索，以预测适当的知识并产生相干响应。自动评估和手动评估的实验结果表明，我们的模型表现优于最先进的基准。

关系提取是一项重要但具有挑战性的任务，旨在从文本中提取所有隐藏的关系事实。随着深层语言模型的发展，关系提取方法在各种基准上都取得了良好的性能。但是，我们观察到以前方法的两个缺点：首先，在各种关系提取设置下没有统一的框架可以很好地工作；其次，有效利用外部知识作为背景信息。在这项工作中，我们提出了一种知识增强的生成模型来减轻这两个问题。我们的生成模型是一个统一的框架，可在各种关系提取设置下依次生成关系三胞胎，并明确利用来自知识图（KG）的相关知识来解决歧义。我们的模型在包括WebNLG，NYT10和Tacred在内的多个基准和设置上实现了卓越的性能。

大多数图形之间的作品都是在具有交叉注意机制的编码器框架上构建的。最近的研究表明，对输入图结构进行明确建模可以显着改善性能。但是，香草结构编码器无法在所有解码步骤的单个正向通道中捕获所有专业信息，从而导致语义表示不准确。同时，输入图在交叉注意中作为无序序列被扁平，忽略了原始图形结构。结果，解码器中获得的输入图上下文向量可能存在缺陷。为了解决这些问题，我们提出了一种结构感知的交叉注意（SACA）机制，以在每个解码步骤中以结构意识的方式重新编码在新生成的上下文上的输入图表示条件。我们进一步调整SACA，并引入其变体动态图修剪（DGP）机制，以在解码过程中动态下降无关的节点。我们在两个图形数据集（LDC2020T02和ENT-DESC）上实现了新的最新结果，但计算成本仅略有增加。

图形到文本（G2T）生成和文本对图（T2G）三重提取是构造和应用知识图的两个必不可少的任务。事实证明，现有的无监督方法是合适的候选者，用于共同学习这两个任务，因为它们避免使用图形文本并行数据。但是，它们由多个模块组成，仍然需要实体信息和培训过程中的关系类型。为此，我们提出了Infinity，这是一种简单而有效的无监督方法，不需要外部注释工具或其他并行信息。它首次实现了完全无监督的图形相互转换。具体而言，Infinity仅通过微调一个预处理的SEQ2SEQ模型来将G2T和T2G视为双向序列生成任务。然后，设计出一种新型的基于反向翻译的框架，以自动生成连续的合成并行数据。为了获得来自源文本的结构信息的合理图表序列，通过利用奖励增强最大似然的优势，Infinity通过基于奖励的培训损失。作为一个完全无监督的框架，无限元经过经验验证，以优于G2T和T2G任务的最先进基线。

三重提取是自然语言处理和知识图构建信息提取的重要任务。在本文中，我们重新审视了序列生成的端到端三重提取任务。由于生成三重提取可能难以捕获长期依赖性并产生不忠的三元组，因此我们引入了一种新型模型，即与生成变压器的对比度三重提取。具体而言，我们为基于编码器的生成引入了一个共享的变压器模块。为了产生忠实的结果，我们提出了一个新颖的三胞胎对比训练对象。此外，我们引入了两种机制，以进一步提高模型性能（即，批处理动态注意力掩盖和三个方面的校准）。在三个数据集（即NYT，WebNLG和MIE）上进行的实验结果表明，我们的方法比基线的方法更好。

Generative Knowledge Graph Construction (KGC) refers to those methods that leverage the sequence-to-sequence framework for building knowledge graphs, which is flexible and can be adapted to widespread tasks. In this study, we summarize the recent compelling progress in generative knowledge graph construction. We present the advantages and weaknesses of each paradigm in terms of different generation targets and provide theoretical insight and empirical analysis. Based on the review, we suggest promising research directions for the future. Our contributions are threefold: (1) We present a detailed, complete taxonomy for the generative KGC methods; (2) We provide a theoretical and empirical analysis of the generative KGC methods; (3) We propose several research directions that can be developed in the future.

Recent improvements in KG-to-text generation are due to additional auxiliary pre-training tasks designed to give the fine-tune task a boost in performance. These tasks require extensive computational resources while only suggesting marginal improvements. Here, we demonstrate that by fusing graph-aware elements into existing pre-trained language models, we are able to outperform state-of-the-art models and close the gap imposed by additional pre-training tasks. We do so by proposing a mask structure to capture neighborhood information and a novel type encoder that adds a bias to the graph-attention weights depending on the connection type. Experiments on two KG-to-text benchmark datasets show our models are competitive while involving fewer parameters and no additional pre-training tasks. By formulating the problem as a framework, we can interchange the various proposed components and begin interpreting KG-to-text generative models based on the topological and type information found in a graph.

学术知识图（KGS）提供了代表科学出版物编码的知识的丰富的结构化信息来源。随着出版的科学文学的庞大，包括描述科学概念的过多的非均匀实体和关系，这些公斤本质上是不完整的。我们呈现Exbert，一种利用预先训练的变压器语言模型来执行学术知识图形完成的方法。我们将知识图形的三元组模型为文本并执行三重分类（即，属于KG或不属于KG）。评估表明，在三重分类，链路预测和关系预测的任务中，Exbert在三个学术kg完成数据集中表现出其他基线。此外，我们将两个学术数据集作为研究界的资源，从公共公共公报和在线资源中收集。

神经文本生成模型可能遭受低多样性问题。已经提出了各种解码策略和基于培训的方法仅通过利用上下文特征来促进多样性，但很少他们考虑纳入句法结构线索。在这项工作中，我们建议使用语言注释，即演讲（POS），来指导文本生成。详细地，我们将POS引导SoftMax介绍以显式模拟两个后部概率：（i）下一页POS，（ii）来自目标POS的词汇的下一个令牌。进一步提出POS导游采样策略来解决POS的多样性来解决低多样性问题。广泛的实验和人类评估表明，与现有最先进的方法相比，我们的POS引导的Softmax和采样（POSG）可以在保持相当的质量的同时产生更多样化的文本。

自动放射学报告生成在诊所至关重要，可以缓解来自繁重的工作量的经验丰富的放射科医师，并提醒缺乏误诊或错过诊断的缺乏经验的放射科学家。现有方法主要将放射学报告生成作为图像标题任务，采用编码器解码器框架。但是，在医学领域，这种纯数据驱动方法遭受以下问题：1）视觉和文本偏差问题; 2）缺乏专家知识。在本文中，我们提出了一种知识增强的放射学报告生成方法，介绍了两种类型的医学知识：1）一般知识，这是输入的独立知识，并为报告生成提供了广泛的知识; 2）特定知识，其输入依赖并为报告生成提供了细粒度的知识。为了充分利用一般和具体知识，我们还提出了一种知识增强的多主题注意机制。通过利用一般知识和特定知识来利用放射线图像的视觉特征，所提出的模型可以提高所生成的报告的质量。两种公共数据集IU-X射线和模拟CXR的实验结果表明，所提出的知识增强方法优于基于最先进的图像标题的方法。消融研究还表明，一般和具体知识都可以有助于提高放射学报告生成的表现。

知识图完成（KGC）最近已扩展到多个知识图（kg）结构，启动了新的研究方向，例如静态kgc，颞kgc和少数kgc。以前的作品通常设计了KGC模型与特定的图形结构紧密结合，这不可避免地会导致两个缺点：1）结构特异性KGC模型是互不兼容的； 2）现有的KGC方法不适合新兴KG。在本文中，我们提出了KG-S2S，即SEQ2SEQ生成框架，可以通过将KG事实的表示形式统一为“平坦”文本，无论其原始形式如何，可以通过将KG事实的表示来解决不同的语言图形结构。为了纠正“平面”文本的KG结构信息损失，我们进一步改善了实体和关系的输入表示，以及KG-S2中的推理算法。五个基准测试的实验表明，KG-S2S的表现优于许多竞争基线，从而创造了新的最新性能。最后，我们分析了KG-S2S在不同关系和非实体世代上的能力。

Text Summarization is recognised as one of the NLP downstream tasks and it has been extensively investigated in recent years. It can assist people with perceiving the information rapidly from the Internet, including news articles, social posts, videos, etc. Most existing research works attempt to develop summarization models to produce a better output. However, advent limitations of most existing models emerge, including unfaithfulness and factual errors. In this paper, we propose a novel model, named as Knowledge-aware Abstractive Text Summarization, which leverages the advantages offered by Knowledge Graph to enhance the standard Seq2Seq model. On top of that, the Knowledge Graph triplets are extracted from the source text and utilised to provide keywords with relational information, producing coherent and factually errorless summaries. We conduct extensive experiments by using real-world data sets. The results reveal that the proposed framework can effectively utilise the information from Knowledge Graph and significantly reduce the factual errors in the summary.

文本摘要的重写方法结合了提取性和抽象的方法，使用抽象模型提高了提取性摘要的简洁性和可读性。退出重写系统将每个提取性句子作为唯一的输入，它相对集中，但可能会失去必要的背景知识和话语上下文。在本文中，我们调查了上下文化的重写，该重写消耗了整个文档并考虑了摘要上下文。我们将上下文重写正式化为具有组标签对齐的SEQ2SEQ，将组标签引入了模拟对齐方式的解决方案，并通过基于内容的地址来识别提取句子。结果表明，我们的方法显着优于非上下文重写系统，而无需加强学习，从而在多个提取器上实现了胭脂分数的强烈改进。

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。