在本文中，我们构建了两个自动评估度量，用于评估机器生成的标题和地面真理体型中的关联：overtyle和风格德。

在本文中，我们建议通过多样式多模态机制（2M）来构建时尚的图像标题模型。我们证明，使用2M，我们可以构建有效的时尚标题器，并且通过识别错误示例的错误输入功能，模型产生的多引用也可以支持解释模型。我们展示了这款2M机制如何用于构建时尚的标题模型，并展示这些模型如何用于提供模型中可能错误的解释。

There is considerable interest in the task of automatically generating image captions. However, evaluation is challenging. Existing automatic evaluation metrics are primarily sensitive to n-gram overlap, which is neither necessary nor sufficient for the task of simulating human judgment. We hypothesize that semantic propositional content is an important component of human caption evaluation, and propose a new automated caption evaluation metric defined over scene graphs coined SPICE. Extensive evaluations across a range of models and datasets indicate that SPICE captures human judgments over model-generated captions better than other automatic metrics (e.g., system-level correlation of 0.88 with human judgments on the MS COCO dataset, versus 0.43 for CIDEr and 0.53 for METEOR). Furthermore, SPICE can answer questions such as which caption-generator best understands colors? and can caption-generators count?

视频标题的当前度量主要基于参考和候选字幕之间的文本级别比较。然而，它们具有一些不可能的缺点，例如，它们不能在没有参考的情况下处理视频，并且由于视频到文本的一对多性质和忽视视觉相关性的一对多性质，它们可能导致偏见的评估。从人类评估者的观点来看，高质量的标题应与提供的视频一致，但不一定类似于文字或语义中的参考。灵感来自人类评估，我们提出了Emscore（基于匹配的分数），是视频字幕的一种新颖的无参考度量，其直接测量视频和候选字幕之间的相似性。受益于最近的大规模预训练模型的发展，我们利用了一个良好的预先训练的视觉语言模型来提取用于计算Emscore的视觉和语言嵌入。具体地，Emscore将粗粒（视频和标题）和细粒度（帧和单词）水平的匹配分数组合，这将考虑到视频的整体理解和详细特征。此外，考虑到潜在的信息增益，Emscore可以灵活地扩展到人类标记的参考可用的条件。最后但并非最不重要的是，我们收集Vatex-eval和ActivityNet-Foil数据集以系统地评估现有的度量标准。 Vatex-emp实验表明，Emscore具有更高的人类相关性和较低的参考依赖性。 ActivityNet-Foil实验验证Emscore可以有效地识别“幻觉”标题。将释放数据集以促进视频标题度量的开发。代码可在：https://github.com/shiyaya/emcore。

视觉标题的开放性质使其成为评估的具有挑战性的区域。大多数拟议模型依赖于专业培训来改善人类关联，导致采用有限，普遍性和索引。我们介绍了“典型性”，一种新的评价制定，根植于信息理论，这是唯一适合缺乏明确的实践的问题。典型程度是我们开发新颖语义比较，SPARC的框架，以及引用的流畅评估度量。在我们的分析过程中，流利的两个单独的流利程度自然出现：风格，由公制刺激和语法捕获，以语法异常罚款的形式捕获。通过对基准数据集进行广泛的实验和消融研究，我们展示了这些语义和流畅程度的这些分解维度如何为标题差异提供更大的系统级洞察。与其他基于规则的评估指标相比，我们拟议的指标与他们的组合，SMURF，达到了人为判断的最先进的相关性。

图像字幕是当前的研究任务，用于使用场景中的对象及其关系来描述图像内容。为了应对这项任务，使用了两个重要的研究领域，人为的视觉和自然语言处理。在图像字幕中，就像在任何计算智能任务中一样，性能指标对于知道方法的性能（或坏）至关重要。近年来，已经观察到，基于n-gram的经典指标不足以捕获语义和关键含义来描述图像中的内容。为了衡量或不进行最新指标的集合，在本手稿中，我们对使用众所周知的COCO数据集进行了对几种图像字幕指标的评估以及它们之间的比较。为此，我们设计了两种情况。 1）一组人工构建字幕，以及2）比较某些最先进的图像字幕方法的比较。我们试图回答问题：当前的指标是否有助于制作高质量的标题？实际指标如何相互比较？指标真正测量什么？

Automatically describing an image with a sentence is a long-standing challenge in computer vision and natural language processing. Due to recent progress in object detection, attribute classification, action recognition, etc., there is renewed interest in this area. However, evaluating the quality of descriptions has proven to be challenging. We propose a novel paradigm for evaluating image descriptions that uses human consensus. This paradigm consists of three main parts: a new triplet-based method of collecting human annotations to measure consensus, a new automated metric (CIDEr) that captures consensus, and two new datasets: PASCAL-50S and ABSTRACT-50S that contain 50 sentences describing each image. Our simple metric captures human judgment of consensus better than existing metrics across sentences generated by various sources. We also evaluate five state-of-the-art image description approaches using this new protocol and provide a benchmark for future comparisons. A version of CIDEr named CIDEr-D is available as a part of MS COCO evaluation server to enable systematic evaluation and benchmarking.

新颖的对象字幕（NOC）旨在描述包含对象的图像，而无需在训练过程中观察其地面真相标题。由于缺乏字幕注释，无法通过序列到序列训练或苹果酒优化直接优化字幕模型。结果，我们提出了启用释义（P2C），这是一个针对NOC的两阶段学习框架，它将通过释义通过释义来优化输出字幕。使用P2C，字幕模型首先从仅在文本语料库中预先训练的语言模型中学习释义，从而扩展了Bank一词以提高语言流利度。为了进一步实施足够描述输入图像的视觉内容的输出字幕，我们对引入的忠诚度和充分性目标进行字幕模型执行自我贴形。由于在训练过程中没有任何地面真相标题可用于新颖的对象图像，因此我们的P2C利用交叉模式（图像文本）关联模块可以确保可以正确保留上述字幕特征。在实验中，我们不仅表明我们的P2C在NOCAPS和COCO字幕数据集上实现了最先进的性能，而且还通过替换NOC的语言和跨模式关联模型来验证学习框架的有效性和灵活性。实施详细信息和代码可在补充材料中找到。

用于评估有条件自然语言生成的传统自动化指标使用单个生成的文本和最佳匹配的金标准地面真相文本之间的成对比较。当有多个基础真相可用时，分数将使用参考中的平均或最大操作进行汇总。尽管这种方法在地面真相数据中的多样性（即有条件文本的分布的分散）可以归因于噪声，例如自动语音识别中，但在地面上的多样性的情况下，它不允许进行强有力的评估。真理代表模型的信号。在这项工作中，我们认为现有的指标不适合诸如视觉描述或摘要之类的域，而地面真理在语义上是多样的，并且这些字幕中的多样性捕获了有关上下文的有用的其他信息。我们提出了一种新的范式，用于对条件语言生成模型的多键入评估以及一个新的指标家族，该指标家族使用每种少量样本集比较参考和模型生成的字幕集的分布。我们通过视觉描述中的案例研究证明了方法的实用性：我们在其中证明现有模型优化了单描述质量而不是多样性，并获得了对采样方法和温度影响如何描述质量和多样性的一些见解。

我们建立了一种基于规校的图像标题模型的人类评估协议。我们的得分标准及其定义是基于MSCOCO数据集上的机器和人类生成的标题仔细开发。每个字幕沿着权衡（精确和召回）中的两个主要尺寸以及测量文本质量的其他方面（流利，简洁，包容性语言）。我们的评估表明了当前评估实践的几个关键问题。人生成的标题显示出比机器生成的字块的质量大得多，特别是在突出信息的覆盖范围内（即，召回），而所有自动度量都可以说相反。我们基于规度的标准结果表明，曲线芯片，最近使用图像特征的度量标准，与人类判断更好地相关，因为它对召回更敏感。我们希望这项工作将推动更透明的图像标题和自动指标的评估协议。

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。

We propose BERTSCORE, an automatic evaluation metric for text generation. Analogously to common metrics, BERTSCORE computes a similarity score for each token in the candidate sentence with each token in the reference sentence. However, instead of exact matches, we compute token similarity using contextual embeddings. We evaluate using the outputs of 363 machine translation and image captioning systems. BERTSCORE correlates better with human judgments and provides stronger model selection performance than existing metrics. Finally, we use an adversarial paraphrase detection task to show that BERTSCORE is more robust to challenging examples when compared to existing metrics.

图像标题模型通常缺乏考虑用户兴趣的能力，通常默认为试图平衡可读性，信息性和信息过载的全局描述。另一方面，VQA模型通常缺乏提供长描述性答案的能力，同时期望文本问题非常精确。我们介绍一种控制图像标题应该专注于的概念的方法，使用称为指导文本的额外输入，该概念是指图像中的可接近或未放置的概念。我们的模型包括一个基于变换器的多模式编码器，它使用引导文本与全局和对象级别图像功能一起导出用于生成引导标题的早期融合表示。虽然在视觉基因组数据上培训的模型时，在使用自动对象标签的引导时具有适应良好的域的域中优势，但我们发现在概念标题上培训的引导标题模型概括为域外图像和引导文本。我们的人为评估结果表明，尝试野外引导的图像标题需要访问大，不受限制的域训练数据集，并且增加的样式分集（即使不增加唯一令牌的数量）是提高性能的关键因素。

Many high-level skills that are required for computer vision tasks, such as parsing questions, comparing and contrasting semantics, and writing descriptions, are also required in other domains such as natural language processing. In this paper, we ask whether this makes it possible to learn those skills from text data and then use them to complete vision tasks without ever training on visual training data. Key to our approach is exploiting the joint embedding space of contrastively trained vision and language encoders. In practice, there can be systematic differences between embedding spaces for different modalities in contrastive models, and we analyze how these differences affect our approach and study a variety of strategies to mitigate this concern. We produce models using only text training data on three tasks: image captioning, visual entailment and visual question answering, and evaluate them on standard benchmarks using images. We find that this kind of transfer is possible and results in only a small drop in performance relative to models trained on images. We also showcase a variety of stylistic image captioning models that were trained using no image data and no human-curated language data, but instead text data from books, the web, or language models.

描述使用自然语言的图像被广泛称为图像标题，这是由于计算机视觉和自然语言生成技术的发展而达成了一致的进展。虽然传统的标题模型基于流行度量的高精度，即BLEU，苹果酒和香料，探索了标题与其他类似图像中的标题的能力。为了产生独特的标题，一些先驱采用对比学习或重新加权地面真理标题，其侧重于一个输入图像。然而，忽略了类似图像组中对象之间的关系（例如，相同专辑中的项目或属性或细粒度事件中的物品）。在本文中，我们使用基于组的独特标题模型（Gdiscap）来提高图像标题的独特性，其将每个图像与一个类似的组中的其他图像进行比较，并突出显示每个图像的唯一性。特别是，我们提出了一种基于组的内存注意力（GMA）模块，其存储在图像组中是唯一的对象特征（即，与其他图像中的对象的低相似性）。生成字幕时突出显示这些唯一的对象功能，从而产生更有独特的标题。此外，选择地面标题中的独特单词来监督语言解码器和GMA。最后，我们提出了一种新的评估度量，独特的单词率（Diswordrate）来测量标题的独特性。定量结果表明，该方法显着提高了几种基线模型的独特性，并实现了精度和独特性的最先进的性能。用户学习的结果与定量评估一致，并证明了新的公制Diswordrate的合理性。

图像字幕模型通常是根据人体注释的地面真实字幕训练的，该字幕可能会产生准确但通用的字幕。为了提高字幕模型的独特性，我们首先提出了一系列使用大规模视觉语言预训练模型剪辑来评估标题的独特性。然后，我们提出了一种简单有效的训练策略，该策略通过在相似图像组中进行比较来训练模型。我们对各种现有模型进行了广泛的实验，以证明我们的策略的广泛适用性以及基于公制的结果与人类评估的一致性。通过将最佳模型的性能与现有的最新模型进行比较，我们声称我们的模型实现了针对独特性目标的新最先进的。

自动音频字幕是一项跨模式翻译任务，旨在为给定的音频剪辑生成自然语言描述。近年来，随着免费可用数据集的发布，该任务受到了越来越多的关注。该问题主要通过深度学习技术解决。已经提出了许多方法，例如研究不同的神经网络架构，利用辅助信息，例如关键字或句子信息来指导字幕生成，并采用了不同的培训策略，这些策略极大地促进了该领域的发展。在本文中，我们对自动音频字幕的已发表贡献进行了全面综述，从各种现有方法到评估指标和数据集。我们还讨论了公开挑战，并设想可能的未来研究方向。

Automated audio captioning is a cross-modal translation task for describing the content of audio clips with natural language sentences. This task has attracted increasing attention and substantial progress has been made in recent years. Captions generated by existing models are generally faithful to the content of audio clips, however, these machine-generated captions are often deterministic (e.g., generating a fixed caption for a given audio clip), simple (e.g., using common words and simple grammar), and generic (e.g., generating the same caption for similar audio clips). When people are asked to describe the content of an audio clip, different people tend to focus on different sound events and describe an audio clip diversely from various aspects using distinct words and grammar. We believe that an audio captioning system should have the ability to generate diverse captions, either for a fixed audio clip, or across similar audio clips. To this end, we propose an adversarial training framework based on a conditional generative adversarial network (C-GAN) to improve diversity of audio captioning systems. A caption generator and two hybrid discriminators compete and are learned jointly, where the caption generator can be any standard encoder-decoder captioning model used to generate captions, and the hybrid discriminators assess the generated captions from different criteria, such as their naturalness and semantics. We conduct experiments on the Clotho dataset. The results show that our proposed model can generate captions with better diversity as compared to state-of-the-art methods.

We develop and demonstrate automatic image description methods using a large captioned photo collection. One contribution is our technique for the automatic collection of this new dataset -performing a huge number of Flickr queries and then filtering the noisy results down to 1 million images with associated visually relevant captions. Such a collection allows us to approach the extremely challenging problem of description generation using relatively simple non-parametric methods and produces surprisingly effective results. We also develop methods incorporating many state of the art, but fairly noisy, estimates of image content to produce even more pleasing results. Finally we introduce a new objective performance measure for image captioning.

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.