数据可视化字幕可帮助读者了解可视化的目的，并且对于视觉障碍的个体至关重要。糟糕的字幕的流行和深度学习方法图像字幕的成功应用激发了使用类似技术来自动图形字幕的使用。但是，由于缺乏合适的数据集，该领域的研究已经阻碍了。我们介绍了LineCap，这是一个3,528个数字的新颖图形字幕，并提供了策划该数据集和使用端到端深度学习模型来自动化图形字幕的见解。

Existing automated techniques for software documentation typically attempt to reason between two main sources of information: code and natural language. However, this reasoning process is often complicated by the lexical gap between more abstract natural language and more structured programming languages. One potential bridge for this gap is the Graphical User Interface (GUI), as GUIs inherently encode salient information about underlying program functionality into rich, pixel-based data representations. This paper offers one of the first comprehensive empirical investigations into the connection between GUIs and functional, natural language descriptions of software. First, we collect, analyze, and open source a large dataset of functional GUI descriptions consisting of 45,998 descriptions for 10,204 screenshots from popular Android applications. The descriptions were obtained from human labelers and underwent several quality control mechanisms. To gain insight into the representational potential of GUIs, we investigate the ability of four Neural Image Captioning models to predict natural language descriptions of varying granularity when provided a screenshot as input. We evaluate these models quantitatively, using common machine translation metrics, and qualitatively through a large-scale user study. Finally, we offer learned lessons and a discussion of the potential shown by multimodal models to enhance future techniques for automated software documentation.

在本文中，我们构建了两个自动评估度量，用于评估机器生成的标题和地面真理体型中的关联：overtyle和风格德。

Despite progress in perceptual tasks such as image classification, computers still perform poorly on cognitive tasks such as image description and question answering. Cognition is core to tasks that involve not just recognizing, but reasoning about our visual world. However, models used to tackle the rich content in images for cognitive tasks are still being trained using the same datasets designed for perceptual tasks. To achieve success at cognitive tasks, models need to understand the interactions and relationships between objects in

图像标题模型通常缺乏考虑用户兴趣的能力，通常默认为试图平衡可读性，信息性和信息过载的全局描述。另一方面，VQA模型通常缺乏提供长描述性答案的能力，同时期望文本问题非常精确。我们介绍一种控制图像标题应该专注于的概念的方法，使用称为指导文本的额外输入，该概念是指图像中的可接近或未放置的概念。我们的模型包括一个基于变换器的多模式编码器，它使用引导文本与全局和对象级别图像功能一起导出用于生成引导标题的早期融合表示。虽然在视觉基因组数据上培训的模型时，在使用自动对象标签的引导时具有适应良好的域的域中优势，但我们发现在概念标题上培训的引导标题模型概括为域外图像和引导文本。我们的人为评估结果表明，尝试野外引导的图像标题需要访问大，不受限制的域训练数据集，并且增加的样式分集（即使不增加唯一令牌的数量）是提高性能的关键因素。

自动在自然语言中自动生成图像的描述称为图像字幕。这是一个积极的研究主题，位于人工智能，计算机视觉和自然语言处理中两个主要领域的交集。图像字幕是图像理解中的重要挑战之一，因为它不仅需要识别图像中的显着对象，还需要其属性及其相互作用的方式。然后，系统必须生成句法和语义上正确的标题，该标题描述了自然语言的图像内容。鉴于深度学习模型的重大进展及其有效编码大量图像并生成正确句子的能力，最近已经提出了几种基于神经的字幕方法，每种方法都试图达到更好的准确性和标题质量。本文介绍了一个基于编码器的图像字幕系统，其中编码器使用以RESNET-101作为骨干为骨干来提取图像中每个区域的空间和全局特征。此阶段之后是一个精致的模型，该模型使用注意力进行注意的机制来提取目标图像对象的视觉特征，然后确定其相互作用。解码器由一个基于注意力的复发模块和一个反思性注意模块组成，该模块会协作地将注意力应用于视觉和文本特征，以增强解码器对长期顺序依赖性建模的能力。在两个基准数据集（MSCOCO和FLICKR30K）上进行的广泛实验显示了提出的方法和生成的字幕的高质量。

连接视觉和语言在生成智能中起着重要作用。因此，已经致力于图像标题的大型研究工作，即用句法和语义有意义的句子描述图像。从2015年开始，该任务通常通过由Visual Encoder组成的管道和文本生成的语言模型来解决任务。在这些年来，两种组件通过对象区域，属性，介绍多模态连接，完全关注方法和伯特早期融合策略的利用而显着发展。但是，无论令人印象深刻的结果，图像标题的研究还没有达到结论性答案。这项工作旨在提供图像标题方法的全面概述，从视觉编码和文本生成到培训策略，数据集和评估度量。在这方面，我们量化地比较了许多相关的最先进的方法来确定架构和培训策略中最有影响力的技术创新。此外，讨论了问题的许多变体及其开放挑战。这项工作的最终目标是作为理解现有文献的工具，并突出显示计算机视觉和自然语言处理的研究领域的未来方向可以找到最佳的协同作用。

我们建立了一种基于规校的图像标题模型的人类评估协议。我们的得分标准及其定义是基于MSCOCO数据集上的机器和人类生成的标题仔细开发。每个字幕沿着权衡（精确和召回）中的两个主要尺寸以及测量文本质量的其他方面（流利，简洁，包容性语言）。我们的评估表明了当前评估实践的几个关键问题。人生成的标题显示出比机器生成的字块的质量大得多，特别是在突出信息的覆盖范围内（即，召回），而所有自动度量都可以说相反。我们基于规度的标准结果表明，曲线芯片，最近使用图像特征的度量标准，与人类判断更好地相关，因为它对召回更敏感。我们希望这项工作将推动更透明的图像标题和自动指标的评估协议。

成对图像和文本的大型数据集越来越受到愿景和愿景和语言任务的通用表示。此类数据集已通过查询搜索引擎或收集HTML Alt-Text构建 - 由于Web数据是嘈杂的，因此它们需要复杂的过滤管道来维护质量。我们探索备用数据源以收集具有最小滤波的高质量数据。我们介绍Redcaps - 从Reddit收集的12M图像文本对的大规模数据集。来自Reddit的图像和标题描绘并描述了各种各样的物体和场景。我们从手动策划的FuSoddits集中收集数据，这为粗略图像标签提供给粗略图像标签，并允许我们转向数据集组合而不标记单个实例。我们展示Redcaps培训的标题模型产生了人类优选的丰富和各种标题，并学习转移到许多下游任务的视觉表现。

视觉模型可以评估图像中的视觉上下文并生成描述性文本。尽管生成的文本可能是准确且句法正确的，但通常过于笼统。为了解决这个问题，最近的工作使用光学特征识别来补充视觉信息，并从图像中提取的文本进行补充。在这项工作中，我们认为，视觉模型可以受益于可以从图像中提取但不使用当前模型使用的其他信息。我们修改了以前的多模式框架，以接受来自任意数量的辅助分类器的相关信息。特别是，我们将重点放在人的名字作为附加令牌上，并创建一个新颖的图像捕获数据集，以促进用人名称的字幕。标题（PAC）中的数据集，政客和运动员包括背景下知名人士的字幕图像。通过使用此数据集对预处理的模型进行微调，我们演示了一个模型，该模型可以自然地将面部识别令牌纳入生成的文本中，通过培训有限的数据。对于PAC数据集，我们提供有关集合和基线基准分数的讨论。

用于评估有条件自然语言生成的传统自动化指标使用单个生成的文本和最佳匹配的金标准地面真相文本之间的成对比较。当有多个基础真相可用时，分数将使用参考中的平均或最大操作进行汇总。尽管这种方法在地面真相数据中的多样性（即有条件文本的分布的分散）可以归因于噪声，例如自动语音识别中，但在地面上的多样性的情况下，它不允许进行强有力的评估。真理代表模型的信号。在这项工作中，我们认为现有的指标不适合诸如视觉描述或摘要之类的域，而地面真理在语义上是多样的，并且这些字幕中的多样性捕获了有关上下文的有用的其他信息。我们提出了一种新的范式，用于对条件语言生成模型的多键入评估以及一个新的指标家族，该指标家族使用每种少量样本集比较参考和模型生成的字幕集的分布。我们通过视觉描述中的案例研究证明了方法的实用性：我们在其中证明现有模型优化了单描述质量而不是多样性，并获得了对采样方法和温度影响如何描述质量和多样性的一些见解。

图像字幕是当前的研究任务，用于使用场景中的对象及其关系来描述图像内容。为了应对这项任务，使用了两个重要的研究领域，人为的视觉和自然语言处理。在图像字幕中，就像在任何计算智能任务中一样，性能指标对于知道方法的性能（或坏）至关重要。近年来，已经观察到，基于n-gram的经典指标不足以捕获语义和关键含义来描述图像中的内容。为了衡量或不进行最新指标的集合，在本手稿中，我们对使用众所周知的COCO数据集进行了对几种图像字幕指标的评估以及它们之间的比较。为此，我们设计了两种情况。 1）一组人工构建字幕，以及2）比较某些最先进的图像字幕方法的比较。我们试图回答问题：当前的指标是否有助于制作高质量的标题？实际指标如何相互比较？指标真正测量什么？

视频可访问性对于盲人和低愿景用户来说至关重要，以获得教育，就业和娱乐的公平参与。尽管有专业和业余服务和工具，但大多数人类生成的描述都很昂贵且耗时。此外，人生成的描述的速率不能匹配视频产生的速度。为了克服视频可访问性的越来越多的空白，我们开发了两个工具的混合系统到1）自动生成视频的描述，2）提供响应于视频上的用户查询的答案或附加描述。与26例盲和低视力下的混合方法研究结果表明，当两种工具在串联中使用时，我们的系统会显着提高用户理解和享受所选视频的理解和享受。此外，参与者报告说，在呈现自生物的描述与人类修订的自动化描述相关时，没有显着差异。我们的结果表明了对发达系统的热情及其承诺提供对视频的定制访问。我们讨论了当前工作的局限性，并为自动视频描述工具的未来发展提供了建议。

自动音频字幕是一项跨模式翻译任务，旨在为给定的音频剪辑生成自然语言描述。近年来，随着免费可用数据集的发布，该任务受到了越来越多的关注。该问题主要通过深度学习技术解决。已经提出了许多方法，例如研究不同的神经网络架构，利用辅助信息，例如关键字或句子信息来指导字幕生成，并采用了不同的培训策略，这些策略极大地促进了该领域的发展。在本文中，我们对自动音频字幕的已发表贡献进行了全面综述，从各种现有方法到评估指标和数据集。我们还讨论了公开挑战，并设想可能的未来研究方向。

我们提出了一种新颖的优化框架，其基于用户描述和美学作证给定图像。与现有的图像裁剪方法不同，其中通常会列举深网络以回归裁剪参数或裁剪动作，我们建议通过重新修复在图像标题和美学任务上的预先训练的网络，而无需任何微调，我们建议直接优化裁剪参数。从而避免训练单独的网络。具体而言，我们搜索最大限度地减少这些网络初始目标的组合损失的最佳作物参数。为了使优化表提出三种策略：（i）多级双线性采样，（ii）退火的作物区域的规模，因此有效地减少了多种优化结果的参数空间，（iii）聚合。通过各种定量和定性评估，我们表明我们的框架可以产生与预期用户描述和美学令人愉悦的作物。

The availability of large-scale image captioning and visual question answering datasets has contributed significantly to recent successes in vision-and-language pretraining. However, these datasets are often collected with overrestrictive requirements inherited from their original target tasks (e.g., image caption generation), which limit the resulting dataset scale and diversity. We take a step further in pushing the limits of vision-and-language pretraining data by relaxing the data collection pipeline used in Conceptual Captions 3M (CC3M) [70] and introduce the Conceptual 12M (CC12M), a dataset with 12 million image-text pairs specifically meant to be used for visionand-language pre-training. We perform an analysis of this dataset and benchmark its effectiveness against CC3M on multiple downstream tasks with an emphasis on long-tail visual recognition. Our results clearly illustrate the benefit of scaling up pre-training data for vision-and-language tasks, as indicated by the new state-of-the-art results on both the nocaps and Conceptual Captions benchmarks. 1

There is considerable interest in the task of automatically generating image captions. However, evaluation is challenging. Existing automatic evaluation metrics are primarily sensitive to n-gram overlap, which is neither necessary nor sufficient for the task of simulating human judgment. We hypothesize that semantic propositional content is an important component of human caption evaluation, and propose a new automated caption evaluation metric defined over scene graphs coined SPICE. Extensive evaluations across a range of models and datasets indicate that SPICE captures human judgments over model-generated captions better than other automatic metrics (e.g., system-level correlation of 0.88 with human judgments on the MS COCO dataset, versus 0.43 for CIDEr and 0.53 for METEOR). Furthermore, SPICE can answer questions such as which caption-generator best understands colors? and can caption-generators count?

We introduce a new dataset for joint reasoning about natural language and images, with a focus on semantic diversity, compositionality, and visual reasoning challenges. The data contains 107,292 examples of English sentences paired with web photographs. The task is to determine whether a natural language caption is true about a pair of photographs. We crowdsource the data using sets of visually rich images and a compare-and-contrast task to elicit linguistically diverse language. Qualitative analysis shows the data requires compositional joint reasoning, including about quantities, comparisons, and relations. Evaluation using state-of-the-art visual reasoning methods shows the data presents a strong challenge. * Contributed equally. † Work done as an undergraduate at Cornell University. 1 In parts of this paper, we use the term compositional differently than it is commonly used in linguistics to refer to reasoning that requires composition. This type of reasoning often manifests itself in highly compositional language.2 Appendix G contains license information for all photographs used in this paper. 3 The top example is True, while the bottom is False.

Creating compelling captions for data visualizations has been a longstanding challenge. Visualization researchers are typically untrained in journalistic reporting and hence the captions that are placed below data visualizations tend to be not overly engaging and rather just stick to basic observations about the data. In this work we explore the opportunities offered by the newly emerging crop of large language models (LLM) which use sophisticated deep learning technology to produce human-like prose. We ask, can these powerful software devices be purposed to produce engaging captions for generic data visualizations like a scatterplot. It turns out that the key challenge lies in designing the most effective prompt for the LLM, a task called prompt engineering. We report on first experiments using the popular LLM GPT-3 and deliver some promising results.

变压器架构已经带来了计算语言领域的根本变化，这已经由经常性神经网络主导多年。它的成功还意味着具有语言和愿景的跨模型任务的大幅度变化，许多研究人员已经解决了这个问题。在本文中，我们审查了该领域中的一些最关键的里程碑，以及变压器架构如何纳入Visuol语言跨模型任务的整体趋势。此外，我们讨论了当前的局限性，并推测了我们发现迫在眉睫的一些前景。