出色的图像文本检索模型取决于高质量标记的数据。尽管现有图像文本检索数据集的构建者努力确保标题与链接的图像匹配，但它们无法阻止字幕拟合其他图像。我们观察到，如此多的匹配现象在广泛使用的检索数据集中非常普遍，其中一个标题可以描述多达178张图像。这些较大的匹配失误数据不仅使训练中的模型混淆，而且还会削弱评估精度。受视觉和文本核心任务的启发，我们提出了一个多模式的核心分类器，以确定句子是否由图像和其链接的字幕所带来。随后，我们通过将这些需要的字幕添加为图像的附加标签来修改图像文本检索数据集，并制定通用可变率策略，以教授检索模型以区分所需的字幕和其他负样本。在实验中，我们手动注释了一个需要校正的图像文本检索数据集进行评估。结果表明，所提出的元素分类器可实现约78％的精度，并始终提高图像文本检索基线的性能。

最近，跨模式的预训练任务一直是一个热点，因为它在各种下文研究中广泛应用，包括检索，字幕，问题答案等。然而，退出的方法采用单媒体预训练模型来探索进行跨模式检索的联合视觉表示，这很容易遭受计算爆炸的影响。此外，尽管常规的双流结构非常有效，但它们仍然缺乏重要的跨模式相互作用，导致性能低。在这些挑战的激励下，我们提出了一个对比的跨模式知识共享预训练（Cookie），以掌握联合文本图像表示。从结构上讲，Cookie由于可接受的时间消耗而采用了传统的双流结构。为了克服上述双流结构的固有缺陷，我们精心设计了两个有效的模块。具体而言，第一个模块是一个体重共享的变压器，它构建在视觉和文本编码器的头上，旨在将语义对齐文本和图像对齐。该设计使视觉和文本路径集中在相同的语义上。另一个是三个专门设计的对比学习，旨在分享不同模型之间的知识。共享的跨模式知识大大发展了单峰表示的研究，从而促进了单模式检索任务。对多模式匹配研究的广泛实验结果，包括跨模式检索，文本匹配和图像检索揭示了我们的计算效率和我们预训练模型的统计指标的上级。

现有视觉语言预训练（VLP）方法主要依赖于配对的图像文本数据集，这些数据集由大量人类劳动注释，或者从互联网上爬行，然后是精心制作的数据清洁技术。为了减少对良好的图像文本对的依赖，有望直接利用仅大规模的仅文本和仅图像的语料库。本文提出了一种数据增强方法，即跨模式cutmix（CMC），用于在未配对的VLP中进行隐式跨模式对齐学习。具体而言，CMC将自然句子从文本视图转换为多模式视图，在该视图中，句子中的视觉词语单词被带有相似语义的各种图像贴片随机替换。拟议中的CMC有几个吸引人的礼节。首先，它增强了数据多样性，同时保持语义含义完好无损地解决了对齐数据稀缺的问题；其次，通过将跨模式噪声连接到单模式数据上，它指导模型以学习跨模态的令牌级相互作用，以更好地降级。此外，我们提出了一种名为VLMIXER的新的未配对VLP方法，该方法将CMC与对比度学习集成在一起，以将Uni-Mododal和多模式视图汇总在一起，以在不同模式之间进行更好的实例级别对齐。在五个下游任务上进行的广泛实验表明，VLMIXER可以超过以前最先进的未配对VLP方法。

现代视频文本检索框架基本上由三个部分组成：视频编码器，文本编码器和相似性。随着Visual和Textual表示学习的成功，在视频文本检索领域也采用了基于变压器的编码器和融合方法。在本报告中，我们呈现Clip2TV，旨在探索关键元素在基于变压器的方法中。为实现这一目标，我们首先重新审视一些对多模态学习的工作，然后将一些技术介绍到视频文本检索中，最后通过不同配置的大量实验进行评估。值得注意的是，Clip2TV在MSR-VTT数据集上实现了52.9 @ R1，优先表现出先前的SOTA结果为4.1％。

图像和语言建模对于视觉前训练（VLP）至关重要，该培训旨在从大规模配对的图像文本数据中学习多模式表示。但是，我们观察到，大多数现有的VLP方法着重于建模图像和文本特征之间的相互作用，同时忽略图像和文本之间的信息差异，从而遭受焦点偏见。为了解决这个问题，我们提出了一个视觉语言掩盖自动编码器框架（VLMAE）。VLMAE采用视觉生成学习，促进该模型获得细粒度和公正的特征。与以前的作品不同，Vlmae注意图像中几乎所有关键的补丁，提供了更全面的理解。广泛的实验表明，VLMAE在各种视觉语言下游任务中取得更好的性能，包括视觉问答，即使有20％的预训练速度，图像文本检索和视觉接地也是如此。

Pre-trained representations are becoming crucial for many NLP and perception tasks. While representation learning in NLP has transitioned to training on raw text without human annotations, visual and vision-language representations still rely heavily on curated training datasets that are expensive or require expert knowledge. For vision applications, representations are mostly learned using datasets with explicit class labels such as Ima-geNet or OpenImages. For vision-language, popular datasets like Conceptual Captions, MSCOCO, or CLIP all involve a non-trivial data collection (and cleaning) process. This costly curation process limits the size of datasets and hence hinders the scaling of trained models. In this paper, we leverage a noisy dataset of over one billion image alt-text pairs, obtained without expensive filtering or post-processing steps in the Conceptual Captions dataset. A simple dual-encoder architecture learns to align visual and language representations of the image and text pairs using a contrastive loss. We show that the scale of our corpus can make up for its noise and leads to state-of-the-art representations even with such a simple learning scheme. Our visual representation achieves strong performance when transferred to classification tasks such as ImageNet and VTAB. The aligned visual and language representations enables zero-shot image classification and also set new state-of-the-art results on Flickr30K and MSCOCO image-text retrieval benchmarks, even when compared with more sophisticated crossattention models. The representations also enable cross-modality search with complex text and text + image queries.

随着网络和在线百科全书的可访问性的增加，要管理的数据量正在不断增加。例如，在Wikipedia中，有数百万页用多种语言编写。这些页面包含通常缺乏文本上下文的图像，在概念上保持浮动，因此很难找到和管理。在这项工作中，我们介绍了我们设计的系统，用于参加Kaggle上的Wikipedia图像捕捉匹配挑战，其目的是使用与图像（URL和视觉数据）相关的数据来在大量可用图像中找到正确的标题。能够执行此任务的系统将改善大型在线百科全书上多媒体内容的可访问性和完整性。具体而言，我们提出了一个由最近的变压器模型提供支持的两个模型的级联，能够有效地推断出查询图像数据和字幕之间的相关得分。我们通过广泛的实验来验证，提出的两模型方法是处理大量图像和标题的有效方法，同时保持了推理时的整体计算复杂性。我们的方法取得了显着的结果，在Kaggle Challenge的私人排行榜上获得了0.53的归一化折扣累积增益（NDCG）值。

Most existing text-video retrieval methods focus on cross-modal matching between the visual content of offline videos and textual query sentences. However, in real scenarios, online videos are frequently accompanied by relevant text information such as titles, tags, and even subtitles, which can be utilized to match textual queries. This inspires us to generate associated captions from offline videos to help with existing text-video retrieval methods. To do so, we propose to use the zero-shot video captioner with knowledge of pre-trained web-scale models (e.g., CLIP and GPT-2) to generate captions for offline videos without any training. Given the captions, one question naturally arises: what can auxiliary captions do for text-video retrieval? In this paper, we present a novel framework Cap4Video, which makes use of captions from three aspects: i) Input data: The video and captions can form new video-caption pairs as data augmentation for training. ii) Feature interaction: We perform feature interaction between video and caption to yield enhanced video representations. iii) Output score: The Query-Caption matching branch can be complementary to the original Query-Video matching branch for text-video retrieval. We conduct thorough ablation studies to demonstrate the effectiveness of our method. Without any post-processing, our Cap4Video achieves state-of-the-art performance on MSR-VTT (51.4%), VATEX (66.6%), MSVD (51.8%), and DiDeMo (52.0%).

图像文本匹配（ITM）是评估视觉和语言（VL）模型的常见任务。但是，现有的ITM基准有一个重大限制。他们有许多缺失的信件，源自数据构建过程本身。例如，标题仅与一个图像匹配，尽管标题可以与其他类似图像匹配，反之亦然。为了纠正大规模的虚假负面因素，我们通过提供与机器和人类注释者的缺失关联来构建扩展的可可验证（ECCV）标题数据集。我们在注释过程中采用五个具有不同属性的最先进的ITM模型。与原始的MS-Coco相比，我们的数据集提供了X3.6的X3.6积极图像到支撑关联和X8.5字幕到图像关联。我们还建议使用基于等级的公制映射@r，而不是流行的召回@k（r@k）。我们在现有和拟议的基准测试中重新评估了现有的25个VL模型。我们的发现是现有的基准测试，例如可可1K r@k，可可5k r@k，cxc r@1彼此高度相关，而当我们转移到eccv map@r时，排名会改变。最后，我们深入研究机器注释者选择引入的偏差的效果。源代码和数据集可从https://github.com/naver-ai/eccv-caption获得

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。

最先进的愿景和愿景和语言模型依靠大规模的Visio-linguisting预借鉴，以获得各种下游任务的良好性能。通常，这种模型通常是跨模态（对比）或多模态（具有早期融合）但不是两者;它们通常只针对特定的方式或任务。有希望的方向将是使用单一整体普遍模型，作为“基础”，目标是一次性的所有方式 - 真正的视觉和语言基础模型应该擅长视力任务，语言任务和交叉和多数模态视觉和语言任务。我们将Flava介绍在这样的模型中，并在跨越这些目标模式的广泛的35个任务上展示令人印象深刻的性能。

以前的视觉语言预训练模型主要构建具有令牌和对象（像素）的多模式输入，然后在它们之间执行交叉模式相互作用。我们认为，只有令牌和对象的输入限制了诸如短语到区域接地之类的高级语义对齐。同时，多层次对齐本质上是一致的，并且能够协同促进表示形式学习。因此，在本文中，我们建议学习视觉预训练（MVPTR）的多级语义一致性。在MVPTR中，我们遵循两种方式的嵌套结构，以引入概念为高级语义。为了简化从多模式多级输入的学习，我们的框架分为两个阶段，第一阶段着重于模式内多级表示学习，第二阶段通过粗粒和细粒度跨模态强化了跨模式的交互语义对齐任务。除了常用的图像文本匹配和掩盖语言模型任务外，我们还引入了第一阶段蒙版概念恢复任务以增强概念表示学习，第二阶段的另外两个任务在第二阶段中，以明确鼓励跨跨层次的多层次对准方式。我们的代码可在https://github.com/junction4nako/mvp_pytorch上找到。

我们在这项研究中的目标是研究一个更现实的环境，在这种环境中，我们可以为细粒度的产品类别进行弱监督的多模式实例级产品检索。我们首先贡献了product1m数据集，并定义了两个实际实例级检索任务，以实现价格比较和个性化建议的评估。对于两个实例级任务，如何准确地指出视觉语言数据中提到的产品目标并有效地降低了无关紧要的内容的影响非常具有挑战性。为了解决这个问题，我们利用训练一个更有效的跨模式与模型，该模型能够自适应地能够通过使用一个实体图，其节点和边缘分别表示实体和相似性，从而可以从多模式数据中合并来自多模式数据的关键概念信息。实体。具体而言，为实例级别的商品检索提出了一种新型的实体图增强的跨模式预处理（EGE-CMP）模型，该模型明确地将基于节点的基于节点的基于节点和子图的方式显式地注入实体知识。自我监管的混合流变压器可以减少不同对象内容之间的混淆，从而有效地指导网络专注于具有真实语义的实体。实验结果很好地验证了我们的EGE-CMP的功效和概括性，表现优于几个SOTA跨模式基线，例如夹子，Uniter和Capture。

Large-scale cross-modal pre-training paradigms have recently shown ubiquitous success on a wide range of downstream tasks, e.g., zero-shot classification, retrieval and image captioning. However, their successes highly rely on the scale and quality of web-crawled data that naturally contain incomplete and noisy information (e.g., wrong or irrelevant content). Existing works either design manual rules to clean data or generate pseudo-targets as auxiliary signals for reducing noise impact, which do not explicitly tackle both the incorrect and incomplete challenges simultaneously. In this paper, to automatically mitigate the impact of noise by solely mining over existing data, we propose a principled Noise-robust Language-Image Pre-training framework (NLIP) to stabilize pre-training via two schemes: noise-harmonization and noise-completion. First, in noise-harmonization scheme, NLIP estimates the noise probability of each pair according to the memorization effect of cross-modal transformers, then adopts noise-adaptive regularization to harmonize the cross-modal alignments with varying degrees. Second, in noise-completion scheme, to enrich the missing object information of text, NLIP injects a concept-conditioned cross-modal decoder to obtain semantic-consistent synthetic captions to complete noisy ones, which uses the retrieved visual concepts (i.e., objects' names) for the corresponding image to guide captioning generation. By collaboratively optimizing noise-harmonization and noise-completion schemes, our NLIP can alleviate the common noise effects during image-text pre-training in a more efficient way. Extensive experiments show the significant performance improvements of our NLIP using only 26M data over existing pre-trained models (e.g., CLIP, FILIP and BLIP) on 12 zero-shot classification datasets, MSCOCO image captioning and zero-shot image-text retrieval tasks.

本文旨在通过分析图像文本检索模型的可重复性来为信息检索社区提供对检索学习最新进展的一些思考。由于过去十年中多模式数据的增加，图像文本检索已稳步成为信息检索领域的主要研究方向。许多研究人员使用MS-Coco和FlickR30K等基准数据集训练和评估图像文本检索算法。过去的研究主要集中在绩效上，以多种方式提出了多种最先进的方法。根据他们的断言，这些技术提供了改进的模态相互作用，从而更精确的多模式表示。与以前的作品相反，我们着重于方法的可重复性以及对元素的检查，这些元素通过验证的图像和文本在检索图像和文本时通过预验证和未经预处理的模型提高了性能。更具体地说，我们首先研究了相关的可重复性问题，并解释了为什么我们的重点是图像文本检索任务。其次，我们系统地总结了图像文本检索模型的当前范式以及这些方法的既定贡献。第三，我们分析了预审预测和未进行检索模型的复制的各个方面。为了完成这项工作，我们进行了消融实验，并获得了一些影响检索召回的因素，而不是原始论文中所主张的改进。最后，我们提出了未来检索社区应考虑的一些思考和挑战。我们的源代码可在https://github.com/wangfei-2019/image-text-retrieval上公开获得。

大规模数据集上的视觉语言预训练（VLP）在各种下游任务上表现出了首要性能。对于VLP来说，完整且公平的基准（即包括大规模的预训练数据集和各种下游任务）是必不可少的。尽管有很多具有英语语料库的基准，但使用其他语言（例如中文）为VLP建立丰富的基准是一个关键问题。为此，我们为研究界建立了一个称为零的中国跨模式基准，以比较VLP模型。我们发布两个用于下游任务的预训练数据集和五个微调数据集。旁边，我们提出了一个新的预训练前训练框架，用于跨模式学习。具体而言，我们应用全局对比度预级分别学习图像和文本的各个表示。然后，我们通过图像文本交叉编码器和文本图像交叉编码器以细粒度的排名方式融合表示形式。为了进一步增强模型的能力，我们提出了一种由目标引导的蒸馏和特征引导的蒸馏组成的双向蒸馏策略。对于简洁起见，我们将型号r2d2命名。我们在四个公共跨模式数据集和拟议的五个下游数据集上实现最先进的性能。在Flickr30k-CN，可可-CN和Muge进行零射击任务时，与最平均召回的R2D2进行了2.5亿个数据集的R2D2，在2.5亿个数据集中进行了4.7％，5.4％和6.3％的均值改善，而与最新的召回相比艺术。数据集，模型和代码可在https://github.com/yuxie11/r2d2上找到

远见和语言预测已成为解决多模式下游任务的普遍方法。当前的趋势是朝着更大的模型和预处理数据集迈进。从长远来看，这一计算头急促似乎是不合理的，而是朝着可持续的解决方案迈进，事实上，排除了资源有限的学术实验室。在这项工作中，我们提出了一个称为VICHA的新框架，该框架有效利用输入数据以通过以下方式提高学习，以： ，（c）利用图像级注释，称为视觉概念，使用现有基础模型（例如剪辑）获得，以提高图像编码器的性能。尽管对数据的预估计少了四倍，但我们的VICHA策略在下游任务（例如图像文本检索，VQA，视觉推理，视觉上和视觉接地）上的其他方法优于其他方法。该代码将在此处公开提供：https：//github.com/mshukor/vicha

Image-text retrieval (ITR) is a challenging task in the field of multimodal information processing due to the semantic gap between different modalities. In recent years, researchers have made great progress in exploring the accurate alignment between image and text. However, existing works mainly focus on the fine-grained alignment between image regions and sentence fragments, which ignores the guiding significance of context background information. Actually, integrating the local fine-grained information and global context background information can provide more semantic clues for retrieval. In this paper, we propose a novel Hierarchical Graph Alignment Network (HGAN) for image-text retrieval. First, to capture the comprehensive multimodal features, we construct the feature graphs for the image and text modality respectively. Then, a multi-granularity shared space is established with a designed Multi-granularity Feature Aggregation and Rearrangement (MFAR) module, which enhances the semantic corresponding relations between the local and global information, and obtains more accurate feature representations for the image and text modalities. Finally, the ultimate image and text features are further refined through three-level similarity functions to achieve the hierarchical alignment. To justify the proposed model, we perform extensive experiments on MS-COCO and Flickr30K datasets. Experimental results show that the proposed HGAN outperforms the state-of-the-art methods on both datasets, which demonstrates the effectiveness and superiority of our model.

Learning fine-grained interplay between vision and language allows to a more accurate understanding for VisionLanguage tasks. However, it remains challenging to extract key image regions according to the texts for semantic alignments. Most existing works are either limited by textagnostic and redundant regions obtained with the frozen detectors, or failing to scale further due to its heavy reliance on scarce grounding (gold) data to pre-train detectors. To solve these problems, we propose Self-Locator Aided Network (SLAN) for cross-modal understanding tasks without any extra gold data. SLAN consists of a region filter and a region adaptor to localize regions of interest conditioned on different texts. By aggregating cross-modal information, the region filter selects key regions and the region adaptor updates their coordinates with text guidance. With detailed region-word alignments, SLAN can be easily generalized to many downstream tasks. It achieves fairly competitive results on five cross-modal understanding tasks (e.g., 85.7% and 69.2% on COCO image-to-text and text-to-image retrieval, surpassing previous SOTA methods). SLAN also demonstrates strong zero-shot and fine-tuned transferability to two localization tasks.

基于多模式方面的情感分类（MABSC）是一项新兴的分类任务，旨在将给定目标的情感分类，例如具有不同模式的数据中提到的实体。在带有文本和图像的典型多模式数据中，以前的方法不能充分利用图像的细颗粒语义，尤其是与文本的语义结合在一起，并且不完全考虑对细粒图像之间的关系进行建模信息和目标，这导致图像的使用不足和不足以识别细粒度的方面和意见。为了应对这些局限性，我们提出了一个新的框架SEQCSG，包括一种构建顺序跨模式语义图和编码器模型的方法。具体而言，我们从原始图像，图像标题和场景图中提取细粒度的信息，并将它们视为跨模式语义图的元素以及文本的令牌。跨模式语义图表示为具有多模式可见矩阵的序列，指示元素之间的关系。为了有效地利用跨模式语义图，我们建议使用目标提示模板的编码器解码器方法。实验结果表明，我们的方法优于现有方法，并在两个标准数据集MABSC上实现了最新方法。进一步的分析证明了每个组件的有效性，我们的模型可以隐含地学习图像的目标和细粒度信息之间的相关性。