跨模式检索引起了计算机视觉和自然语言处理域的广泛关注。随着卷积和经常性神经网络的发展，跨图像文本模态的检索瓶颈不再是图像和文本特征的提取，而是嵌入空间中有效的损失函数学习。许多损失函数试图从异质方式中更接近成对特征。本文提出了一种使用模式内约束损耗函数学习图像和文本的联合嵌入的方法，以减少从相同均匀模态中违反负面对的侵犯。实验结果表明，我们的方法优于FlickR30K和Microsoft Coco数据集的最先进的双向图像检索方法。我们的代码公开可用：https：//github.com/canonchen/imc。
translated by 谷歌翻译