从大规模训练数据集中获利，神经结构设计和高效推断的进步，联合嵌入成为解决交叉模态检索的主导方法。在这项工作中，我们首先表明，尽管他们有效性，但最先进的联合嵌入从长期的封闭问题中遭受显着遭受显着的困扰，其中少数画廊嵌入形成了许多查询的最近邻居。从NLP文献中汲取灵感，我们制定了一个称为QueryBank归一化（QB-Norm）的简单但有效的框架，该框架重新归属查询相似度，以解释嵌入空间中的集线器。 qb-norm提高了检索性能而不需要再培训。与事先工作不同，我们显示QB-Norm有效地工作，而不会对任何测试设置查询进行操作。在QB-Norm框架内，我们还提出了一种新颖的相似性归一化方法，动态倒置Softmax，比现有方法明显更强大。我们在一系列交叉模态检索模型和基准中展示了QB-Norm，在那里它一直增强超出现有技术的强基线。代码可在https://vladbogo.github.io/qb-norm/处获得。
translated by 谷歌翻译