Word Embeddings于2013年在2013年宣传了Word2Vec，已成为NLP工程管道的主流。最近，随着BERT的发布，Word Embeddings已经从基于术语的嵌入空间移动到上下文嵌入空间 - 每个术语不再由单个低维向量表示，而是每个术语，而是\ \ EMPH {其上下文}。确定矢量权重。 BERT的设置和架构已被证明足以适用于许多自然语言任务。重要的是，对于信息检索（IR），与IR问题的先前深度学习解决方案相比，需要在神经净架构和培训制度的显着调整，“Vanilla BERT”已被证明以广泛的余量优于现有的检索算法，包括任务在传统的IR基线（如Robust04）上有很长的抵抗检索有效性的Corpora。在本文中，我们采用了最近提出的公理数据集分析技术 - 即，我们创建了每个诊断数据集，每个诊断数据集都满足检索启发式（术语匹配和语义） - 探索BERT能够学习的是什么。与我们的期望相比，我们发现BERT，当应用于最近发布的具有ad-hoc主题的大规模Web语料库时，\ emph {否}遵守任何探索的公理。与此同时，BERT优于传统的查询似然检索模型40 \％。这意味着IR的公理方法（及其为检索启发式创建的诊断数据集的扩展）可能无法适用于大型语料库。额外的 - 需要不同的公理。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

当医学研究人员进行系统审查（SR）时，筛查研究是最耗时的过程：研究人员阅读了数千个医学文献，手动标记它们相关或无关紧要。筛选优先级排序（即，文件排名）是通过提供相关文件的排名来协助研究人员的方法，其中相关文件的排名高于无关。种子驱动的文档排名（SDR）使用已知的相关文档（即，种子）作为查询并生成这些排名。以前的SDR工作试图在查询文档中识别不同术语权重，并在检索模型中使用它们来计算排名分数。或者，我们将SDR任务制定为查询文档的类似文档，并根据相似度得分生成排名。我们提出了一个名为Mirror匹配的文件匹配度量，通过结合常见的书写模式来计算医疗摘要文本之间的匹配分数，例如背景，方法，结果和结论。我们对2019年克利夫氏素母电子邮件进行实验2 TAR数据集，并且经验结果表明这种简单的方法比平均精度和精密的度量标准的传统和神经检索模型实现了更高的性能。

我们提出了一种以最小计算成本提高广泛检索模型的性能的框架。它利用由基本密度检索方法提取的预先提取的文档表示，并且涉及训练模型以共同评分每个查询的一组检索到的候选文档，同时在其他候选的上下文中暂时转换每个文档的表示。以及查询本身。当基于其与查询的相似性进行评分文档表示时，该模型因此意识到其“对等”文档的表示。我们表明，我们的方法导致基本方法的检索性能以及彼此隔离的评分候选文档进行了大量改善，如在一对培训环境中。至关重要的是，与基于伯特式编码器的术语交互重型器不同，它在运行时在任何第一阶段方法的顶部引发可忽略不计的计算开销，允许它与任何最先进的密集检索方法容易地结合。最后，同时考虑给定查询的一组候选文档，可以在检索中进行额外的有价值的功能，例如评分校准和减轻排名中的社会偏差。

在这项工作中，我们提出了一个系统的实证研究，专注于最先进的多语言编码器在跨越多种不同语言对的交叉语言文档和句子检索任务的适用性。我们首先将这些模型视为多语言文本编码器，并在无监督的ad-hoc句子和文档级CLIR中基准性能。与监督语言理解相比，我们的结果表明，对于无监督的文档级CLIR - 一个没有针对IR特定的微调 - 预训练的多语言编码器的相关性判断，平均未能基于CLWE显着优于早期模型。对于句子级检索，我们确实获得了最先进的性能：然而，通过多语言编码器来满足高峰分数，这些编码器已经进一步专注于监督的时尚，以便句子理解任务，而不是使用他们的香草'现货'变体。在这些结果之后，我们介绍了文档级CLIR的本地化相关性匹配，在那里我们独立地对文件部分进行了查询。在第二部分中，我们评估了在一系列零拍语言和域转移CLIR实验中的英语相关数据中进行微调的微调编码器精细调整的微调我们的结果表明，监督重新排名很少提高多语言变压器作为无监督的基数。最后，只有在域名对比度微调（即，同一域名，只有语言转移），我们设法提高排名质量。我们在目标语言中单次检索的交叉定向检索结果和结果（零拍摄）交叉传输之间的显着实证差异，这指出了在单机数据上训练的检索模型的“单声道过度装备”。

多跳的推理（即跨两个或多个文档的推理）是NLP模型的关键要素，该模型利用大型语料库表现出广泛的知识。为了检索证据段落，多跳模型必须与整个啤酒花的快速增长的搜索空间抗衡，代表结合多个信息需求的复杂查询，并解决有关在训练段落之间跳出的最佳顺序的歧义。我们通过Baleen解决了这些问题，Baleen可以提高多跳检索的准确性，同时从多跳的训练信号中学习强大的训练信号的准确性。为了驯服搜索空间，我们提出了凝结的检索，该管道总结了每个跃点后检索到单个紧凑型上下文的管道。为了建模复杂的查询，我们引入了一个重点的后期相互作用检索器，该检索器允许同一查询表示的不同部分匹配不同的相关段落。最后，为了推断无序的训练段落中的跳跃依赖性，我们设计了潜在的跳跃订购，这是一种弱者的策略，在该策略中，受过训练的检索员本身选择了啤酒花的顺序。我们在检索中评估Baleen的两跳问答和多跳的要求验证，并确定最先进的绩效。

两个关键假设塑造了排名检索的通常视图：（1）搜索者可以为他们希望看到的文档中的疑问选择单词，并且（2）排名检索的文档就足以，因为搜索者将足够就足够了能够认识到他们希望找到的那些。当要搜索的文档处于搜索者未知的语言时，既不是真的。在这种情况下，需要跨语言信息检索（CLIR）。本章审查了艺术技术的交流信息检索，并概述了一些开放的研究问题。

我们对13个最近的模型进行了全面评估，用于使用两个流行的收藏（MS MARCO文档和Robust04）排名长期文档。我们的模型动物园包括两个专门的变压器模型（例如longformer），它们可以处理长文档而无需分配它们。一路上，我们记录了有关培训和比较此类模型的几个困难。有些令人惊讶的是，我们发现简单的第一个基线（满足典型变压器模型的输入序列约束的截断文档）非常有效。我们分析相关段落的分布（内部文档），以解释这种现象。我们进一步认为，尽管它们广泛使用，但Robust04和MS Marco文档对于基准长期模型并不是特别有用。

近年来，在应用预训练的语言模型（例如Bert）上，取得了巨大进展，以获取信息检索（IR）任务。在网页中通常使用的超链接已被利用用于设计预训练目标。例如，超链接的锚文本已用于模拟查询，从而构建了巨大的查询文档对以进行预训练。但是，作为跨越两个网页的桥梁，尚未完全探索超链接的潜力。在这项工作中，我们专注于建模通过超链接连接的两个文档之间的关系，并为临时检索设计一个新的预训练目标。具体而言，我们将文档之间的关系分为四组：无链接，单向链接，对称链接和最相关的对称链接。通过比较从相邻组采样的两个文档，该模型可以逐渐提高其捕获匹配信号的能力。我们提出了一个渐进的超链接预测（{php}）框架，以探索预训练中超链接的利用。对两个大规模临时检索数据集和六个提问数据集的实验结果证明了其优于现有的预训练方法。

Recent progress in Natural Language Understanding (NLU) is driving fast-paced advances in Information Retrieval (IR), largely owed to ne-tuning deep language models (LMs) for document ranking.While remarkably e ective, the ranking models based on these LMs increase computational cost by orders of magnitude over prior approaches, particularly as they must feed each query-document pair through a massive neural network to compute a single relevance score. To tackle this, we present ColBERT, a novel ranking model that adapts deep LMs (in particular, BERT) for e cient retrieval. ColBERT introduces a late interaction architecture that independently encodes the query and the document using BERT and then employs a cheap yet powerful interaction step that models their ne-grained similarity. By delaying and yet retaining this negranular interaction, ColBERT can leverage the expressiveness of deep LMs while simultaneously gaining the ability to pre-compute document representations o ine, considerably speeding up query processing. Beyond reducing the cost of re-ranking the documents retrieved by a traditional model, ColBERT's pruning-friendly interaction mechanism enables leveraging vector-similarity indexes for end-to-end retrieval directly from a large document collection. We extensively evaluate ColBERT using two recent passage search datasets. Results show that ColBERT's e ectiveness is competitive with existing BERT-based models (and outperforms every non-BERT baseline), while executing two orders-of-magnitude faster and requiring four orders-of-magnitude fewer FLOPs per query.

排名模型是信息检索系统的主要组成部分。排名的几种方法是基于传统的机器学习算法，使用一组手工制作的功能。最近，研究人员在信息检索中利用了深度学习模型。这些模型的培训结束于结束，以提取来自RAW数据的特征来排序任务，因此它们克服了手工制作功能的局限性。已经提出了各种深度学习模型，每个模型都呈现了一组神经网络组件，以提取用于排名的特征。在本文中，我们在不同方面比较文献中提出的模型，以了解每个模型的主要贡献和限制。在我们对文献的讨论中，我们分析了有前途的神经元件，并提出了未来的研究方向。我们还显示文档检索和其他检索任务之间的类比，其中排名的项目是结构化文档，答案，图像和视频。

最近，几种密集的检索（DR）模型已经证明了在搜索系统中无处不在的基于术语的检索的竞争性能。与基于术语的匹配相反，DR将查询和文档投影到密集的矢量空间中，并通过（大约）最近的邻居搜索检索结果。部署新系统（例如DR）不可避免地涉及其性能方面的权衡。通常，建立的检索系统按照效率和成本（例如查询延迟，索引吞吐量或存储要求）对其进行了良好的理解。在这项工作中，我们提出了一个具有一组标准的框架，这些框架超出了简单的有效性措施，可以彻底比较两个检索系统，并明确目标是评估一个系统的准备就绪，以取代另一个系统。这包括有效性和各种成本因素之间的仔细权衡考虑。此外，我们描述了护栏标准，因为即使是平均而言更好的系统，也可能会对少数查询产生系统性故障。护栏检查某些查询特性和新型故障类型的故障，这些故障仅在密集检索系统中才有可能。我们在网络排名方案上演示了我们的决策框架。在这种情况下，最先进的DR模型的结果令人惊讶，不仅是平均表现，而且通过一系列广泛的护栏测试，表现出不同的查询特性，词汇匹配，概括和回归次数的稳健性。无法预测将来博士是否会变得无处不在，但是这是一种可能的方法是通过重复应用决策过程（例如此处介绍的过程）。

尽管基于术语的方法（例如BM25）在排名方面提供了强大的基准，但在某些条件下，它们由大型预训练的蒙版语言模型（MLMS）（例如BERT）主导。迄今为止，其有效性的来源尚不清楚。他们是通过建模句法方面真正理解含义的能力吗？我们通过以破坏查询和通道的自然序列顺序来操纵输入顺序和位置信息来回答这一点，并表明该模型仍然可以实现可比性的性能。总体而言，我们的结果凸显了句法方面在与BERT重新排行的有效性中没有关键作用。我们指出了其他机制，例如查询通行的交叉注意事项和更丰富的嵌入，这些机制是基于汇总上下文捕获单词含义的，而不管是订单词的主要属性，无论是其出色表现的主要归因。

我们认为当前的红外标准，用于优化用户体验，测量太窄的IR空间的一部分。如果IR系统较弱，这些指标缺乏或完全过滤出需要改进的更深层次的文件。如果IR系统相对强，则这些指标欠更深的相关文档，这些文档可以在用户可消化的层次结构或文本摘要中呈现出甚至更强大的IR系统，这些文件甚至可以呈现来自数十或数百个相关文档的内容。我们从过去28年重新分析了超过70个TREC曲目，显示大约一半的欠压排名的文件，几乎所有的缺乏尾部文件。我们展示在2020年的深度学习轨道中，神经系统在排名第一的文件中实际上是近乎最佳的，而在尾部文件上只有BM25的适度增益相比。我们的分析基于简单的新系统导向度量，“雾化搜索长度”，它能够在任何深度准确且均匀地测量所有相关文档。

在信息检索（IR）系统中，趋势和用户的兴趣可能会随着时间的推移而变化，改变要建议的请求或内容的分布。由于神经排名越来越依赖于培训数据，因此了解最近IR方法的转移能力在长期地址新域名的转移能力至关重要。在本文中，我们首先提出基于MSMarco语料库的数据集，旨在建模长期的主题以及IR属性驱动的受控设置。然后，我们深入分析最近神经红外模型的能力，同时不断地学习这些流。我们的实证研究突出显示在其中发生灾难性遗忘（例如，任务之间的相似程度，文本长度的特点，学习模型的方式），以便在模型设计方面提供未来的方向。

知识密集型语言任务（苏格兰信）通常需要大量信息来提供正确的答案。解决此问题的一种流行范式是将搜索系统与机器读取器相结合，前者检索支持证据，后者检查它们以产生答案。最近，读者组成部分在大规模预培养的生成模型的帮助下见证了重大进展。同时，搜索组件中的大多数现有解决方案都依赖于传统的``索引 - retrieve-then-Rank''管道，该管道遭受了巨大的内存足迹和端到端优化的困难。受到最新构建基于模型的IR模型的努力的启发，我们建议用新颖的单步生成模型替换传统的多步搜索管道，该模型可以极大地简化搜索过程并以端到端的方式进行优化。我们表明，可以通过一组经过适当设计的预训练任务来学习强大的生成检索模型，并被采用以通过进一步的微调来改善各种下游苏格兰短裙任务。我们将预训练的生成检索模型命名为Copusbrain，因为有关该语料库的所有信息均以其参数进行编码，而无需构造其他索引。经验结果表明，在苏格兰语基准上的检索任务并建立了新的最新性能，Copusbrain可以极大地超过强大的基准。我们还表明，在零农源和低资源设置下，科体班运行良好。

信息检索的任务是许多自然语言处理系统的重要组成部分，例如开放式域问题回答。尽管传统方法是基于手工制作的功能，但基于神经网络的连续表示最近获得了竞争结果。使用此类方法的一个挑战是获取监督数据以训练回猎犬模型，该模型对应于一对查询和支持文档。在本文中，我们提出了一种技术，以学习以知识蒸馏的启发，并不需要带注释的查询和文档对。我们的方法利用读者模型的注意分数，用于根据检索文档解决任务，以获取猎犬的合成标签。我们评估我们的方法回答，获得最新结果。

本文概述了了解信息检索和自然语言处理中最近的发展的概念框架，试图集成密集和稀疏检索方法。我提出了一种代表性方法，将核心文本检索问题与逻辑评分模型和物理检索模型中断。评分模型在编码器方面定义，将查询和文档映射到代表空间，以及计算查询文档分数的比较函数。物理检索模型定义了系统如何从关于查询的任意大语料库产生顶级k $ Scoring文档。分别沿两个维度进一步分析得分模型：密集与稀疏表示和监督（学习）与无监督的方法。我展示了许多最近提出的检索方法，包括多级排名设计，可以看作是本框架中的不同参数化，并且统一视图表明了许多开放的研究问题，为未来的工作提供了路线图。作为奖金，这种概念框架在计算时建立了与自然语言处理和信息访问“技术”中的句子相似任务的连接。

搜索会话中的上下文信息对于捕获用户的搜索意图很重要。已经提出了各种方法来对用户行为序列进行建模，以改善会话中的文档排名。通常，（搜索上下文，文档）对的训练样本在每个训练时期随机采样。实际上，了解用户的搜索意图和判断文档的相关性的困难从一个搜索上下文到另一个搜索上下文有很大差异。混合不同困难的训练样本可能会使模型的优化过程感到困惑。在这项工作中，我们为上下文感知文档排名提出了一个课程学习框架，其中排名模型以易于恐惧的方式学习搜索上下文和候选文档之间的匹配信号。这样一来，我们旨在将模型逐渐指向全球最佳。为了利用正面和负面示例，设计了两个课程。两个真实查询日志数据集的实验表明，我们提出的框架可以显着提高几种现有方法的性能，从而证明课程学习对上下文感知文档排名的有效性。

尽管基于变压器的代表性检索模型在过去几年中已经能够取得重大进步，尽管经过广泛接受的惯例和测试模型的最佳实践，但用于测试它们的$ \ textit {标准化} $评估框架却没有已开发。在这项工作中，我们将文献研究人员的最佳实践和约定正式化，为更标准化的评估铺平了道路，因此在模型之间进行了更公平的比较。我们的框架（1）嵌入了文档和查询； （2）对于每个查询文档对，根据文档的点产物和查询嵌入来计算相关得分； （3）使用MSMARCO数据集的$ \ texttt {dev} $集来评估模型； （4）使用$ \ texttt {trec_eval} $脚本来计算MRR@100，这是用于评估模型的主要度量。最重要的是，我们通过在一些最著名的密集检索模型上进行实验来展示此框架的使用。