预先接受训练的语言模型的进展导致了对自然语言理解的下游任务的令人印象深刻的结果。探索预先训练的语言模型的最新工作揭示了在其上下围化表示中编码的广泛的语言属性。然而，目前尚不清楚他们是否编码对符号推理方法至关重要的语义知识。我们提出了一种用于探测预先接受训练的语言模型表示的逻辑推断的语言信息的方法。我们的探测数据集涵盖主要符号推理系统所需的语言现象列表。我们发现（i）预先接受的语言模型为推断编码几种类型的语言信息，但是还有一些类型的信息弱编码，（ii）语言模型可以通过微调有效地学习语言信息缺少语言信息。总体而言，我们的调查结果提供了逻辑推理语言模型的语言信息的洞察力，以及他们的预训练程序捕获。此外，我们已经证明了语言模型作为语义和背景知识库的潜力，用于支持符号推断方法。

Contextualized representation models such as ELMo (Peters et al., 2018a) and BERT (Devlin et al., 2018) have recently achieved state-of-the-art results on a diverse array of downstream NLP tasks. Building on recent token-level probing work, we introduce a novel edge probing task design and construct a broad suite of sub-sentence tasks derived from the traditional structured NLP pipeline. We probe word-level contextual representations from four recent models and investigate how they encode sentence structure across a range of syntactic, semantic, local, and long-range phenomena. We find that existing models trained on language modeling and translation produce strong representations for syntactic phenomena, but only offer comparably small improvements on semantic tasks over a non-contextual baseline.

Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.

在NLP社区中有一个正在进行的辩论，无论现代语言模型是否包含语言知识，通过所谓的探针恢复。在本文中，我们研究了语言知识是否是现代语言模型良好表现的必要条件，我们称之为\ Texit {重新发现假设}。首先，我们展示了语言模型，这是显着压缩的，但在预先磨普目标上表现良好，以便在语言结构探讨时保持良好的分数。这一结果支持重新发现的假设，并导致我们的论文的第二款贡献：一个信息 - 理论框架，与语言建模目标相关。该框架还提供了测量语言信息对字词预测任务的影响的度量标准。我们通过英语综合和真正的NLP任务加固我们的分析结果。

Contextual word representations derived from large-scale neural language models are successful across a diverse set of NLP tasks, suggesting that they encode useful and transferable features of language. To shed light on the linguistic knowledge they capture, we study the representations produced by several recent pretrained contextualizers (variants of ELMo, the OpenAI transformer language model, and BERT) with a suite of seventeen diverse probing tasks. We find that linear models trained on top of frozen contextual representations are competitive with state-of-the-art task-specific models in many cases, but fail on tasks requiring fine-grained linguistic knowledge (e.g., conjunct identification). To investigate the transferability of contextual word representations, we quantify differences in the transferability of individual layers within contextualizers, especially between recurrent neural networks (RNNs) and transformers. For instance, higher layers of RNNs are more taskspecific, while transformer layers do not exhibit the same monotonic trend. In addition, to better understand what makes contextual word representations transferable, we compare language model pretraining with eleven supervised pretraining tasks. For any given task, pretraining on a closely related task yields better performance than language model pretraining (which is better on average) when the pretraining dataset is fixed. However, language model pretraining on more data gives the best results.

对于自然语言处理系统，两种证据支持在大型未解除的基层上的神经语言模型中使用文本表示：在应用程序启发基准上的表现（Peters等，2018年，除其他外）以及出现的出现这些陈述中的句法抽象（Tenney等，2019年，尤其）。另一方面，缺乏接地的监督呼吁质疑这些表现如何捕获意义（Bender和Koller，2020）。我们对最近的语言模型应用小说探针 - 特别关注由语义依赖性运作的谓词参数结构（Ivanova等，2012） - 并发现，与语法不同，语义不是通过今天的预磨款模型带到表面上。然后，我们使用卷积图编码器将语义解析明确地将语义解析结合到特定于任务的FineTuning中，为胶水基准测试中的自然语言理解（NLU）任务产生益处。这种方法展示了通用（而不是任务特定的）语言监督的潜力，以上和超越传统的预威胁和芬特。有几个诊断有助于本地化我们方法的好处。

为了解释神经NLI模型及其推理策略，我们进行了一个系统的探测研究，调查了这些模型是否捕获了自然逻辑的至关重要：单调性和概念包容性。在向下单调上下文中正确识别有效推论是NLI性能的已知绊脚石，包括否定范围和广义量子等语言现象。要了解这种困难，我们将单调性强调为上下文的属性，并检查模型在中文嵌入中捕获单调信息的程度，这些嵌入式是其决策过程的中间嵌入。绘制最近探测范式的进步，我们比较各种模型的单调性功能的存在。我们发现，单调信息在基准测试中实现高分的流行NLI模型的表现中，并观察到基于微调策略的这些模型的改进引入了更强大的单调性功能，以及他们在挑战集上的提高性能。

已经做出了许多努力，试图理解什么语法知识（例如，理解代币的语音部分的能力）是在大型预训练的语言模型（LM）中编码的。这是通过“边缘探测”（EP）测试完成的：监督分类任务，以预测SPAN的语法属性（是否具有语音的特定部分）仅使用来自LM编码器的令牌表示。但是，大多数NLP应用程序对这些LM编码器进行了微调，以用于特定任务。在这里，我们问：如果通过EP测试来衡量，LM是否进行了微调，它的语言信息的编码会改变吗？具体来说，我们专注于回答（QA）的任务，并在多个数据集上进行实验。我们发现，当微调模型表现良好或在模型被迫学习错误的相关性的对抗情况下，EP测试结果不会发生显着变化。从类似的发现来看，最近的一些论文得出结论，微调不会改变编码器中的语言知识，但它们没有提供解释。我们发现，EP模型本身容易利用EP数据集中的虚假相关性。当纠正该数据集偏差时，我们确实会看到EP测试结果的改善。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

与伯特（Bert）等语言模型相比，已证明知识增强语言表示的预培训模型在知识基础构建任务（即〜关系提取）中更有效。这些知识增强的语言模型将知识纳入预训练中，以生成实体或关系的表示。但是，现有方法通常用单独的嵌入表示每个实体。结果，这些方法难以代表播出的实体和大量参数，在其基础代币模型之上（即〜变压器），必须使用，并且可以处理的实体数量为由于内存限制，实践限制。此外，现有模型仍然难以同时代表实体和关系。为了解决这些问题，我们提出了一个新的预培训模型，该模型分别从图书中学习实体和关系的表示形式，并分别在文本中跨越跨度。通过使用SPAN模块有效地编码跨度，我们的模型可以代表实体及其关系，但所需的参数比现有模型更少。我们通过从Wikipedia中提取的知识图对我们的模型进行了预训练，并在广泛的监督和无监督的信息提取任务上进行了测试。结果表明，我们的模型比基线学习对实体和关系的表现更好，而在监督的设置中，微调我们的模型始终优于罗伯塔，并在信息提取任务上取得了竞争成果。

Pre-trained text encoders have rapidly advanced the state of the art on many NLP tasks. We focus on one such model, BERT, and aim to quantify where linguistic information is captured within the network. We find that the model represents the steps of the traditional NLP pipeline in an interpretable and localizable way, and that the regions responsible for each step appear in the expected sequence: POS tagging, parsing, NER, semantic roles, then coreference. Qualitative analysis reveals that the model can and often does adjust this pipeline dynamically, revising lowerlevel decisions on the basis of disambiguating information from higher-level representations.

尽管在理解深度NLP模型中学到的表示形式以及他们所捕获的知识方面已经做了很多工作，但对单个神经元的关注很少。我们提出了一种称为语言相关性分析的技术，可在任何外部特性中提取模型中的显着神经元 - 目的是了解如何保留这种知识在神经元中。我们进行了细粒度的分析以回答以下问题：（i）我们可以识别网络中捕获特定语言特性的神经元子集吗？ （ii）整个网络中的局部或分布式神经元如何？ iii）信息保留了多么冗余？ iv）针对下游NLP任务的微调预训练模型如何影响学习的语言知识？ iv）架构在学习不同的语言特性方面有何不同？我们的数据驱动的定量分析阐明了有趣的发现：（i）我们发现了可以预测不同语言任务的神经元的小亚集，ii）捕获基本的词汇信息（例如后缀），而这些神经元位于较低的大多数层中，iii，iii），而这些神经元，而那些神经元，而那些神经元则可以预测。学习复杂的概念（例如句法角色）主要是在中间和更高层中，iii），在转移学习过程中，显着的语言神经元从较高到较低的层移至较低的层，因为网络保留了较高的层以特定于任务信息，iv）我们发现很有趣在培训预训练模型之间的差异，关于如何保留语言信息，V）我们发现概念在多语言变压器模型中跨不同语言表现出相似的神经元分布。我们的代码作为Neurox工具包的一部分公开可用。

Recent progress in pretraining language models on large textual corpora led to a surge of improvements for downstream NLP tasks. Whilst learning linguistic knowledge, these models may also be storing relational knowledge present in the training data, and may be able to answer queries structured as "fillin-the-blank" cloze statements. Language models have many advantages over structured knowledge bases: they require no schema engineering, allow practitioners to query about an open class of relations, are easy to extend to more data, and require no human supervision to train. We present an in-depth analysis of the relational knowledge already present (without fine-tuning) in a wide range of state-of-theart pretrained language models. We find that (i) without fine-tuning, BERT contains relational knowledge competitive with traditional NLP methods that have some access to oracle knowledge, (ii) BERT also does remarkably well on open-domain question answering against a supervised baseline, and (iii) certain types of factual knowledge are learned much more readily than others by standard language model pretraining approaches. The surprisingly strong ability of these models to recall factual knowledge without any fine-tuning demonstrates their potential as unsupervised open-domain QA systems. The code to reproduce our analysis is available at https: //github.com/facebookresearch/LAMA.

For natural language understanding (NLU) technology to be maximally useful, it must be able to process language in a way that is not exclusive to a single task, genre, or dataset. In pursuit of this objective, we introduce the General Language Understanding Evaluation (GLUE) benchmark, a collection of tools for evaluating the performance of models across a diverse set of existing NLU tasks. By including tasks with limited training data, GLUE is designed to favor and encourage models that share general linguistic knowledge across tasks. GLUE also includes a hand-crafted diagnostic test suite that enables detailed linguistic analysis of models. We evaluate baselines based on current methods for transfer and representation learning and find that multi-task training on all tasks performs better than training a separate model per task. However, the low absolute performance of our best model indicates the need for improved general NLU systems.

People constantly use language to learn about the world. Computational linguists have capitalized on this fact to build large language models (LLMs) that acquire co-occurrence-based knowledge from language corpora. LLMs achieve impressive performance on many tasks, but the robustness of their world knowledge has been questioned. Here, we ask: do LLMs acquire generalized knowledge about real-world events? Using curated sets of minimal sentence pairs (n=1215), we tested whether LLMs are more likely to generate plausible event descriptions compared to their implausible counterparts. We found that LLMs systematically distinguish possible and impossible events (The teacher bought the laptop vs. The laptop bought the teacher) but fall short of human performance when distinguishing likely and unlikely events (The nanny tutored the boy vs. The boy tutored the nanny). In follow-up analyses, we show that (i) LLM scores are driven by both plausibility and surface-level sentence features, (ii) LLMs generalize well across syntactic sentence variants (active vs passive) but less well across semantic sentence variants (synonymous sentences), (iii) some, but not all LLM deviations from ground-truth labels align with crowdsourced human judgments, and (iv) explicit event plausibility information emerges in middle LLM layers and remains high thereafter. Overall, our analyses reveal a gap in LLMs' event knowledge, highlighting their limitations as generalized knowledge bases. We conclude by speculating that the differential performance on impossible vs. unlikely events is not a temporary setback but an inherent property of LLMs, reflecting a fundamental difference between linguistic knowledge and world knowledge in intelligent systems.

探测是一种流行的方法，可以辨别预先训练的语言模型表示中包含哪些语言信息。但是，选择探针模型的机制最近受到了激烈的争论，因为尚不清楚探针是否只是在提取信息或对语言属性进行建模。为了应对这一挑战，本文通过将探测作为提示任务提出探测来介绍一种新颖的探测方法。我们对五个探测任务进行实验，并表明我们的方法在提取信息方面比诊断探针更为可比或更好，而自行学习得更少。我们通过提示方法与注意力头修剪进一步结合探测，以分析模型将语言信息存储在其体系结构中的位置。然后，我们通过删除对该属性至关重要的头部并评估所得模型在语言建模上的性能来检查特定语言属性对预训练的有用性。

句子嵌入方法有许多成功的应用。但是，根据监督信号，在结果句子嵌入中捕获了哪些属性。在本文中，我们专注于具有相似体系结构和任务的两种类型的嵌入方法：一种关于自然语言推理任务的微型预训练的语言模型，以及其他微型训练的训练语言模型在单词预测任务上根据其定义句子，并研究其属性。具体而言，我们使用两个角度分区的STS数据集比较他们在语义文本相似性（STS）任务上的性能：1）句子源和2）句子对的表面相似性，并在下游和探测任务上比较其表现。此外，我们尝试结合两种方法，并证明将两种方法组合起来比无监督的STS任务和下游任务的各自方法的性能要好得多。

petroni等。 （2019）证明，可以通过将它们表达为冻结式提示并将模型的预测准确性解释为下限，作为其编码的事实信息量的较低限制，从预先接收的语言模型中检索世界事实。随后的工作已经尝试通过搜索更好的提示来缩回估计，使用不相交的事实作为培训数据。在这项工作中，我们制作两个互补贡献，以更好地了解这些事实探测技术。首先，我们提出了OptiPrompt，一种新颖的和有效的方法，直接在连续嵌入空间中优化。我们发现这种简单的方法能够预测喇嘛基准中的额外6.4％的事实。其次，我们提出了一个更重要的问题：我们真的可以将这些探测结果解释为下限吗？这些提示搜索方法是否有可能从培训数据中学习？我们发现，有些令人惊讶的是，这些方法使用的培训数据包含了潜在的事实分布的某些规则，以及所有现有的提示方法，包括我们的方法，可以利用它们以获得更好的事实预测。我们开展一系列控制实验来解除“学习”从“学习召回”，提供了更详细的图片，不同的提示可以揭示关于预先接受的语言模型。

递归名词短语（NPS）具有有趣的语义属性。例如，“我最喜欢的新电影”不一定是“我最喜欢的电影”，而“我最喜欢的电影”是。这对人类来说是常识，但它是未知预先接受预审的语言模型有这样的知识。我们介绍了递归名词短语挑战（RNPC），是针对对递归NPS的理解的挑战。在评估我们的数据集时，最先进的变压器模型只能实现偶然的偶然性能。尽管如此，我们表明这些知识是以适当的数据学习。我们进一步探讨了可以从我们的任务中学到的相关语言功能的模型，包括修饰语语义类别和修改范围。最后，培训的模型在外在伤害检测任务上实现了强大的零射击性能，显示了在下游应用中了解递归NP的有用性。所有代码和数据都将在https://github.com/veronica320/recursive-nps发布。

理解和生成语言的能力使人类认知与其他已知的生命形式不同。我们研究一种在语义解析的任务中，将两种最成功的途径（统计语言模型和象征性语义形式主义）梳理到语言的意义。我们基于基于过渡的抽象表示（AMR）解析器，AMREAGER，我们探索了融合预验证的上下文感知的单词嵌入的实用性 - 例如Bert和Roberta，在AMR解析的问题中，我们为新的解析器做出了贡献。 Dub作为Amrberger。实验发现，与非上下文对应物相比，这些丰富的词汇特征对改善解析器的总体表现并不特别有助于改善解析器的整体性能，而其他概念信息则赋予了系统以优于基准的能力。通过病变研究，我们发现上下文嵌入的使用有助于使系统更强大，以消除显式句法特征。这些发现揭示了上下文嵌入的优势和劣势，并以当前形式揭示了语言模型，并激发了更深入的理解。