Realizing when a model is right for a wrong reason is not trivial and requires a significant effort by model developers. In some cases, an input salience method, which highlights the most important parts of the input, may reveal problematic reasoning. But scrutinizing highlights over many data instances is tedious and often infeasible. Furthermore, analyzing examples in isolation does not reveal general patterns in the data or in the model's behavior. In this paper we aim to address these issues and go from understanding single examples to understanding entire datasets and models. The methodology we propose is based on aggregated salience maps. Using this methodology we address multiple distinct but common model developer needs by showing how problematic data and model behavior can be identified -- a necessary first step for improving the model.

特征归因A.K.A.将重要性分配给特征的输入突出性方法丰富，但可能对同一输入上的相同模型产生令人惊讶的不同结果。虽然预期差异是假设存在的不同意义的定义，但大多数方法要求提供与模型预测最相关的特征的忠实归属和点。对忠诚评估的现有工作并不是决定性的，并且没有提供明确的答案，以及如何比较不同的方法。专注于文本分类和模型调试方案，我们的主要贡献是忠实评估的协议，该协议是利用部分合成数据来获得特征重要性排名的基础事实。在该协议之后，我们对四个标准Parience方法进行了深入的分析，在一系列数据集和LSTM模型的数据集和快捷方式上进行了深入的分析，并证明了一些最受欢迎的方法配置即使对于最简单的快捷方式，也可以提供较差的结果。我们建议使用每个新任务和模型组合的协议，以找到识别快捷方式的最佳方法。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

最先进的深度学习方法在许多任务上实现了类似人类的表现，但仍会犯错。用易于解释的术语表征这些错误，可以深入了解分类器是否容易出现系统错误，但也提供了一种行动和改善分类器的方法。我们建议发现与正确响应密切相关的那些特征值组合（即模式）。错误的预测，以获取任意分类器的全局和可解释的描述。我们证明这是更通用的标签描述问题的实例，我们根据最小描述长度原理提出了这一点。要发现一个良好的模式集，我们开发了有效的前提算法。通过大量的实验，我们表明它在合成数据和现实世界中的实践中表现出色。与现有的解决方案不同，即使在许多功能上的高度不平衡数据上，它也可以恢复地面真相模式。通过两个有关视觉问题答案和命名实体识别的案例研究，我们确认前提可以清楚且可行的见解对现代NLP分类器的系统错误。

识别有影响力的培训示例的能力使我们能够调试培训数据并解释模型行为。现有的技术是基于通过模型参数来影响训练数据影响的。对于NLP应用中的大型模型，在所有模型参数中研究此流程通常是不可行的，因此技术通常选择重量的最后一层。但是，我们观察到，由于激活连接到最后一层的权重包含``共享逻辑''，因此通过最后一层权重计算的数据容易``取消效应''，其中不同示例的数据影响不同的示例的数据影响彼此相矛盾的大级级。取消效应降低了影响评分的歧视力，并且根据此措施删除有影响力的例子通常不会太多改变模型的行为。为了减轻这种情况，我们提出了一种称为Tracin的技术，我们可以修改一种称为Tracin的方法，可以在嵌入层而不是最后一层中进行操作，在该层中，取消效果不太严重。一个潜在的问题是，基于单词嵌入层的影响可能无法编码足够的高级信息。但是，我们发现梯度（与嵌入不同）不会遭受这一影响，这可能是因为它们通过较高的层链。我们表明，在三个语言分类任务上，在案例删除评估上，Tracin-We明显优于4-10在上一层上应用的其他数据影响的其他数据影响方法。此外，Tracin-We不仅可以在整体培训输入水平上产生分数，而且还可以在培训输入中的单词水平上产生分数，这是进一步的调试。

预测过程的结果需要建模系统动态并观察状态。在社会行为的背景下，情感是系统的状态。影响控制理论（ACT）使用情感来表现潜在的相互作用。ACT是基于三维情感词典的文化和行为的生成理论。传统上，使用调查数据对情感进行量化，该数据被输入回归模型以解释社会行为。调查中使用的词典由于成本过高而受到限制。本文使用来自变压器（BERT）模型的微调双向编码器表示，以开发这些调查的替代品。该模型在估计情感含义，扩展情感词典并允许解释更多行为方面达到了最新的准确性。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

建筑聊天禁令的最大挑战是培训数据。所需的数据必须逼真，足以训练聊天禁止。我们创建一个工具，用于从Facebook页面的Facebook Messenger获取实际培训数据。在文本预处理步骤之后，新获得的数据集生成FVNC和示例数据集。我们使用返回越南（Phobert）的伯特来提取文本数据的功能。 K-means和DBSCAN聚类算法用于基于Phobert $ _ {Base} $的输出嵌入式群集任务。我们应用V测量分数和轮廓分数来评估聚类算法的性能。我们还展示了Phobert的效率与样本数据集和Wiki DataSet上的特征提取中的其他模型相比。还提出了一种结合聚类评估的GridSearch算法来找到最佳参数。由于群集如此多的对话，我们节省了大量的时间和精力来构建培训Chatbot的数据和故事情节。

深层自然语言处理（NLP）模型的快速发展导致迫切需要对这些模型单独提出的统一理解。由于缺乏解释低级（例如单词）和高级（例如，短语）特征的统一措施，现有方法无法满足一个框架中不同模型的需求。我们已经开发了一个视觉分析工具DeepNLPVI，以使对文本分类的NLP模型有统一的理解。关键思想是一种基于信息的度量，它提供了有关模型的每一层如何维护样本中输入单词信息的定量解释。我们在每个层的内部和界面信息中对单词对最终预测的重要性以及单词之间的关系（例如短语的形成）进行建模。多层可视化由语料库级，样本级别和单词级可视化组成，支持从整体训练集到单个样本的分析。关于分类任务和模型比较的两个案例研究表明，DeepNLPVI可以帮助用户有效地确定样本和模型架构引起的潜在问题，然后进行明智的改进。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

长期以来，共同基金或交易所交易基金（ETF）的分类已为财务分析师提供服务，以进行同行分析，以从竞争对手分析开始到量化投资组合多元化。分类方法通常依赖于从n-1a表格中提取的结构化格式的基金组成数据。在这里，我们启动一项研究，直接从使用自然语言处理（NLP）的表格中描绘的非结构化数据中学习分类系统。将输入数据仅作为表格中报告的投资策略描述，而目标变量是Lipper全球类别，并且使用各种NLP模型，我们表明，分类系统确实可以通过高准确率。我们讨论了我们发现的含义和应用，以及现有的预培训架构的局限性在应用它们以学习基金分类时。

近年来，人们对开发自然语言处理（NLP）中可解释模型的利益越来越多。大多数现有模型旨在识别输入功能，例如对于模型预测而言重要的单词或短语。然而，在NLP中开发的神经模型通常以层次结构的方式构成单词语义，文本分类需要层次建模来汇总本地信息，以便处理主题和标签更有效地转移。因此，单词或短语的解释不能忠实地解释文本分类中的模型决策。本文提出了一种新型的层次解释性神经文本分类器，称为提示，该分类器可以自动以层次结构方式以标记相关主题的形式生成模型预测的解释。模型解释不再处于单词级别，而是基于主题作为基本语义单元。评论数据集和新闻数据集的实验结果表明，我们所提出的方法与现有最新的文本分类器相当地达到文本分类结果，并比其他可解释的神经文本更忠实于模型的预测和更好地理解人类的解释分类器。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

神经语言模型被广泛使用；但是，它们的模型参数通常需要适应时间和资源消耗的应用程序的特定域和任务。因此，最近引入了适配器作为模型适应的轻巧替代方案。它们由一组特定于任务的参数组成，这些参数缩短了训练时间和简单的参数组成。适配器训练和组成的简单性带来了新的挑战，例如保持适配器属性的概述，并有效地比较其生产的嵌入空间。为了帮助开发人员克服这些挑战，我们提供了双重贡献。首先，在与NLP研究人员的密切合作中，我们对支持适配器评估的方法进行了需求分析，并检测到了对固有的（即基于相似性的嵌入相似性）和外部（即基于预测的）解释方法的需求。 。其次，在收集的要求的激励下，我们设计了一个灵活的视觉分析工作空间，可以比较适配器属性。在本文中，我们讨论了几次设计迭代和替代方案，以进行交互式，比较视觉解释方法。我们的比较可视化表明，适应性嵌入媒介的差异和对​​各种人性化概念（例如，人的名字，人类素质）的预测结果。我们通过案例研究评估我们的工作空间，并表明，例如，根据Context-0（deNsTextualized）嵌入对语言偏见任务进行培训的适配器，引入了一种新型的偏见，其中单词（甚至与性别独立的单词）一样与女性代词更类似于女性。我们证明这些是上下文0嵌入的工件。

Multiple choice questions (MCQs) are widely used in digital learning systems, as they allow for automating the assessment process. However, due to the increased digital literacy of students and the advent of social media platforms, MCQ tests are widely shared online, and teachers are continuously challenged to create new questions, which is an expensive and time-consuming task. A particularly sensitive aspect of MCQ creation is to devise relevant distractors, i.e., wrong answers that are not easily identifiable as being wrong. This paper studies how a large existing set of manually created answers and distractors for questions over a variety of domains, subjects, and languages can be leveraged to help teachers in creating new MCQs, by the smart reuse of existing distractors. We built several data-driven models based on context-aware question and distractor representations, and compared them with static feature-based models. The proposed models are evaluated with automated metrics and in a realistic user test with teachers. Both automatic and human evaluations indicate that context-aware models consistently outperform a static feature-based approach. For our best-performing context-aware model, on average 3 distractors out of the 10 shown to teachers were rated as high-quality distractors. We create a performance benchmark, and make it public, to enable comparison between different approaches and to introduce a more standardized evaluation of the task. The benchmark contains a test of 298 educational questions covering multiple subjects & languages and a 77k multilingual pool of distractor vocabulary for future research.

从理由学习，寻求使用人为理由（即输入令牌的子集）增强模型培训（即输入令牌的子集）。在直观的同时，这个想法在实践中被证明是难以捉摸的。我们通过经验分析进行了两次关于人类理由的观察：1）最大化预测的理由精度不一定是提高模型性能的最佳目标; 2）人类的理由在提供模型中以利用预测的模型提供足够的信息，并且我们可以使用这种方差来评估数据集的潜在改善，从理论中学习。建立这些见解，我们提出了损失职能和学习策略，并在具有人类理由的三个数据集中评估其有效性。我们的结果表明，在标签性能和理由性能方面对基线的一致性改进，包括对Mullirc的3％的准确性改进。我们的工作突出了了解人类解释属性并在模型培训中利用它们的重要性。

可解释的机器学习提供了有关哪些因素推动了黑盒系统的一定预测以及是否信任高风险决策或大规模部署的洞察力。现有方法主要集中于选择解释性输入功能，这些功能遵循本地添加剂或实例方法。加性模型使用启发式采样扰动来依次学习实例特定解释器。因此，该过程效率低下，并且容易受到条件较差的样品的影响。同时，实例技术直接学习本地采样分布，并可以从其他输入中利用全球信息。但是，由于严格依赖预定义的功能，他们只能解释单一级预测并在不同设置上遇到不一致的情况。这项工作利用了这两种方法的优势，并提出了一个全球框架，用于同时学习多个目标类别的本地解释。我们还提出了一种自适应推理策略，以确定特定实例的最佳功能数量。我们的模型解释器极大地超过了忠诚的添加和实例的对应物，而在各种数据集和Black-box模型体系结构上获得了高水平的简洁性。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。