Automatically fixing software bugs is a challenging task. While recent work showed that natural language context is useful in guiding bug-fixing models, the approach required prompting developers to provide this context, which was simulated through commit messages written after the bug-fixing code changes were made. We instead propose using bug report discussions, which are available before the task is performed and are also naturally occurring, avoiding the need for any additional information from developers. For this, we augment standard bug-fixing datasets with bug report discussions. Using these newly compiled datasets, we demonstrate that various forms of natural language context derived from such discussions can aid bug-fixing, even leading to improved performance over using commit messages corresponding to the oracle bug-fixing commits.
translated by 谷歌翻译
GPT-3等模型的零和少量提示的最新成功导致了NLP研究的范式转移。在本文中，我们研究了其对文本摘要的影响，重点是新闻摘要的经典基准领域。首先，我们研究了零击GPT-3与在大型摘要数据集中训练的微调模型的比较。我们表明，不仅人类压倒性地更喜欢GPT-3摘要，而且这些摘要也不遭受普通数据集特异性问题（例如事实差的问题）。接下来，我们研究这对评估意味着什么，尤其是黄金标准测试集的作用。我们的实验表明，基于参考和无参考的自动指标，例如最近提出的基于质量检查或基于质量的事实方法无法可靠地评估零击摘要。最后，我们讨论了未来的研究挑战，除了通用摘要之外，特别是基于关键字和方面的摘要，表明了优势微调方法与零拍的提示相比如何。为了支持进一步的研究，我们发布：（a）在4个标准摘要基准中，从微调和零摄像模型中产生的10K生成的摘要，（b）1K人类偏好判断和比较不同系统的普通系统，以进行通用和关键字的不同系统。基于摘要。
translated by 谷歌翻译
当个人指出或谈论其他人的话语时，语言永久不平等的能力最为明显。尽管当前对NLP中偏见的研究主要依赖于对特定群体的仇恨言论或偏见，但我们认为我们可以通过建模说话者，文本和目标来对偏见与语言使用之间的相互作用的相互作用更加微妙和细微的理解在文字中。在本文中，我们介绍了一个由美国国会议员注释的3033个英语推文的数据集，并介绍了人际情绪的注释，并对人际关系成员标签进行了“找到监督”。我们发现，诸如愤怒和厌恶之类的负面情绪主要用于群体外部情况，主要针对对方领导人。虽然人类可以表现出色，而不是鉴定人际群体成员资格的机会，但神经模型的表现要好得多。此外，人际关系成员资格和人际关系情感之间的共同编码使后者有一些表现的提高。这项工作旨在将NLP中偏见的研究从特定的偏见中重新调整为封装说话者，文本，目标和社会动态之间关系的偏见。本文的数据和代码可从https://github.com/venkatasg/interpersonal-dynamics获得
translated by 谷歌翻译
接受高等教育对于少数族裔和新兴双语学生至关重要。但是，高等教育机构用来与准学生交流的语言通常太复杂了。具体而言，美国的许多机构发布录取申请指令远远高于典型高中毕业生的平均阅读水平，通常接近13年级或14年级。这导致学生之间不必要的障碍和获得高等教育。这项工作旨在通过简化文本来应对这一挑战。我们介绍PSAT（专业简化的录取文本），这是一个数据集，其中有112条从美国的高等教育机构中随机选择的录取说明。然后，这些文本将被专业地简化，并被各个机构招生办公室的专职员工专家进行了验证和接受。此外，PSAT带有1,883个原始简化句子对的手动对齐。结果是在与现有简化资源不同的高风险流派中评估和微调文本简化系统的首个语料库。
translated by 谷歌翻译
预审前的语言模型已被证明在许多与软件有关的一代任务中都是有效的。但是，它们不适合编辑任务，因为它们不是为了推理编辑的原因。为了解决这个问题，我们提出了一个新颖的预处理目标，该目标明确地对编辑进行了建模并使用它来构建Coditt5，这是一种用于软件相关编辑任务的大型语言模型，该任务是在大量源代码和自然语言评论中鉴定的。我们将其对各种下游编辑任务进行微调，包括评论更新，错误修复和自动代码审核。通过优于基于纯生成的模型，我们证明了方法的普遍性及其对编辑任务的适用性。我们还展示了纯生成模型和我们的基于编辑的模型如何通过简单的重读策略相互补充，我们可以通过该策略实现三个下游编辑任务的最新性能。
translated by 谷歌翻译
开发对手挑战NLP系统的方法是提高模型性能和解释性的有前途的途径。在这里，我们描述了团队在第一个动态对抗数据收集（DADC）的任务1中“长角牛”的方法，该研讨会要求团队手动欺骗一个模型，以挖掘出挖掘的问题回答任务。我们的团队首先结束，模型错误率为62％。我们主张采用系统的，语言知情的方法来制定对抗性问题，并描述了试点实验的结果以及我们的官方提交。
translated by 谷歌翻译
虽然通过简单的因素问题回答，文本理解的大量进展，但更加全面理解话语仍然存在重大挑战。批判性地反映出文本的人将造成好奇心驱动，通常是开放的问题，这反映了对内容的深刻理解，并要求复杂的推理来回答。建立和评估这种类型的话语理解模型的关键挑战是缺乏注释数据，特别是因为找到了这些问题的答案（可能根本不回答），需要高度的注释载荷的高认知负荷。本文提出了一种新的范式，使可扩展的数据收集能够针对新闻文件的理解，通过话语镜头查看这些问题。由此产生的语料库DCQA（疑问回答的话语理解）包括在607名英语文件中的22,430个问题答案对组成。 DCQA以自由形式，开放式问题的形式捕获句子之间的话语和语义链接。在评估集中，我们向问题上的问题提交了来自好奇数据集的问题，我们表明DCQA提供了有价值的监督，以回答开放式问题。我们还在使用现有的问答资源设计预训练方法，并使用合成数据来适应不可批售的问题。
translated by 谷歌翻译
诸如自然灾害，全球大流行和社会动荡等危机不断威胁到我们的世界，并以不同的方式影响了全世界的数百万人。了解人们在大规模危机期间表达的情绪有助于告知政策制定者和急救人员有关人口的情绪状态，并为需要这种支持的人提供情感支持。我们介绍了Covidemo，〜3K英语推文标有情感，并在18个月内分布时间。我们的分析揭示了Covid-19造成的情感损失，以及随着时间的推移社会叙事和相关情绪的变化。由危机的时间敏感性和大规模注释努力的成本的激励，我们研究了在Covid-19的感知情绪预测的任务中，大型的预训练的语言模型在跨领域和时间表中的范围很好。我们的分析表明，跨域信息传输发生，但仍然存在很大的差距。我们提出了半监督的学习，作为弥合这一差距的一种方式，使用来自目标域的未标记数据获得了明显更好的性能。
translated by 谷歌翻译
在过去的三年里，自动评分发动机已被用于评分大约五百万个测试者。由于Covid-19和相关的教育和测试自动化，这个数字进一步增加。尽管使用了这么广泛，但基于AI的测试文献非常缺乏。提出新模型的大多数论文仅依赖于基于二次加权的Kappa（QWK）与人类评估者的协议，以显示模型效能。然而，这有效地忽略了论文评分的高度多重特征性质。论文评分取决于相干性，语法，相关性，充足和，词汇等特征。迄今为止，没有研究检测自动化论文评分：AES系统在全面上的所有这些功能。通过这种动机，我们为AES系统提出了一种模型不良反对派评估计划和相关指标，以测试其自然语言的理解能力和整体鲁棒性。我们使用所提出的方案评估当前的最先进的AES模型，并在最近的五个模型上报告结果。这些型号范围从基于特征为本的最新深度学习算法的方法。我们发现AES模型是高度不夸张的。即使是重型修改（高达25％）与问题无关的内容也不会降低模型产生的分数。另一方面，平均不相关的内容增加了分数，从而表明应该重新考虑模型评估策略和尺寸。我们还要求200名人类评估者在看到人类可以检测到两者之间的差异以及是否同意自动分数分配的分数的同意，以获得原始和对抗的反应。
translated by 谷歌翻译
To facilitate research on text generation, this paper presents a comprehensive and unified library, TextBox 2.0, focusing on the use of pre-trained language models (PLMs). To be comprehensive, our library covers $13$ common text generation tasks and their corresponding $83$ datasets and further incorporates $45$ PLMs covering general, translation, Chinese, dialogue, controllable, distilled, prompting, and lightweight PLMs. We also implement $4$ efficient training strategies and provide $4$ generation objectives for pre-training new PLMs from scratch. To be unified, we design the interfaces to support the entire research pipeline (from data loading to training and evaluation), ensuring that each step can be fulfilled in a unified way. Despite the rich functionality, it is easy to use our library, either through the friendly Python API or command line. To validate the effectiveness of our library, we conduct extensive experiments and exemplify four types of research scenarios. The project is released at the link: https://github.com/RUCAIBox/TextBox.
translated by 谷歌翻译