In this paper, we present strong baselines for the task of Feedback Comment Generation for Writing Learning. Given a sentence and an error span, the task is to generate a feedback comment explaining the error. Sentences and feedback comments are both in English. We experiment with LLMs and also create multiple pseudo datasets for the task, investigating how it affects the performance of our system. We present our results for the task along with extensive analysis of the generated comments with the aim of aiding future studies in feedback comment generation for English language learners.

This paper presents a solution to the GenChal 2022 shared task dedicated to feedback comment generation for writing learning. In terms of this task given a text with an error and a span of the error, a system generates an explanatory note that helps the writer (language learner) to improve their writing skills. Our solution is based on fine-tuning the T5 model on the initial dataset augmented according to syntactical dependencies of the words located within indicated error span. The solution of our team "nigula" obtained second place according to manual evaluation by the organizers.

Grammatical Error Correction (GEC) is the task of automatically detecting and correcting errors in text. The task not only includes the correction of grammatical errors, such as missing prepositions and mismatched subject-verb agreement, but also orthographic and semantic errors, such as misspellings and word choice errors respectively. The field has seen significant progress in the last decade, motivated in part by a series of five shared tasks, which drove the development of rule-based methods, statistical classifiers, statistical machine translation, and finally neural machine translation systems which represent the current dominant state of the art. In this survey paper, we condense the field into a single article and first outline some of the linguistic challenges of the task, introduce the most popular datasets that are available to researchers (for both English and other languages), and summarise the various methods and techniques that have been developed with a particular focus on artificial error generation. We next describe the many different approaches to evaluation as well as concerns surrounding metric reliability, especially in relation to subjective human judgements, before concluding with an overview of recent progress and suggestions for future work and remaining challenges. We hope that this survey will serve as comprehensive resource for researchers who are new to the field or who want to be kept apprised of recent developments.

提供有关学习者论证的反馈对于发展批判性思维技能至关重要，但是，它需要大量的时间和精力。为了减轻教师的过载，我们旨在自动化提供反馈的过程，尤其是给出诊断评论，以指出论点固有的弱点。建议给出特定的诊断评论，以便学习者可以识别诊断而不会误解。但是，如何制定提供特定的诊断评论的任务并不明显。我们将任务的表述作为模板选择和插槽填充，以使自动评估变得更加容易，并且模型的行为更加可行。该公式的关键是创建足以实用的模板集的可能性。在本文中，我们定义了三个标准，即模板集应满足：表达性，信息性和唯一性，并验证创建一个满足这些标准作为第一个试验的模板集的可行性。我们将通过一项注释研究证明，将文本中给出的诊断评论转换为模板格式是可行的。注释研究中使用的语料库公开可用。

This paper addresses the quality issues in existing Twitter-based paraphrase datasets, and discusses the necessity of using two separate definitions of paraphrase for identification and generation tasks. We present a new Multi-Topic Paraphrase in Twitter (MultiPIT) corpus that consists of a total of 130k sentence pairs with crowdsoursing (MultiPIT_crowd) and expert (MultiPIT_expert) annotations using two different paraphrase definitions for paraphrase identification, in addition to a multi-reference test set (MultiPIT_NMR) and a large automatically constructed training set (MultiPIT_Auto) for paraphrase generation. With improved data annotation quality and task-specific paraphrase definition, the best pre-trained language model fine-tuned on our dataset achieves the state-of-the-art performance of 84.2 F1 for automatic paraphrase identification. Furthermore, our empirical results also demonstrate that the paraphrase generation models trained on MultiPIT_Auto generate more diverse and high-quality paraphrases compared to their counterparts fine-tuned on other corpora such as Quora, MSCOCO, and ParaNMT.

As machine translation (MT) metrics improve their correlation with human judgement every year, it is crucial to understand the limitations of such metrics at the segment level. Specifically, it is important to investigate metric behaviour when facing accuracy errors in MT because these can have dangerous consequences in certain contexts (e.g., legal, medical). We curate ACES, a translation accuracy challenge set, consisting of 68 phenomena ranging from simple perturbations at the word/character level to more complex errors based on discourse and real-world knowledge. We use ACES to evaluate a wide range of MT metrics including the submissions to the WMT 2022 metrics shared task and perform several analyses leading to general recommendations for metric developers. We recommend: a) combining metrics with different strengths, b) developing metrics that give more weight to the source and less to surface-level overlap with the reference and c) explicitly modelling additional language-specific information beyond what is available via multilingual embeddings.

定义生成任务旨在自动在特定上下文中生成一个单词的定义。但是，由于缺乏针对不同复杂性的数据集，模型产生的定义往往会保持相同的复杂度。本文提出了为具有可控复杂性级别的单词生成定义的新任务。相应地，我们介绍了编译，一个数据集给出了有关中国定义的详细信息，并且每个定义都标有其复杂性级别。编译数据集包括74,303个单词和106,882个定义。据我们所知，它是中国定义生成任务的最大数据集。我们选择各种代表性生成方法作为此任务的基准和进行评估，这说明我们的数据集在协助模型生成不同的复杂性级别定义方面发挥了出色的作用。我们认为，编译数据集将使复杂性可控定义生成的进一步研究受益。

数据稀疏性是语法误差校正（GEC）的众所周知的问题。生成合成训练数据是针对此问题的一种广泛提出的解决方案，并允许模型近年来实现最新的（SOTA）性能。但是，这些方法通常会产生不切实际的错误，或者旨在仅一个错误生成句子。我们提出了一种基于学习的两个阶段方法，用于GEC的合成数据生成，从而放宽了仅包含一个错误的句子的约束。错误是根据句子优点产生的。我们表明，经过合成生成的语料库训练的GEC模型优于先前工作的合成数据的模型。

数据到文本生成系统旨在基于输入数据生成文本描述（通常以表格形式表示）。典型系统使用巨大的训练样本来学习表和文本之间的对应关系。然而，大型训练套装昂贵，可以获得这些方法在现实世界方案中的适用性。在这项工作中，我们专注于几次数据到文本生成。我们观察到，虽然微调预训练的语言模型可能会产生合理的句子，但它们在几次拍摄设置中遭受了低语义覆盖问题。换句话说，生成的文本中的重要输入时隙往往丢失。为此，我们提出了一种搜索和学习方法，可以利用预训练的语言模型，而是插入丢失的插槽以提高语义覆盖。我们根据搜索结果进一步微调我们的系统，以平滑搜索噪声，在很大程度上产生更好的质量文本并提高推理效率。实验表明，我们的模型在E2E和Wikibio数据集上实现了高性能。特别是，我们在E2E上覆盖了98.35％的输入槽，很大程度上减轻了低覆盖问题。

文本内容通常是协作写作过程的输出：我们从初始草稿开始，提出建议并反复进行更改。不可知的是，当今的语言模型只能产生最终结果。结果，他们缺乏对协作写作至关重要的几种能力：他们无法更新现有文本，难以控制和无法进行口头计划或解释其行为。为了解决这些缺点，我们介绍了Peer，这是一种协作语言模型，经过训练以模仿整个写作过程本身：Peer可以编写草稿，添加建议，提出编辑并为其行为提供解释。至关重要的是，我们训练多个同伴能够填补写作过程的各个部分的实例，从而可以使用自训练技术来提高培训数据的质量，数量和多样性。这通过使其适用于没有编辑历史的域，并提高其遵循说明，编写有用的评论并解释其动作的能力，从而释放了Peer的全部潜力。我们表明，同行在各个领域和编辑任务上取得了强大的性能。

预审前的语言模型已被证明在许多与软件有关的一代任务中都是有效的。但是，它们不适合编辑任务，因为它们不是为了推理编辑的原因。为了解决这个问题，我们提出了一个新颖的预处理目标，该目标明确地对编辑进行了建模并使用它来构建Coditt5，这是一种用于软件相关编辑任务的大型语言模型，该任务是在大量源代码和自然语言评论中鉴定的。我们将其对各种下游编辑任务进行微调，包括评论更新，错误修复和自动代码审核。通过优于基于纯生成的模型，我们证明了方法的普遍性及其对编辑任务的适用性。我们还展示了纯生成模型和我们的基于编辑的模型如何通过简单的重读策略相互补充，我们可以通过该策略实现三个下游编辑任务的最新性能。

这项研究讨论了半监督学习的影响与验证的语言模型，以生成数据到文本。当还补充大规模语言模型时，尚不清楚半监督学习是否仍然有用。这项研究的目的是通过将仅补充语言模型的数据到文本系统与两个数据到文本系统进行比较，这些系统通过数据增强或伪标记的半固定学习方法而富含数据。结果表明，半监督学习会导致多样性指标的得分更高。在输出质量方面，使用伪标记方法扩展数据到文本系统的训练集确实提高了文本质量分数，但是数据增强方法在没有训练设置扩展的情况下得出了与系统相似的分数。这些结果表明，即使也存在语言模型，半监督的学习方法也可以增强产出质量和多样性。

我们引入了翻译误差校正（TEC），这是自动校正人类生成的翻译的任务。机器翻译（MT）的瑕疵具有长期的动机系统，可以通过自动编辑后改善变化后的转换。相比之下，尽管人类直觉上犯了不同的错误，但很少有人注意自动纠正人类翻译的问题，从错别字到翻译约定的矛盾之处。为了调查这一点，我们使用三个TEC数据集构建和释放ACED语料库。我们表明，与自动后编辑数据集中的MT错误相比，TEC中的人类错误表现出更加多样化的错误，翻译流利性误差要少得多，这表明需要专门用于纠正人类错误的专用TEC模型。我们表明，基于人类错误的合成错误的预训练可将TEC F-SCORE提高多达5.1点。我们通过九名专业翻译编辑进行了人类的用户研究，发现我们的TEC系统的帮助使他们产生了更高质量的修订翻译。

由于当前语法纠错（GEC）任务中缺乏并行数据，基于序列框架的模型不能充分培训以获得更高的性能。我们提出了两个数据合成方法，可以控制误差率和合成数据对误差类型的比率。第一种方法是用固定概率损坏单声道语料库中的每个单词，包括更换，插入和删除。另一种方法是培训误差生成模型并进一步过滤模型的解码结果。对不同合成数据的实验表明，误差率为40％，误差类型的比率相同，可以提高模型性能。最后，我们综合了大约1亿数据并实现了与现有技术的可比性，它使用了我们使用的两倍。

已知深神经模型对输入噪声的敏感性是一个具有挑战性的问题。在NLP中，模型性能通常与自然发生的噪声恶化，例如拼写错误。要缓解此问题，模型可能会利用人为中断数据。然而，到目前为止已经任意确定产生的噪声的量和类型。因此，我们建议统计从语法纠错的语料库统计上的错误。我们对多种语言的若干先进的NLP系统进行了彻底的评估，其中任务包括句法分析，名为实体识别，神经机翻译，胶水基准和阅读理解的子集。我们还比较两种解决性能下降的方法：a）培训我们框架生成的中断数据的NLP模型;b）减少外部系统进行自然语言校正的输入噪声。代码在https://github.com/ufal/kazitext上发布。

使用良好形成的书面文本编译了当前可用的语法错误校正（GEC）数据集，将这些数据集的适用性限制为其他域，例如非正式的写作和对话框。在本文中，我们介绍了从开放式Chatbot对话中汲取的新颖平行GEC数据集;此数据集是我们的知识，将第一个GEC数据集定为会话设置。为了演示数据集的实用程序，我们使用注释的数据来微调最先进的GEC模型，从而提高了模型精度的16点。这在GEC模型中特别重要，因为模型精度被认为比GEC任务中的召回更重要，因为误报可能导致语言学习者的严重混乱。我们还提出了一个详细的注释方案，通过对可靠性的影响来排名错误，使我们的数据集两个可重复和可扩展。实验结果表明，我们的数据在提高了GEC模型性能方面的效果。

Information seeking users often pose questions with false presuppositions, especially when asking about unfamiliar topics. Most existing question answering (QA) datasets, in contrast, assume all questions have well defined answers. We introduce CREPE, a QA dataset containing a natural distribution of presupposition failures from online information-seeking forums. We find that 25% of questions contain false presuppositions, and provide annotations for these presuppositions and their corrections. Through extensive baseline experiments, we show that adaptations of existing open-domain QA models can find presuppositions moderately well, but struggle when predicting whether a presupposition is factually correct. This is in large part due to difficulty in retrieving relevant evidence passages from a large text corpus. CREPE provides a benchmark to study question answering in the wild, and our analyses provide avenues for future work in better modeling and further studying the task.

We report on novel investigations into training models that make sentences concise. We define the task and show that it is different from related tasks such as summarization and simplification. For evaluation, we release two test sets, consisting of 2000 sentences each, that were annotated by two and five human annotators, respectively. We demonstrate that conciseness is a difficult task for which zero-shot setups with large neural language models often do not perform well. Given the limitations of these approaches, we propose a synthetic data generation method based on round-trip translations. Using this data to either train Transformers from scratch or fine-tune T5 models yields our strongest baselines that can be further improved by fine-tuning on an artificial conciseness dataset that we derived from multi-annotator machine translation test sets.

文本样式传输是自然语言生成中的重要任务，旨在控制生成的文本中的某些属性，例如礼貌，情感，幽默和许多其他特性。它在自然语言处理领域拥有悠久的历史，最近由于深神经模型带来的有希望的性能而重大关注。在本文中，我们对神经文本转移的研究进行了系统调查，自2017年首次神经文本转移工作以来跨越100多个代表文章。我们讨论了任务制定，现有数据集和子任务，评估，以及丰富的方法在存在并行和非平行数据存在下。我们还提供关于这项任务未来发展的各种重要主题的讨论。我们的策据纸张列表在https://github.com/zhijing-jin/text_style_transfer_survey

使用样式转移模型来降低社交媒体评论的侵犯性可以帮助促进更具包容性的环境。但是，没有大量的数据集包含令人反感的文本及其不利的同行，并且具有有限标记数据的微调预审计模型可以导致样式传递文本中原始含义的丧失。为了解决这个问题，我们提供了两个主要贡献。首先，我们发布了第一个公开可用的，平行的反击红色评论及其风格转让的评论，由专家社会语言学家注释。然后，我们介绍了第一个话语感知的样式转移模型，这些模型可以有效地降低Reddit文本中的进攻性，同时保留原始文本的含义。这些模型是第一个检查评论与文本之间回复的推论链接的模型，以转移进攻性reddit文本的样式。我们提出了两种不同的方法，将话语关系与预验证的变压器模型集成在一起，并在我们的Reddit及其无罪分子同行的进攻评论的数据集中对其进行评估。相对于自动指标和人类评估的基线的改进表明，与最先进的话语 - 不可思议的模型相比，我们的话语感知模型在保持样式转移文本的含义方面更好。