我们介绍了一种新的分布式策略梯度算法，并表明它在优化机器翻译模型时，在培训稳定性和概括性绩效方面都优于现有的奖励感知培训程序，例如增强，最低风险培训（MRT）和近端政策优化（PPO）。我们称之为MAD的算法（由于在重要性加权计算中使用平均绝对偏差），它分布式数据生成器在Worker节点上每个源句子对多个候选者进行采样，而中心学习者则更新了策略。 MAD取决于两个降低差异策略：（1）一种有条件的奖励归一化方法，可确保每个源句子都具有正面和负面奖励翻译示例，以及（2）一种新的强大重要性加权方案，充当条件性熵正常化器。在各种翻译任务上进行的实验表明，使用MAD算法在使用贪婪的解码和梁搜索时，使用MAD算法学到的策略表现良好，并且学到的政策对训练过程中使用的特定奖励很敏感。

嘈杂的频道模型在神经机翻译（NMT）中特别有效。然而，最近的方法如“波束搜索和重新划分”（BSR）在推理期间引起了大量的计算开销，使实际应用不可行。我们的目标是建立一个摊销嘈杂的频道NMT模型，使得从它贪婪解码将生成转换，以最大化与使用BSR生成的翻译相同的奖励。我们尝试三种方法：知识蒸馏，1阶梯偏差仿制学习和Q学习。第一方法获得来自伪语料库的噪声信道信号，后两种方法旨在直接针对嘈杂的通道MT奖励优化。所有三种级别的速度推动速度推断为1-2级。对于所有三种方法，所生成的翻译无法实现与BSR相当的奖励，但BLEU近似的翻译质量类似于BSR产生的翻译的质量。

这项工作适用于最低贝叶斯风险（MBR）解码，以优化翻译质量的各种自动化指标。机器翻译中的自动指标最近取得了巨大的进步。特别是，在人类评级（例如BLEurt，或Comet）上微调，在与人类判断的相关性方面是优于表面度量的微调。我们的实验表明，神经翻译模型与神经基于基于神经参考度量，BLEURT的组合导致自动和人类评估的显着改善。通过与经典光束搜索输出不同的翻译获得该改进：这些翻译的可能性较低，并且较少受到Bleu等表面度量的青睐。

Neural Machine Translation (NMT) is an end-to-end learning approach for automated translation, with the potential to overcome many of the weaknesses of conventional phrase-based translation systems. Unfortunately, NMT systems are known to be computationally expensive both in training and in translation inference -sometimes prohibitively so in the case of very large data sets and large models. Several authors have also charged that NMT systems lack robustness, particularly when input sentences contain rare words. These issues have hindered NMT's use in practical deployments and services, where both accuracy and speed are essential. In this work, we present GNMT, Google's Neural Machine Translation system, which attempts to address many of these issues. Our model consists of a deep LSTM network with 8 encoder and 8 decoder layers using residual connections as well as attention connections from the decoder network to the encoder. To improve parallelism and therefore decrease training time, our attention mechanism connects the bottom layer of the decoder to the top layer of the encoder. To accelerate the final translation speed, we employ low-precision arithmetic during inference computations. To improve handling of rare words, we divide words into a limited set of common sub-word units ("wordpieces") for both input and output. This method provides a good balance between the flexibility of "character"-delimited models and the efficiency of "word"-delimited models, naturally handles translation of rare words, and ultimately improves the overall accuracy of the system. Our beam search technique employs a length-normalization procedure and uses a coverage penalty, which encourages generation of an output sentence that is most likely to cover all the words in the source sentence. To directly optimize the translation BLEU scores, we consider refining the models by using reinforcement learning, but we found that the improvement in the BLEU scores did not reflect in the human evaluation. On the WMT'14 English-to-French and English-to-German benchmarks, GNMT achieves competitive results to state-of-the-art. Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.

无向神经序列模型实现了与最先进的定向序列模型竞争的性能，这些序列模型在机器翻译任务中从左到右单调。在这项工作中，我们培训一项政策，该政策是通过加强学习来学习预先训练的，无向翻译模型的发电顺序。我们表明，通过我们学习的订单解码的翻译可以实现比从左到右解码的输出量更高的BLEU分数或由来自Mansimov等人的学习顺序解码的输出。 （2019）关于WMT'14德语翻译任务。从De-Zh，WMT'16英语 - 罗马尼亚语和WMT'21英语翻译任务的最大来源和目标长度为30的示例，我们的学习订单优于六个任务中的四个启发式生成订单。我们接下来通过定性和定量分析仔细分析学习的订单模式。我们表明我们的政策通常遵循外部到内部顺序，首先预测最左右的位置，然后向中间移动，同时在开始时跳过不太重要的单词。此外，该政策通常在连续步骤中预测单个语法构成结构的位置。我们相信我们的调查结果可以对无向生成模型的机制提供更多的见解，并鼓励在这方面进一步研究。我们的代码在HTTPS://github.com/jiangyctarheel/undirectect - generation

Non-autoregressive neural machine translation (NAT) models suffer from the multi-modality problem that there may exist multiple possible translations of a source sentence, so the reference sentence may be inappropriate for the training when the NAT output is closer to other translations. In response to this problem, we introduce a rephraser to provide a better training target for NAT by rephrasing the reference sentence according to the NAT output. As we train NAT based on the rephraser output rather than the reference sentence, the rephraser output should fit well with the NAT output and not deviate too far from the reference, which can be quantified as reward functions and optimized by reinforcement learning. Experiments on major WMT benchmarks and NAT baselines show that our approach consistently improves the translation quality of NAT. Specifically, our best variant achieves comparable performance to the autoregressive Transformer, while being 14.7 times more efficient in inference.

We propose BERTSCORE, an automatic evaluation metric for text generation. Analogously to common metrics, BERTSCORE computes a similarity score for each token in the candidate sentence with each token in the reference sentence. However, instead of exact matches, we compute token similarity using contextual embeddings. We evaluate using the outputs of 363 machine translation and image captioning systems. BERTSCORE correlates better with human judgments and provides stronger model selection performance than existing metrics. Finally, we use an adversarial paraphrase detection task to show that BERTSCORE is more robust to challenging examples when compared to existing metrics.

神经自回归序列模型涂抹许多可能​​序列之间的概率，包括退化的序列，例如空或重复序列。在这项工作中，我们解决了一个特定的情况，其中模型为不合理的短序列分配高概率。我们定义了量化速率以量化此问题。在确认神经机翻译中高度过度的过天气后，我们建议明确地减少培训期间的过天平率。我们进行一组实验来研究建议的正规化对模型分布和解码性能的影响。我们使用神经电脑翻译任务作为测试用，并考虑三个不同大小的不同数据集。我们的实验显示了三个主要结果。首先，我们可以通过调整正规化的强度来控制模型的过天平率。其次，通过提高过度损失贡献，令牌的概率和等级在不应该是它的位置下降。第三，所提出的正则化影响光束搜索的结果，特别是当使用大梁时。用大梁的翻译质量（在BLEU中测量）的降解显着减少了较低的过天速速率，但与较小光束尺寸相比的劣化仍有剩余状态。从这些观察中，我们得出结论，高度过度的过度性是神经自回归模型中过于可能的短序列的退化情况背后的主要原因。

Reranking methods in machine translation aim to close the gap between common evaluation metrics (e.g. BLEU) and maximum likelihood learning and decoding algorithms. Prior works address this challenge by training models to rerank beam search candidates according to their predicted BLEU scores, building upon large models pretrained on massive monolingual corpora -- a privilege that was never made available to the baseline translation model. In this work, we examine a simple approach for training rerankers to predict translation candidates' BLEU scores without introducing additional data or parameters. Our approach can be used as a clean baseline, decoupled from external factors, for future research in this area.

由于其令人鼓舞的性能，在各种控制任务中的令人鼓舞的表现，深增强学习（Deep RL）一直在受到更高的关注。然而，在训练神经网络中的常规正则化技术（例如，$ L_2 $正则化，辍学）已经在RL方法中被忽略，可能是因为代理通常在相同的环境中进行培训和评估，因为Deep RL社区重点关注更多-Level算法设计。在这项工作中，我们在连续控制任务中提出了具有多种策略优化算法的正则化技术的第一综合研究。有趣的是，我们发现策略网络上的传统正则化技术通常可以带来大量改进，特别是在更难的任务上。我们的研究结果显示在训练HyperParameter变化方面是强大的。我们还将这些技术与更广泛使用的熵正则化进行了比较。此外，我们还研究正规化不同的组件，并发现策略网络通常是最佳的。我们进一步分析了为什么正则化可能有助于从四个观点来帮助推广 - 样本复杂性，奖励分配，重量规范和噪音鲁棒性。我们希望我们的研究为未来的规则策略优化算法提供指导。我们的代码可在https://github.com/xuanlinli17/ICLRR2021_RLREG上获得。

本文概述了NVIDIA Nemo的神经电机翻译系统，用于WMT21新闻和生物医学共享翻译任务的受限数据跟踪。我们的新闻任务提交英语 - 德语（EN-DE）和英语 - 俄语（EN-RU）是基于基于基于基线变换器的序列到序列模型之上。具体而言，我们使用1）检查点平均2）模型缩放3）模型缩放3）与从左右分解模型的逆转传播和知识蒸馏的数据增强4）从前一年的测试集上的FINETUNING 5）型号集合6）浅融合解码变压器语言模型和7）嘈杂的频道重新排名。此外，我们的BioMedical任务提交的英语 - 俄语使用生物学偏见的词汇表，并从事新闻任务数据的划痕，从新闻任务数据集中策划的医学相关文本以及共享任务提供的生物医学数据。我们的新闻系统在WMT'20 en-de试验中实现了39.5的Sacrebleu得分优于去年任务38.8的最佳提交。我们的生物医学任务ru-en和en-ru系统分别在WMT'20生物医学任务测试集中达到43.8和40.3的Bleu分数，优于上一年的最佳提交。

本文探讨了在深度参与者批评的增强学习模型中同时学习价值功能和政策的问题。我们发现，由于这两个任务之间的噪声水平差异差异，共同学习这些功能的共同实践是亚最佳选择。取而代之的是，我们表明独立学习这些任务，但是由于蒸馏阶段有限，可以显着提高性能。此外，我们发现可以使用较低的\ textIt {方差}返回估计值来降低策略梯度噪声水平。鉴于，值学习噪声水平降低了较低的\ textit {bias}估计值。这些见解共同为近端策略优化的扩展提供了信息，我们称为\ textit {dual Network Archituction}（DNA），这极大地超过了其前身。DNA还超过了受欢迎的彩虹DQN算法在测试的五个环境中的四个环境中的性能，即使在更困难的随机控制设置下也是如此。

Subword units are an effective way to alleviate the open vocabulary problems in neural machine translation (NMT). While sentences are usually converted into unique subword sequences, subword segmentation is potentially ambiguous and multiple segmentations are possible even with the same vocabulary. The question addressed in this paper is whether it is possible to harness the segmentation ambiguity as a noise to improve the robustness of NMT. We present a simple regularization method, subword regularization, which trains the model with multiple subword segmentations probabilistically sampled during training. In addition, for better subword sampling, we propose a new subword segmentation algorithm based on a unigram language model. We experiment with multiple corpora and report consistent improvements especially on low resource and out-of-domain settings.

神经指标与机器翻译系统评估中的人类判断达到了令人印象深刻的相关性，但是在我们可以安全地针对此类指标进行优化之前，我们应该意识到（并且理想地消除）偏向获得高分的不良翻译的偏见。我们的实验表明，基于样本的最小贝叶斯风险解码可用于探索和量化此类弱点。在将此策略应用于彗星进行ende和de-en时，我们发现彗星模型不足以差异和命名实体差异。我们进一步表明，通过简单地培训其他合成数据并发布我们的代码和数据以促进进一步的实验，这些偏见很难完全消除。

Minimum Bayesian Risk Decoding (MBR) emerges as a promising decoding algorithm in Neural Machine Translation. However, MBR performs poorly with label smoothing, which is surprising as label smoothing provides decent improvement with beam search and improves generality in various tasks. In this work, we show that the issue arises from the un-consistency of label smoothing on the token-level and sequence-level distributions. We demonstrate that even though label smoothing only causes a slight change in the token-level, the sequence-level distribution is highly skewed. We coin the issue \emph{distributional over-smoothness}. To address this issue, we propose a simple and effective method, Distributional Cooling MBR (DC-MBR), which manipulates the entropy of output distributions by tuning down the Softmax temperature. We theoretically prove the equivalence between pre-tuning label smoothing factor and distributional cooling. Experiments on NMT benchmarks validate that distributional cooling improves MBR's efficiency and effectiveness in various settings.

机器学习正在转向通用佩带的生成模型，以自我监督的方式在大量数据上训练，然后可以应用于解决大量任务。然而，由于其通用培训方法，这些模型通常无法满足一些下游要求（例如，在自动代码生成中的抽象摘要或错误格式的幻觉）。这提出了关于如何在不破坏其功能的情况下将预先训练的生成模型调整到新任务的重要问题。最近的工作建议通过代表基于能量的模型（EBMS）来解决任务特定要求，并使用分配策略梯度（DPG）近似这些EBM来解决这个问题。不幸的是，这种方法仅限于无条件的分布，由无条件的EBM表示。在本文中，我们通过提出条件DPG（CDPG）来扩展这种方法。我们在两个任务中评估了三种不同控制目标的CDPG：与T5和GPT-Neo的代码生成摘要。我们的结果表明，使用CDPG的微调稳健地将这些佩带的模型更接近地满足控制目标，而 - 与基线​​方法相比 - 不会导致灾难性的遗忘。

我们为策略梯度强化学习引入了一种约束的优化方法，该方法使用虚拟信任区域来调节每个策略更新。除了将一个单一旧政策作为正常信任区域的邻近性外，我们还建议通过另一个虚拟策略形成第二个信任区域，代表了过去的各种过去的政策。然后，我们执行新政策，以保持更靠近虚拟政策，如果旧政策的运作差，这将是有益的。更重要的是，我们提出了一种机制，可以自动从过去政策的记忆中自动构建虚拟策略，从而为在优化过程中动态学习适当的虚拟信任区域提供了新的能力。我们提出的方法是在不同的环境中进行检查，包括机器人运动控制，带有稀疏奖励和Atari游戏的导航，始终如一地证明了针对最近的上政策限制性策略梯度方法，在各种环境中进行了检查。

在本文中，我们分享了我们努力建立能够翻译一千多种语言的实用机器翻译（MT）系统的发现。我们在三个研究领域中描述了结果：（i）通过利用半监督预训练的语言识别和开发数据驱动的过滤技术来构建1500多种语言的清洁，网挖数据集； （ii）通过利用大规模的多语言模型来开发用于服务不足的语言的实用MT模型，该模型训练了有监督的并行数据，以使用100多种高资源语言和单语言数据集，以增加1000多种语言； （iii）研究这些语言的评估指标的局限性，并对我们MT模型的输出进行定性分析，突出显示了这些类型模型的几种频繁误差模式。我们希望我们的工作为旨在为当前研究的语言构建MT系统的从业者提供有用的见解，并突出显示可以补充Data-Sparse设置中大量多语言模型的弱点的研究方向。

Grammatical Error Correction (GEC) is the task of automatically detecting and correcting errors in text. The task not only includes the correction of grammatical errors, such as missing prepositions and mismatched subject-verb agreement, but also orthographic and semantic errors, such as misspellings and word choice errors respectively. The field has seen significant progress in the last decade, motivated in part by a series of five shared tasks, which drove the development of rule-based methods, statistical classifiers, statistical machine translation, and finally neural machine translation systems which represent the current dominant state of the art. In this survey paper, we condense the field into a single article and first outline some of the linguistic challenges of the task, introduce the most popular datasets that are available to researchers (for both English and other languages), and summarise the various methods and techniques that have been developed with a particular focus on artificial error generation. We next describe the many different approaches to evaluation as well as concerns surrounding metric reliability, especially in relation to subjective human judgements, before concluding with an overview of recent progress and suggestions for future work and remaining challenges. We hope that this survey will serve as comprehensive resource for researchers who are new to the field or who want to be kept apprised of recent developments.

神经文本生成模型，如用于总结和翻译的那些模型产生高质量的输出，但是当我们真正想要的是一个不同的选项时，通常会集中在模式周围。我们介绍了一个搜索算法来构建编码大量生成选项的格子。首先，我们将解码重组为最佳搜索，该搜索探讨了与光束搜索不同的空间，并通过避免修剪路径来提高效率。其次，我们重新审视假设重组的想法：我们可以在搜索期间识别类似的生成候选者，并将它们合并为近似。在摘要和机器翻译中，我们表明我们的算法编码了数百到数千个不同的选项，这些选项保持语法和高质量成一个线性型格子。该算法为在大规模不同输出之上构建下游生成应用提供了基础。