RNN-T模型由于其在线流媒体模式下运营的竞争力和能力，因此在文献和商业系统中广受欢迎。在这项工作中，我们进行了一项广泛的研究，比较了单调和原始RNN-T模型的几种预测网络体系结构。我们根据普通的最新构象编码器比较4种类型的预测网络，并在LibrisPeech和内部医学对话数据集上获得报告结果。我们的研究涵盖了离线批处理模式和在线流媒体方案。与以前的一些作品相反，我们的结果表明，当用作预测网络以及构象异构体编码器时，变压器并不总是胜过LSTM。受分数启发的启发，我们提出了一个新的简单预测网络体系结构N-CONCAT，它在我们在线流式传输基准测试中的表现优于其他。变压器和N-Gram降低的体系结构的表现非常相似，但在先前的上下文方面具有一些重要的不同行为。总体而言，与LSTM基线相比，我们获得了多达4.1％的相对相对改善，同时将预测网络参数降低了几乎数量级（8.4倍）。

最近，基于注意的编码器 - 解码器（AED）模型对多个任务的端到端自动语音识别（ASR）显示了高性能。在此类模型中解决了过度控制，本文介绍了轻松关注的概念，这是一种简单地逐渐注入对训练期间对编码器 - 解码器注意重量的统一分配，其易于用两行代码实现。我们调查轻松关注跨不同AED模型架构和两个突出的ASR任务，华尔街日志（WSJ）和LibRisPeech的影响。我们发现，在用外部语言模型解码时，随着宽松的注意力训练的变压器始终如一地始终如一地遵循标准基线模型。在WSJ中，我们为基于变压器的端到端语音识别设置了一个新的基准，以3.65％的单词错误率，最优于13.1％的相对状态，同时仅引入单个HyperParameter。

梁搜索是端到端模型的主要ASR解码算法，生成树结构化假设。但是，最近的研究表明，通过假设合并进行解码可以通过可比或更好的性能实现更有效的搜索。但是，复发网络中的完整上下文与假设合并不兼容。我们建议在RNN传感器的预测网络中使用矢量定量的长期记忆单元（VQ-LSTM）。通过与ASR网络共同培训离散表示形式，可以积极合并假设以生成晶格。我们在总机语料库上进行的实验表明，提出的VQ RNN传感器改善了具有常规预测网络的换能器的ASR性能，同时还产生了具有相同光束尺寸的Oracle Word错误率（WER）的密集晶格。其他语言模型撤退实验还证明了拟议的晶格生成方案的有效性。

最近，语音界正在看到从基于深神经网络的混合模型移动到自动语音识别（ASR）的端到端（E2E）建模的显着趋势。虽然E2E模型在大多数基准测试中实现最先进的，但在ASR精度方面，混合模型仍然在当前的大部分商业ASR系统中使用。有很多实际的因素会影响生产模型部署决定。传统的混合模型，用于数十年的生产优化，通常擅长这些因素。在不为所有这些因素提供优异的解决方案，E2E模型很难被广泛商业化。在本文中，我们将概述最近的E2E模型的进步，专注于解决行业视角的挑战技术。

Sequence transducers, such as the RNN-T and the Conformer-T, are one of the most promising models of end-to-end speech recognition, especially in streaming scenarios where both latency and accuracy are important. Although various methods, such as alignment-restricted training and FastEmit, have been studied to reduce the latency, latency reduction is often accompanied with a significant degradation in accuracy. We argue that this suboptimal performance might be caused because none of the prior methods explicitly model and reduce the latency. In this paper, we propose a new training method to explicitly model and reduce the latency of sequence transducer models. First, we define the expected latency at each diagonal line on the lattice, and show that its gradient can be computed efficiently within the forward-backward algorithm. Then we augment the transducer loss with this expected latency, so that an optimal trade-off between latency and accuracy is achieved. Experimental results on the WSJ dataset show that the proposed minimum latency training reduces the latency of causal Conformer-T from 220 ms to 27 ms within a WER degradation of 0.7%, and outperforms conventional alignment-restricted training (110 ms) and FastEmit (67 ms) methods.

已知历史和未来的上下文信息对于准确的声学建模很重要。但是，获取未来的上下文会带来流式ASR的延迟。在本文中，我们提出了一个新的框架 - 块，模拟未来的上下文和解码（Cuside）以进行流语言识别。引入了一个新的仿真模块，以递归地模拟未来的上下文帧，而无需等待未来的上下文。使用自我监督的损失与ASR模型共同训练模拟模块；ASR模型通过通常的ASR损失（例如我们实验中使用的CTC-CRF）进行了优化。实验表明，与使用真实的未来框架作为正确的上下文相比，使用模拟的未来上下文可以大大降低延迟，同时保持识别精度。使用Cuside，我们在Aishell-1数据集上获得了新的最新流媒体ASR结果。

在端到端RNN-TransDucer（RNN-T）中使用外部语言模型（ELM）使用仅文本数据进行语音识别是具有挑战性的。最近，已经开发了一类方法，例如密度比（DR）和内部语言模型估计（ILME），表现优于经典的浅融合（SF）方法。这些方法背后的基本思想是，RNN-T后验应首先先于隐式学习的内部语言模型（ILM），以便整合ELM。尽管最近的研究表明RNN-T仅学习一些低阶语言模型信息，但DR方法使用具有完整背景的训练有素的神经语言模型，这可能不适合估计ILM并恶化整合性能。基于DR方法，我们通过用低阶弱语言模型代替估计来提出低阶密度比方法（LODR）。在英语librispeech＆tedlium-2和中国wenetspeech和aishell-1数据集的内域和跨域情景上进行了广泛的经验实验。结果表明，在大多数测试中，LODR在所有任务中始终胜过所有任务，而通常接近ILME，并且比DR更好。

基于全注意力的变压器体系结构的强大建模能力通常会导致过度拟合，并且 - 对于自然语言处理任务，导致自动回归变压器解码器中隐式学习的内部语言模型，使外部语言模型的集成变得复杂。在本文中，我们探索了放松的注意力，对注意力的重量进行了简单易于实现的平滑平滑，从编码器。其次，我们表明它自然支持外部语言模型的整合，因为它通过放松解码器中的交叉注意来抑制隐式学习的内部语言模型。我们证明了在几项任务中放松注意力的好处，并与最近的基准方法相结合，并明显改善。具体而言，我们超过了最大的最大公共唇部阅读LRS3基准的26.90％单词错误率的先前最新性能，单词错误率为26.31％，并且我们达到了最佳表现的BLEU分数37.67在IWSLT14（de $ \ rightarrow $ en）的机器翻译任务没有外部语言模型，几乎没有其他模型参数。代码和模型将公开可用。

最近提出的符合者架构已成功用于实现在不同数据集上实现最先进性能的端到端自动语音识别（ASR）架构。为了我们的最佳知识，没有研究使用适用物声学模型对混合ASR的影响。在本文中，我们展示并评估了竞争的基于统一体的混合模型训练配方。我们研究了不同的培训方面和方法，以提高字差率以及提高训练速度。我们应用时间下采样方法以实现有效的培训，并使用转换卷积再次上置输出序列。我们在交换机300H数据集中进行实验，与其他架构相比，我们的符合子的混合模型实现了竞争力。它在Hub5'01测试集上概括并显着优于BLSTM的混合模型。

End-to-end speech recognition models trained using joint Connectionist Temporal Classification (CTC)-Attention loss have gained popularity recently. In these models, a non-autoregressive CTC decoder is often used at inference time due to its speed and simplicity. However, such models are hard to personalize because of their conditional independence assumption that prevents output tokens from previous time steps to influence future predictions. To tackle this, we propose a novel two-way approach that first biases the encoder with attention over a predefined list of rare long-tail and out-of-vocabulary (OOV) words and then uses dynamic boosting and phone alignment network during decoding to further bias the subword predictions. We evaluate our approach on open-source VoxPopuli and in-house medical datasets to showcase a 60% improvement in F1 score on domain-specific rare words over a strong CTC baseline.

流动自动语音识别（ASR）模型更为流行，适合基于语音的应用程序。但是，非流入模型在查看整个音频上下文时提供了更好的性能。为了利用语音搜索等流媒体应用程序中非流游模型的好处，它通常在第二通过重新评分模式下使用。使用蒸汽模型生成的候选假设是使用非流程模型重新评分的。在这项工作中，我们在独立和重新评分模式的Flipkart语音搜索任务上评估了基于注意力的端到端ASR模型。这些模型基于收听拼写（LAS）编码器编码器架构。我们基于LSTM，变压器和构象异构体进行不同的编码器变化。我们将这些模型的延迟要求与它们的性能进行比较。总体而言，我们表明，变压器模型提供了可接受的延迟要求。我们报告的相对改善约为16％，第二次通过LAS重新评分，延迟开销低于5ms。我们还强调了CNN前端使用变压器体系结构的重要性，以达到可比的单词错误率（WER）。此外，我们观察到，在第二次通过重新评分模式下，所有编码器都提供了相似的好处，而在独立文本生成模式下，性能差异很明显。

本文提出了代币级别的序列化输出训练（T-SOT），这是流式传输多对话者自动语音识别（ASR）的新型框架。与使用多个输出分支的现有流媒体多对话者ASR模型不同，T-SOT模型只有一个单个输出分支，该分支基于其排放时间生成多个扬声器的识别令牌（例如，单词，子字）。引入了指示“虚拟”输出通道更改的特殊令牌，以跟踪重叠的话语。与先前的流媒体ASR模型相比，T-SOT模型具有较低的推理成本和更简单的模型体系结构的优点。此外，在我们对LibrisPeechMix和Librics数据集的实验中，基于T-SOT的变压器换能器模型可实现最新的单词错误率，从而有很大的差距。对于非重叠的语音，T-SOT模型在精度和计算成本方面与单调的ASR模型相提并论，为单个单词和多对话者方案部署一个模型打开了大门。

在本文中，我们提出了一种新的双通方法来统一一个模型中的流和非流媒体端到端（E2E）语音识别。我们的型号采用混合CTC /注意架构，其中编码器中的构装层被修改。我们提出了一种基于动态的块的注意力策略，以允许任意右上下文长度。在推理时间，CTC解码器以流式方式生成n最佳假设。只有更改块大小，可以轻松控制推理延迟。然后，CTC假设被注意力解码器重新筛选以获得最终结果。这种有效的备用过程导致句子级延迟非常小。我们在开放的170小时Aishell-1数据集上的实验表明，所提出的方法可以简单有效地统一流和非流化模型。在Aishell-1测试集上，与标准的非流式变压器相比，我们的统一模型在非流式ASR中实现了5.60％的相对字符错误率（CER）减少。同一模型在流式ASR系统中实现了5.42％的CER，640ms延迟。

Neural transducer is now the most popular end-to-end model for speech recognition, due to its naturally streaming ability. However, it is challenging to adapt it with text-only data. Factorized neural transducer (FNT) model was proposed to mitigate this problem. The improved adaptation ability of FNT on text-only adaptation data came at the cost of lowered accuracy compared to the standard neural transducer model. We propose several methods to improve the performance of the FNT model. They are: adding CTC criterion during training, adding KL divergence loss during adaptation, using a pre-trained language model to seed the vocabulary predictor, and an efficient adaptation approach by interpolating the vocabulary predictor with the n-gram language model. A combination of these approaches results in a relative word-error-rate reduction of 9.48\% from the standard FNT model. Furthermore, n-gram interpolation with the vocabulary predictor improves the adaptation speed hugely with satisfactory adaptation performance.

使用未知数量的扬声器数量的单通道远场录制的自动语音识别（ASR）传统上由级联模块解决。最近的研究表明，与模块化系统相比，端到端（E2E）多扬声器ASR模型可以实现卓越的识别准确性。但是，这些模型不会确保由于其对完整音频上下文的依赖性而实时适用性。这项工作采用实时适用性，作为模型设计的第一优先级，并解决了以前的多扬声器经常性神经网络传感器（MS-RNN-T）的几个挑战。首先，我们在训练期间介绍一般的重叠言论模拟，在LibrisPeechMix测试集上产生14％的相对字错误率（WER）改进。其次，我们提出了一种新的多转RNN-T（MT-RNN-T）模型，其具有基于重叠的目标布置策略，其概括为任意数量的扬声器，而没有模型架构的变化。我们调查在Liblics测试集上培训训练期间看到的最大扬声器数量的影响，并在两位扬声器MS-RNN-T上报告28％的相对加速。第三，我们试验丰富的转录战略，共同承认和分割多方言论。通过深入分析，我们讨论所提出的系统的潜在陷阱以及未来的未来研究方向。

语言识别对于自动语音识别（ASR）中的许多下游任务至关重要，并且有益于将多语言端到端的ASR集成为附加任务。在本文中，我们建议通过集成每帧语言标识符（LID）预测器来修改基于层压编码器的复发神经网络传感器（RNN-T）模型的结构。带有级联编码器的RNN-T可以使用不右键的第一通用解码来实现较低延迟的流动ASR，并使用二频道解码使用更长的右文本实现较低的单词错误率（WERS）。通过利用当前文章中的这种差异和统计池的流传输实现，该建议的方法可以实现准确的流盖预测，而几乎没有额外的测试时间成本。语音搜索数据集的实验结果具有9个语言语言位置，表明所提出的方法平均达到96.2％的盖子预测准确性，而与输入中的Oracle盖相同的二次通用方法。

Self-supervised learning via masked prediction pre-training (MPPT) has shown impressive performance on a range of speech-processing tasks. This paper proposes a method to bias self-supervised learning towards a specific task. The core idea is to slightly finetune the model that is used to obtain the target sequence. This leads to better performance and a substantial increase in training speed. Furthermore, this paper proposes a variant of MPPT that allows low-footprint streaming models to be trained effectively by computing the MPPT loss on masked and unmasked frames. These approaches are evaluated for automatic speech recognition on the Librispeech corpus, where 100 hours of data served as the labelled data and 860 hours as the unlabelled data. The biased training outperforms the unbiased training by 15.5% after 250k updates and 23.8% after 100k updates on test-other. For the streaming models, the pre-training approach yields a reduction in word error rate of 44.1%.

本文介绍了流式扬声器的自动语音识别（SA-ASR）模型，该模型可以识别``即使多个人同时讲话，谁说'谁说什么”。我们的模型基于令牌级的序列化输出培训（T-SOT），该培训最近提议以流媒体方式转录多对词的演讲。为了进一步认识说话者的身份，我们提出了一个基于编码器的扬声器嵌入提取器，该扬声器可以估算每个公认的代币的说话者表示，不仅是从非重叠的语音中，而且还来自重叠的语音。所提出的扬声器嵌入为T-vector，与T-SOT ASR模型同步提取，从而可以通过低潜伏期的多词器转录来联合执行说话者识别（SID）或说话者诊断（SD）。我们通过使用LibrisPeechMix和Libralics Corpora评估了ASR和SID/SD联合任务的建议模型。所提出的模型比以前的流媒体模型获得了更高的准确性，并且与最新的离线SA-ASR模型显示出可比甚至更高的结果。

设备的端到端（E2E）模型已显示出对质量和延迟的英语语音搜索任务的常规模型的改进。 E2E模型还显示了多语言自动语音识别（ASR）的有希望的结果。在本文中，我们将以前的容量解决方案扩展到流应用程序，并提出流媒体多语言E2E ASR系统，该系统在设备上完全运行，质量和延迟与单个单语言模型相当。为了实现这一目标，我们提出了一个编码器端量模型和一个终端（EOU）联合层，以提高质量和延迟权衡。我们的系统以语言不可知论的方式构建，允许它实时支持本条件的代码切换。为了解决大型模型的可行性问题，我们进行了设备分析，并用最近开发的嵌入解码器代替了耗时的LSTM解码器。通过这些更改，我们设法在不到实时的时间内在移动设备上运行了这样的系统。

端到端（E2E）自动语音识别（ASR）系统通常难以识别出罕见的单词，这在训练数据中出现了很少。一种有希望的方法，提高了这种稀有词语的识别准确性，是在推理的推理中锁定在个性化/上下文信息上。在这项工作中，我们通过利用这种上下文信号，提出了一种新颖的上下文传感器传感器（CATT）网络，其通过利用这种上下文信号来改善基于最先进的变换器的ASR系统。具体地，我们提出了一种基于多主题的上下文偏置网络，其与ASR子网的其余部分共同训练。我们探讨了对编码上下文数据的不同技术，并创建最终注意上下文向量。我们还利用BLSTM和预借用的基于BERT的模型来编码上下文数据并指导网络培训。使用内部现场数据集，我们示出了使用基于BERT的上下文编码器的CATT，可提高基线变压器传感器的字错误率，并且分别优于现有的深层上下文模型24.2％和19.4％。