本文研究了一种新型的预训练技术，该技术具有未配对的语音数据Segend2C，用于基于编码器的自动语音识别（ASR）。在一个多任务学习框架内，我们使用声音单元（即伪代码）介绍了编码器 - 编码器网络的两个预训练任务，这些任务来自离线聚类模型。一种是通过在编码器输出中通过掩盖语言建模来预测伪代码，例如Hubert模型，而另一个使解码器学会学会重建伪代码自动加工，而不是生成文本脚本。通过这种方式，解码器学会了在学习生成正确的文本之前先用代码重建原始语音信息。在Librispeech语料库上进行的综合实验表明，在没有解码器预训练的情况下，提出的Speek2C可以相对将单词错误率（WER）降低19.2％，并且在最先进的WAV2VEC 2.0和HUBERT上的表现显着优于微调子集为10h和100h。我们在https://github.com/microsoft/speecht5/tree/main/main/speech2c上发布代码和模型。

In this paper, we propose a novel multi-modal multi-task encoder-decoder pre-training framework (MMSpeech) for Mandarin automatic speech recognition (ASR), which employs both unlabeled speech and text data. The main difficulty in speech-text joint pre-training comes from the significant difference between speech and text modalities, especially for Mandarin speech and text. Unlike English and other languages with an alphabetic writing system, Mandarin uses an ideographic writing system where character and sound are not tightly mapped to one another. Therefore, we propose to introduce the phoneme modality into pre-training, which can help capture modality-invariant information between Mandarin speech and text. Specifically, we employ a multi-task learning framework including five self-supervised and supervised tasks with speech and text data. For end-to-end pre-training, we introduce self-supervised speech-to-pseudo-codes (S2C) and phoneme-to-text (P2T) tasks utilizing unlabeled speech and text data, where speech-pseudo-codes pairs and phoneme-text pairs are a supplement to the supervised speech-text pairs. To train the encoder to learn better speech representation, we introduce self-supervised masked speech prediction (MSP) and supervised phoneme prediction (PP) tasks to learn to map speech into phonemes. Besides, we directly add the downstream supervised speech-to-text (S2T) task into the pre-training process, which can further improve the pre-training performance and achieve better recognition results even without fine-tuning. Experiments on AISHELL-1 show that our proposed method achieves state-of-the-art performance, with a more than 40% relative improvement compared with other pre-training methods.

最近，先驱工作发现，演讲预训练模型可以解决全堆栈语音处理任务，因为该模型利用底层学习扬声器相关信息和顶层以编码与内容相关的信息。由于网络容量有限，我们认为如果模型专用于音频内容信息学习，则可以进一步提高语音识别性能。为此，我们向自我监督学习（ILS-SSL）提出中间层监督，这将模型通过在中间层上添加额外的SSL丢失来尽可能地专注于内容信息。 LibrisPeech测试 - 其他集合的实验表明，我们的方法显着优于Hubert，这实现了基数/大型模型的W / O语言模型设置的相对字错误率降低了23.5％/ 11.6％。详细分析显示我们模型的底层与拼音单元具有更好的相关性，这与我们的直觉一致，并解释了我们对ASR的方法的成功。

Self-supervised approaches for speech representation learning are challenged by three unique problems: (1) there are multiple sound units in each input utterance, (2) there is no lexicon of input sound units during the pre-training phase, and (3) sound units have variable lengths with no explicit segmentation. To deal with these three problems, we propose the Hidden-Unit BERT (HuBERT) approach for self-supervised speech representation learning, which utilizes an offline clustering step to provide aligned target labels for a BERT-like prediction loss. A key ingredient of our approach is applying the prediction loss over the masked regions only, which forces the model to learn a combined acoustic and language model over the continuous inputs. HuBERT relies primarily on the consistency of the unsupervised clustering step rather than the intrinsic quality of the assigned cluster labels. Starting with a simple k-means teacher of 100 clusters, and using two iterations of clustering, the HuBERT model either matches or improves upon the state-ofthe-art wav2vec 2.0 performance on the Librispeech (960h) and Libri-light (60,000h) benchmarks with 10min, 1h, 10h, 100h, and 960h fine-tuning subsets. Using a 1B parameter model, HuBERT shows up to 19% and 13% relative WER reduction on the more challenging dev-other and test-other evaluation subsets. 1

最近，蒙面的预测预训练在自我监督的学习（SSL）方面取得了显着的进展，以进行语音识别。它通常需要以无监督的方式获得的代码簿，从而使其准确和难以解释。我们提出了两种监督指导的代码书生成方法，以提高自动语音识别（ASR）的性能以及预训练效率，要么通过使用混合ASR系统来解码以生成音素级别对准（命名为PBERT），要么通过在上进行集群进行聚类。从端到端CTC模型（命名CTC聚类）提取的监督语音功能。混合动力和CTC模型均经过与微调相同的少量标记语音训练。实验表明，我们的方法对各种SSL和自我训练基准的优势具有显着优势，相对减少了17.0％。我们的预训练模型在非ASR语音任务中还显示出良好的可传递性。

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

本文介绍了我们针对IWSLT 2022离线任务的端到端Yitrans语音翻译系统的提交，该任务从英语音频转换为德语，中文和日语。 Yitrans系统建立在大规模训练的编码器模型上。更具体地说，我们首先设计了多阶段的预训练策略，以建立具有大量标记和未标记数据的多模式模型。然后，我们为下游语音翻译任务微调模型的相应组件。此外，我们做出了各种努力，以提高性能，例如数据过滤，数据增强，语音细分，模型集合等。实验结果表明，我们的Yitrans系统比在三个翻译方向上的强基线取得了显着改进，并且比去年在TST2021英语 - 德国人中的最佳端到端系统方面的改进+5.2 BLEU改进。根据自动评估指标，我们的最终意见在英语 - 德国和英语端到端系统上排名第一。我们使代码和模型公开可用。

We show for the first time that learning powerful representations from speech audio alone followed by fine-tuning on transcribed speech can outperform the best semi-supervised methods while being conceptually simpler. wav2vec 2.0 masks the speech input in the latent space and solves a contrastive task defined over a quantization of the latent representations which are jointly learned. Experiments using all labeled data of Librispeech achieve 1.8/3.3 WER on the clean/other test sets. When lowering the amount of labeled data to one hour, wav2vec 2.0 outperforms the previous state of the art on the 100 hour subset while using 100 times less labeled data. Using just ten minutes of labeled data and pre-training on 53k hours of unlabeled data still achieves 4.8/8.2 WER. This demonstrates the feasibility of speech recognition with limited amounts of labeled data. 1 1 Code and models are available at https://github.com/pytorch/fairseq Preprint. Under review.

自我监督的学习（SSL）在各种与语音有关的下游任务（包括自动语音识别（ASR））中表现出巨大的成功。 SSL模型的输出嵌入被视为语音信号的强大短期表示。但是，在ASR任务中，主要目标是获得正确的声学单元，字符或字节对编码（BPE）的正确顺序。通常，对于ASR等序列到序列任务，编码器解码器架构非常出色。因此，在本文中，我们提出了一个新的范式，该范式在自学学习过程中利用解码器的力量。我们使用隐藏的单位Bert（Hubert）SSL框架来计算编码器的常规掩蔽预测损失。此外，我们在SSL框架中引入了解码器，并为解码器提出了目标准备策略。最后，我们使用多任务SSL设置，其中我们共同优化编码器和解码器损耗。我们假设SSL模型中的解码器的存在有助于它学习基于声学单元的语言模型，这可能会改善ASR下游任务的性能。我们将我们提出的SSL模型与Hubert进行了比较，并通过对各种LibrisPeech子集进行填充，在ASR上的性能相对相对提高了25％。

口语理解（SLU）是机器理解人类语音以进行更好互动的必不可少的任务。但是，自动语音识别器（ASR）的错误通常会损害理解表现。实际上，对于目标方案，ASR系统可能不容易调整。因此，本文着重于学习使用对比目标对ASR错误进行鲁棒性的学习话语表示，并通过结合监督的对比度学习和自我验证在模型微调中进一步增强概括能力。三个基准数据集的实验证明了我们提出的方法的有效性。

我们提出了一种简单有效的自我监督学习方法，以供语音识别。该方法以随机预测量化器生成的离散标签的形式学习了一个模型，以预测蒙版的语音信号。尤其是量化器的语音输入带有随机初始化的矩阵，并在随机限制的代码簿中进行最近的邻居查找。在自我监督的学习过程中，矩阵和密码簿均未更新。由于未对随机预测量化器进行训练，并与语音识别模型分开，因此该设计使该方法具有灵活性，并且与通用语音识别体系结构兼容。在LibrisPeech上，我们的方法与以前的工作相比，使用非流式模型获得了与以前的工作相似的单词率，并且比WAV2VEC 2.0和WAP2VEC 2.0和w2v-bert提供了较低的单词率率和延迟。在多语言任务上，该方法还提供了与WAV2VEC 2.0和W2V-bert的显着改进。

学习高级语音表征的自学学习（SSL）一直是在低资源环境中构建自动语音识别（ASR）系统的一种流行方法。但是，文献中提出的共同假设是，可以使用可用于SSL预训练的相同域或语言的大量未标记数据，我们承认，在现实世界中，这是不可行的。在本文中，作为Interspeech Gram Vaani ASR挑战的一部分，我们尝试研究域，语言，数据集大小和上游训练SSL数据对最终性能下游ASR任务的效果。我们还建立在持续的训练范式的基础上，以研究使用SSL训练的模型所拥有的先验知识的效果。广泛的实验和研究表明，ASR系统的性能易受用于SSL预训练的数据。它们的性能随着相似性和预训练数据量的增加而提高。我们认为，我们的工作将有助于语音社区在低资源环境中建立更好的ASR系统，并引导研究改善基于SSL的语音系统预培训的概括。

End-to-end Speech Translation (E2E ST) aims to translate source speech into target translation without generating the intermediate transcript. However, existing approaches for E2E ST degrade considerably when only limited ST data are available. We observe that an ST model's performance strongly correlates with its embedding similarity from speech and transcript. In this paper, we propose Word-Aligned COntrastive learning (WACO), a novel method for few-shot speech-to-text translation. Our key idea is bridging word-level representations for both modalities via contrastive learning. We evaluate WACO and other methods on the MuST-C dataset, a widely used ST benchmark. Our experiments demonstrate that WACO outperforms the best baseline methods by 0.7-8.5 BLEU points with only 1-hour parallel data. Code is available at https://anonymous.4open.science/r/WACO .

最近，自我监督的预先磨普已经实现了端到端（E2E）自动语音识别（ASR）的令人印象深刻的结果。然而，主要的序列到序列（S2S）E2E模型仍然很难充分利用自我监督的预训练方法，因为其解码器在声学表示上被调节，因此不能分开预先磨损。在本文中，我们提出了一种基于混合CTC /注意E2E模型的预磨削变压器（Preformer）S2S ASR架构，以充分利用预磨削的声学模型（AMS）和语言模型（LMS）。在我们的框架中，编码器初始化了Preprina（Wav2Vec2.0）。 Preformer在训练和推理期间利用CTC作为辅助任务。此外，我们设计了一个十字解码器（OCD），其放宽对声学表示的依赖性，以便可以用预净化的LM（DistilGPT2）初始化它。实验在Aishell-1语料库上进行，并在测试集上达到4.6±6 \％$ Character error rate（cer）。与我们的Vanilla混合CTC /注意力变压器基线相比，我们所提出的CTC /注意力的预浆料产生27亿美元的相对CER减少。据我们所知，这是第一个在S2S ASR系统中使用普里雷米和LM的第一项工作。

While the Turkish language is listed among low-resource languages, literature on Turkish automatic speech recognition (ASR) is relatively old. In this report, we present our findings on Turkish ASR with speech representation learning using HUBERT. We investigate pre-training HUBERT for Turkish with large-scale data curated from online resources. We pre-train our model using 6,500 hours of speech data from YouTube. The results show that the models are not ready for commercial use since they are not robust against disturbances that typically occur in real-world settings such as variations in accents, slang, background noise and interference. We analyze typical errors and the limitations of the models for use in commercial settings.

语音的视频录制包含相关的音频和视觉信息，为语音表示从扬声器的唇部运动和产生的声音提供了强大的信号。我们介绍了视听隐藏单元BERT（AV-HUBERT），是视听语音的自我监督的代表学习框架，这些屏幕屏蔽了多流视频输入并预测自动发现和迭代地精制多模式隐藏单元。 AV-HUBERT学习强大的视听语音表示，这些语音表示受益于唇读和自动语音识别。在最大的公众唇读基准LRS3（433小时）中，AV-Hubert达到32.5％WER，只有30个小时的标签数据，优于前一种最先进的方法（33.6％）培训，达到了一千次转录的视频数据（31k小时）。当使用来自LRS3的所有433小时的标记数据并结合自培训时，唇读WER进一步降低至26.9％。使用我们在相同的基准测试中使用您的视听表示，用于音频语音识别的相对效率为40％，而最先进的性能（1.3％Vs 2.3％）。我们的代码和模型可在https://github.com/facebookResearch/av_hubert获得

自我监督的预训练可以有效地改善低资源自动语音识别（ASR）的性能。但是，现有的自我监督的预训练是任务不合时宜的，即可以应用于各种下游任务。尽管它扩大了其应用的范围，但预训练模型的容量并未完全用于ASR任务，并且学习的表示形式可能对ASR不最佳。在这项工作中，为了为低资源ASR构建更好的预训练模型，我们提出了一种称为WAV2VEC-S的预训练方法，我们使用特定于任务的半监督预培训来完善自我监督的预培训因此，ASR任务的预训练模型更有效地利用了预培训模型的能力来生成针对ASR的任务特定表示。实验表明，与WAV2VEC 2.0相比，WAV2VEC-S仅需要训练前时间的边际增长，但可以显着改善在内域，跨域和跨语言数据集上的ASR性能。 1H和10H微调分别为24.5％和6.6％。此外，我们表明，半监督的预训练可以通过规范相关分析来弥合自我监管的预训练模型与相应的微调模型之间的表示差距。

我们提出了Maestro，这是一种自制的培训方法，可以统一从语音和文本方式中学到的表示形式。从语音信号中进行的自我监督学习旨在学习信号中固有的潜在结构，而从文本尝试捕获词汇信息的文本尝试中学习。从不配对的语音和文本序列中学习对齐表示是一项具有挑战性的任务。先前的工作要么隐含地强制执行从这两种方式中学到的表示形式，要通过多任务和参数共享在潜在空间中对齐，或通过语音综合通过模态转换而明确地进行。前者受到两种方式之间的干扰，而后者则引入了额外的复杂性。在本文中，我们提出了一种新颖的算法Maestro，旨在同时从这两种方式中学习统一的表示，可以转移到各种下游任务，例如自动语音识别（ASR）和语音翻译（ST）。 Maestro通过序列比对，持续时间预测和匹配的嵌入在学习空间中通过对齐的蒙版模型损失来学习统一的表示形式。我们在Voxpopuli多语言ASR上建立了一个新的最先进（SOTA），单词错误率相对相对降低8％（WER），多域Speetstew ASR（相对3.7％）和21种英语多语言ST在Covost 2上2.8 BLEU的改善平均21种语言。

最近的言语和语言技术的方法预先rain非常大型模型，用于特定任务。然而，这种大型模型的好处通常仅限于世界上少数资源丰富的语言。在这项工作中，我们对来自印度次大陆的低资源语言构建ASR系统进行多种贡献。首先，我们从各种领域策划40个印度语言的17,000小时的原始语音数据，包括教育，新闻，技术和金融。其次，使用这种原始语音数据，我们预先存在于40个印度语言的Wav2Vec样式模型的多个变体。第三，我们分析佩带的模型以查找关键特点：码本矢量的类似探测音素在语言中共享，跨层的表示是语言系列的判别，并且注意力头通常会在小型本地窗口中注意。第四，我们微调了9种语言的下游ASR模型，并在3个公共数据集上获得最先进的结果，包括非常低的资源语言，如Sinhala和Nepali。我们的工作建立了多语言预介质是建立ASR系统的有效策略，为印度次大陆的语言上不同的扬声器建立ASR系统。

口头语言建模的最新工作表明，可以从原始音频中学习语言的可能性，而无需任何文本标签。该方法首先依赖于将音频转换为一系列离散单元（或伪文本），然后直接在此类伪文本上训练语言模型。这是必要的离散瓶颈，在语音信号的编码中可能引入不可逆转的错误，还是我们可以完全没有离散单位学习语言模型？在这项工作中，我们研究了离散和连续表示在口语建模中的作用。我们表明，离散化对于口语建模的良好结果确实至关重要。我们表明，离散化可以从连续功能中消除语言上无关的信息，从而有助于提高语言建模表演。在这项研究的基础上，我们培训了Hubert功能离散单元的语言模型，达到新的最先进的结果，导致了零资源语音挑战的词汇，句法和语义指标2021（轨道1-仅讲话）。