低资源语言的自动语音识别（ASR）改善了语言少数群体的访问，以便人工智能（AI）提供的技术优势。在本文中，我们通过创建一个新的粤语数据集来解决香港广东语言的数据稀缺问题。我们的数据集多域粤语语料库（MDCC）由73.6小时的清洁阅读语音与成绩单配对，从香港的粤语有声读物收集。它结合了哲学，政治，教育，文化，生活方式和家庭领域，涵盖了广泛的主题。我们还查看所有现有的粤语数据集，并在两个最大的数据集（MDCC和公共语音ZH-HK）上执行实验。我们根据其语音类型，数据源，总大小和可用性分析现有数据集。使用Fairseq S2T变压器，最先进的ASR模型进行实验结果，显示了我们数据集的有效性。此外，我们通过在MDCC和常见的声音ZH-HK上应用多数据集学习来创建一个强大而强大的粤语ASR模型。

代码切换是在对话期间交换语言时的语音现象。尽管对会话语言中的代码切换的自发性，但大多数现有工程通过读取语音而不是自发的语音来收集代码切换数据。Ascend（一个自发的中国英语数据集）介绍了香港收集的自发多转对话对话中英语代码切换语料库的高质量资源。我们报告了提升的设计和收集语音数据的程序，包括在这项工作中的注释。上升包括23个双语，这些双语流利，汉英都流利，而且由9.23小时的清洁语音组成。

AI研究中的基石是创建和采用标准化培训和测试数据集，以指定最新模型的进度。一个特别成功的例子是用于培训和评估英语自然语言理解（NLU）模型的胶水数据集。围绕基于BERT的语言模型的大量研究围绕着胶水中NLU任务的性能改进。为了评估其他语言的语言模型，创建了几个特定语言的胶水数据集。语音语言理解（SLU）的领域遵循了类似的轨迹。大型自我监督模型（例如WAV2VEC2）的成功实现了具有相对易于访问的未标记数据的语音模型。然后可以在SLU任务（例如出色的基准测试）上评估这些模型。在这项工作中，我们将其扩展到通过释放Indicsuperb基准测试来指示语言。具体来说，我们做出以下三项贡献。 （i）我们收集了Kathbath，其中包含来自印度203个地区的1,218个贡献者的12个印度语言的1,684小时的标记语音数据。 （ii）使用Kathbath，我们在6个语音任务中创建基准：自动语音识别，扬声器验证，说话者识别（单声道/多），语言识别，逐个示例查询以及对12种语言的关键字发现。 （iii）在发布的基准测试中，我们与常用的基线Fbank一起训练和评估不同的自我监督模型。我们表明，在大多数任务上，特定于语言的微调模型比基线更准确，包括对于语言识别任务的76 \％差距。但是，对于说话者识别，在大型数据集上训练的自我监督模型证明了一个优势。我们希望Indicsuperb有助于发展印度语言的语音语言理解模型的进步。

自动语音识别和文本到语音系统主要以监督方式培训，需要高质量，准确标记的语音数据集。在这项工作中，我们研究语音数据的常见问题，并为语音数据集的构建和交互式错误分析引入工具箱。施工工具基于K \“urzinger等。工作，并且，尽我们所知，数据集探索工具是世界上第一个这类开源工具。我们演示了如何应用这些工具来创建一个俄语语音数据集并分析现有语音数据集（多语种LibrisPeech，Mozilla Common语音）。该工具是开放的，作为Nemo框架的一部分。

自动语音识别（ASR）是一个复杂和具有挑战性的任务。近年来，该地区出现了重大进展。特别是对于巴西葡萄牙语（BP）语言，在2020年的下半年，有大约376小时的公众可供ASR任务。在2021年初发布新数据集，这个数字增加到574小时。但是，现有资源由仅包含读取和准备的演讲的Audios组成。缺少数据集包括自发性语音，这在不同的ASR应用中是必不可少的。本文介绍了Coraa（注释Audios语料库）V1。使用290.77小时，在包含验证对（音频转录）的BP中ASR的公共可用数据集。科拉还含有欧洲葡萄牙音像（4.69小时）。我们还提供了一个基于Wav2VEC 2.0 XLSR-53的公共ASR模型，并通过CoraA进行微调。我们的模型在CoraA测试集中实现了24.18％的单词误差率，并且在常见的语音测试集上为20.08％。测量字符错误率时，我们分别获得11.02％和6.34％，分别为CoraA和常见声音。 Coraa Corpora在自发言论中与BP中的改进ASR模型进行了组装，并激励年轻研究人员开始研究葡萄牙语的ASR。所有Corpora都在CC By-NC-ND 4.0许可证下公开提供Https://github.com/nilc-nlp/coraa。

构建可用的无线电监控自动语音识别（ASR）系统是资源不足的语言的一项挑战性任务，但这在广播是公众沟通和讨论的主要媒介的社会中至关重要。联合国在乌干达的最初努力证明了如何理解被社交媒体排除在社交媒体中的农村人的看法在国家规划中很重要。但是，由于缺乏转录的语音数据集，这些努力正受到挑战。在本文中，Makerere人工智能研究实验室发布了155小时的Luganda Radio演讲语料库。据我们所知，这是撒哈拉以南非洲第一个公开可用的广播数据集。本文描述了语音语料库的开发，并使用开源语音识别工具包Coqui STT Toolkit提出了基线Luganda ASR绩效结果。

孟加拉语是世界上说话最多的语言之一，全球有超过3亿的演讲者。尽管它很受欢迎，但由于缺乏多样化的开源数据集，对孟加拉语音识别系统的发展的研究受到阻碍。作为前进的道路，我们已经众包孟加拉语音语音数据集，这是句子级自动语音识别语料库。该数据集于Mozilla Common Voice平台上收集，是正在进行的广告系列的一部分，该活动已在2个月内收集了超过400个小时的数据，并且正在迅速增长。我们的分析表明，与OpenSLR孟加拉ASR数据集相比，该数据集具有更多的发言人，音素和环境多样性，这是最大的现有开源孟加拉语语音数据集。我们提供从数据集获得的见解，并讨论未来版本中需要解决的关键语言挑战。此外，我们报告了一些自动语音识别（ASR）算法的当前性能，并为将来的研究设定了基准。

我们对瑞士德语的四个市售语音到文本（STT）系统进行了深入评估。该系统在本报告中被匿名化，并称为系统A-D。我们将这四个系统与我们的STT模型进行了比较，该模型之后称为FHNW，并提供了有关我们如何训练模型的详细信息。为了评估模型，我们使用来自不同域的两个STT数据集。瑞士议会语料库（SPC）测试集和新闻领域中的私人数据集，在七个方言区域进行了均匀分布。我们提供详细的误差分析，以检测三个系统的优势和劣势。该分析受两个测试集的特征的限制。我们的模型在两个数据集上均评分了双语评估研究（BLEU）。在SPC测试集中，我们获得了0.607的BLEU分数，而最佳商业系统的BLEU得分为0.509。在我们的私人测试集中，我们获得了0.722的BLEU分数，最佳商业系统的BLEU得分为0.568。

我们提出Vakyansh，这是一种用指示语言识别语音识别的端到端工具包。印度拥有近121种语言和大约125亿扬声器。然而，大多数语言在数据和预验证的模型方面都是低资源。通过Vakyansh，我们介绍了自动数据管道，用于数据创建，模型培训，模型评估和部署。我们以23个指示语言和Train Wav2Vec 2.0预验证的模型创建14,000小时的语音数据。然后，对这些预审预告措施的模型进行了修订，以创建18个指示语言的最先进的语音识别模型，其次是语言模型和标点符号修复模型。我们以使命开源所有这些资源，这将激发语音社区使用ASR模型以指示语言开发语音的首次应用程序。

已经证明了深度学习技术在各种任务中有效，特别是在语音识别系统的发展中，即旨在以一系列写词中的音频句子转录音频句子的系统。尽管该地区进展，但语音识别仍然可以被认为是困难的，特别是对于缺乏可用数据的语言，例如巴西葡萄牙语（BP）。从这个意义上讲，这项工作介绍了仅使用打开可用的音频数据的公共自动语音识别（ASR）系统的开发，从Wav2Vec 2.0 XLSR-53模型的微调，在许多语言中，通过BP数据进行了多种。最终模型在7个不同的数据集中呈现12.4％的平均误差率（在应用语言模型时10.5％）。根据我们的知识，这是开放ASR系统中BP的最佳结果。

如果有足够的高质量数据和计算资源，现代语音合成技术可以产生自然的语音。但是，许多语言不容易获得此类数据。本文着重于低资源的非洲语言的语音综合，从语料库创建到共享和部署文本到语音（TTS）系统。我们首先为具有最低技术资源和主题专业知识的构建语音合成系统创建了一组通用说明。接下来，我们通过参与式方法从“发现”数据（现有记录）中创建新的数据集，并考虑可访问性，质量和广度。我们证明，即使在次优环境中记录下来，我们也可以开发出具有25分钟的语音的合成器，这些合成器即使在次优环境中记录下来。最后，我们发布了12种非洲语言的语音数据，代码和受过训练的声音，以支持研究人员和开发人员。

本文介绍了一种新的普通话 - 英语代码转换语音识别的语料库 - 塔尔奇语料库，适用于培训和评估代码转换语音识别系统。滑石乐谱来自TAL教育小组中真正的在线在线一对一的英语教学场景，其中包含大约587个小时的语音采样16 kHz。据我们所知，滑石科目是世界上标签最大的普通话 - 英语密码开关开源自动语音识别（ASR）数据集。在本文中，我们将详细介绍录制过程，包括捕获设备和语料库环境的音频。并且滑石场可以根据允许许可证免费下载。我们使用滑石乐谱，在两个流行的语音识别工具包中进行ASR实验，以制造包括ESPNET和WENET在内的基线系统。在滑石粉中比较了两个语音识别工具包中的混合错误率（MER）性能。实验结果表明，音频记录和转录的质量是有希望的，基线系统是可行的。

开发语音技术是对低资源语言的挑战，其中注释和原始语音数据稀疏。马耳他是一种这样的语言。近年来，对马耳他的计算处理有所增加，包括语音技术，但后者的资源仍然稀疏。在本文中，我们考虑提高这些语言的语音识别的数据增强技术，专注于马耳他作为测试用例。我们考虑三种不同类型的数据增强：无监督的培训，多语言培训和合成演讲的使用作为培训数据。目标是确定这些技术或它们的组合，是改善起始点是大约7小时转录语音的语言的语言的最有效。我们的结果表明，在这里研究了三种数据增强技术，导致我们在不使用语言模型的情况下实现15％的绝对增长。

We study the capabilities of speech processing systems trained simply to predict large amounts of transcripts of audio on the internet. When scaled to 680,000 hours of multilingual and multitask supervision, the resulting models generalize well to standard benchmarks and are often competitive with prior fully supervised results but in a zero-shot transfer setting without the need for any fine-tuning. When compared to humans, the models approach their accuracy and robustness. We are releasing models and inference code to serve as a foundation for further work on robust speech processing.

在本文中，我们使用语言数据收集的现场方法讨论了四种低资源印度语语言的演讲语料库的过程中的工作 - Awadhi，Bhojpuri，Braj和Magahi。目前，语料库的总大小约为18小时（每种语言约4-5小时），并用语法信息进行转录和注释，例如词性标签，形态学特征和普遍的依赖关系。我们讨论了以这些语言收集数据的方法，其中大多数是在Covid-19大流行中心进行的，其中之一是为低收入群体带来一些额外的收入，说这些语言。在本文中，我们还讨论了这些语言中自动语音识别系统的基线实验的结果。

最近的言语和语言技术的方法预先rain非常大型模型，用于特定任务。然而，这种大型模型的好处通常仅限于世界上少数资源丰富的语言。在这项工作中，我们对来自印度次大陆的低资源语言构建ASR系统进行多种贡献。首先，我们从各种领域策划40个印度语言的17,000小时的原始语音数据，包括教育，新闻，技术和金融。其次，使用这种原始语音数据，我们预先存在于40个印度语言的Wav2Vec样式模型的多个变体。第三，我们分析佩带的模型以查找关键特点：码本矢量的类似探测音素在语言中共享，跨层的表示是语言系列的判别，并且注意力头通常会在小型本地窗口中注意。第四，我们微调了9种语言的下游ASR模型，并在3个公共数据集上获得最先进的结果，包括非常低的资源语言，如Sinhala和Nepali。我们的工作建立了多语言预介质是建立ASR系统的有效策略，为印度次大陆的语言上不同的扬声器建立ASR系统。

随着深度学习和智能车辆的兴起，智能助手已成为促进驾驶和提供额外功能的基本内部组件。汽车智能助理应该能够处理一般的和与汽车有关的命令，并执行相应的操作，减轻驾驶和提高安全性。但是，对于低资源语言存在数据稀缺问题，妨碍了研究和应用的发展。在本文中，我们介绍了一个新的DataSet，粤式视听语音识别（CI-AVSR），用于粤语中的车载命令识别，具有视频和音频数据。它由令人宣传的30个粤语发言者记录的200个车载命令的4,984个样本（8.3小时）组成。此外，我们使用常见的内部内部背景噪声增强我们的数据集来模拟真实环境，产生比收集的数据集大10倍。我们提供我们数据集的清洁和增强版本的详细统计信息。此外，我们实施了两个多模式基线以证明CI-AVSR的有效性。实验结果表明，利用视觉信号提高了模型的整体性能。虽然我们的最佳模型可以在清洁测试集上实现相当大的质量，但嘈杂数据的语音识别质量仍然是较差的，并且仍然是真正的车载语音识别系统的极其具有挑战性的任务。数据集和代码将在https://github.com/hltchkust/ci-avsr发布。

Personal assistants, automatic speech recognizers and dialogue understanding systems are becoming more critical in our interconnected digital world. A clear example is air traffic control (ATC) communications. ATC aims at guiding aircraft and controlling the airspace in a safe and optimal manner. These voice-based dialogues are carried between an air traffic controller (ATCO) and pilots via very-high frequency radio channels. In order to incorporate these novel technologies into ATC (low-resource domain), large-scale annotated datasets are required to develop the data-driven AI systems. Two examples are automatic speech recognition (ASR) and natural language understanding (NLU). In this paper, we introduce the ATCO2 corpus, a dataset that aims at fostering research on the challenging ATC field, which has lagged behind due to lack of annotated data. The ATCO2 corpus covers 1) data collection and pre-processing, 2) pseudo-annotations of speech data, and 3) extraction of ATC-related named entities. The ATCO2 corpus is split into three subsets. 1) ATCO2-test-set corpus contains 4 hours of ATC speech with manual transcripts and a subset with gold annotations for named-entity recognition (callsign, command, value). 2) The ATCO2-PL-set corpus consists of 5281 hours of unlabeled ATC data enriched with automatic transcripts from an in-domain speech recognizer, contextual information, speaker turn information, signal-to-noise ratio estimate and English language detection score per sample. Both available for purchase through ELDA at http://catalog.elra.info/en-us/repository/browse/ELRA-S0484. 3) The ATCO2-test-set-1h corpus is a one-hour subset from the original test set corpus, that we are offering for free at https://www.atco2.org/data. We expect the ATCO2 corpus will foster research on robust ASR and NLU not only in the field of ATC communications but also in the general research community.

接受社会辅助机器人的基本功能之一是其与环境中其他代理商的通信能力。在Robin项目的背景下，调查了通过与机器人的语音互动的情境对话。本文介绍了具有深度神经网络的不同语音识别实验，专注于生产快速（从网络本身的100ms延迟下），而仍然可靠的型号。即使关键所需特性之一是低延迟，最终的深度神经网络模型也能实现识别罗马尼亚语的最新状态，以获得9.91％的字错误率（WER），当与语言模型相结合，从而改善以前的结果同时提供了改进的运行时性能。此外，我们探索了两个模块，用于校正ASR输出（连字符和大写恢复和未知单词校正），针对Robin项目的目标（在封闭的微观世界中对话）。我们根据API设计模块化架构，允许整合引擎（机器人或外部）根据需要将可用模块链接在一起。最后，我们通过将其集成在相关平台中并通过上传文件或录制新的语音来测试所提出的设计。

本文介绍了蒙古人的高质量开源文本到语音（TTS）合成数据集，蒙古是一种低资源的语言，该语言是全球超过1000万人所讲的。该数据集名为MNTTS，由一位22岁专业女性蒙古播音员说的大约8个小时的录音录音组成。它是第一个开发的公开数据集，旨在促进学术界和行业中的蒙古TTS应用程序。在本文中，我们通过描述数据集开发程序并面临挑战来分享我们的经验。为了证明数据集的可靠性，我们建立了一个基于FastSpeech2模型和HIFI-GAN Vocoder的强大的非自动回调基线系统，并使用主观平均意见分数（MOS）和实时因素（RTF）指标对其进行了评估。评估结果表明，在我们的数据集上训练的功能强大的基线系统可在4和RTF上获得MOS，大约3.30美元\ times10^{ - 1} $，这使其适用于实际使用。数据集，培训配方和预估计的TTS模型是免费可用的\ footNote {\ label {github} \ url {https://github.com/walker.com/walker-hyf/mntts}}}。