至于其他形式的AI，最近已经对不同用户同伙的性能差异进行了研究。在语音识别方面实现公平性的一种方法是（1）确定遭受低标准表现的说话者队列，以及（2）采取针对发现同类的公平性缓解措施。在本文中，我们使用产品规模的AI助手语音识别系统的数据报告了发现和缓解性能差异的初步发现。我们将基于地理和人口统计学信息的队列发现与一种更可扩展的方法进行比较，该方法将使用扬声器嵌入技术分组没有人类标签的说话者。为了缓解公平性，我们发现对代表性不足的队列的过度采样，以及通过其他输入变量对扬声器队列的建模，从而减少了表现和底部性能队列之间的差距，而不会降低整体识别精度。

增量学习是一种范式，可以通过流数据大规模构建模型构建和更新。对于端到端的自动语音识别（ASR）任务，缺乏人类注释的标签，以及需要保留模型建设政策的隐私政策，这使其成为艰巨的挑战。受这些挑战的激励，在本文中，我们使用基于云的框架为生产系统展示了从隐私保存自动语音识别（ILASR）的增量学习中的见解。我们的意思是，通过保留隐私性，对没有人类注释的短暂数据使用。该系统是用于增量/持续学习的生产LevelAsASR模型的一步，该模型提供了接近实时测试床，以在云中进行端到端ASR实验，同时遵守保留隐私的政策。我们表明，即使在没有人类注释的标签的情况下，拟议的系统也可以在六个月的新时间内显着改善生产模型（3％），而在增量学习中，较弱的监督和大批量大小。在新时期，这种改进比测试集的新单词和短语相比为20％。我们在ASR的同时进一步探讨了拥有有效的教师模型和使用大批量大小的实用性的同时，以保护隐私的增量方式展示了模型构建的有效性。

使用未知数量的扬声器数量的单通道远场录制的自动语音识别（ASR）传统上由级联模块解决。最近的研究表明，与模块化系统相比，端到端（E2E）多扬声器ASR模型可以实现卓越的识别准确性。但是，这些模型不会确保由于其对完整音频上下文的依赖性而实时适用性。这项工作采用实时适用性，作为模型设计的第一优先级，并解决了以前的多扬声器经常性神经网络传感器（MS-RNN-T）的几个挑战。首先，我们在训练期间介绍一般的重叠言论模拟，在LibrisPeechMix测试集上产生14％的相对字错误率（WER）改进。其次，我们提出了一种新的多转RNN-T（MT-RNN-T）模型，其具有基于重叠的目标布置策略，其概括为任意数量的扬声器，而没有模型架构的变化。我们调查在Liblics测试集上培训训练期间看到的最大扬声器数量的影响，并在两位扬声器MS-RNN-T上报告28％的相对加速。第三，我们试验丰富的转录战略，共同承认和分割多方言论。通过深入分析，我们讨论所提出的系统的潜在陷阱以及未来的未来研究方向。

口语理解（SLU）是大多数人机相互作用系统中的核心任务。随着智能家居，智能手机和智能扬声器的出现，SLU已成为该行业的关键技术。在经典的SLU方法中，自动语音识别（ASR）模块将语音信号转录为文本表示，自然语言理解（NLU）模块从中提取语义信息。最近，基于深神经网络的端到端SLU（E2E SLU）已经获得了动力，因为它受益于ASR和NLU部分的联合优化，因此限制了管道架构的误差效应的级联反应。但是，对于E2E模型用于预测语音输入的概念和意图的实际语言特性知之甚少。在本文中，我们提出了一项研究，以确定E2E模型执行SLU任务的信号特征和其他语言特性。该研究是在必须处理非英语（此处法语）语音命令的智能房屋的应用领域进行的。结果表明，良好的E2E SLU性能并不总是需要完美的ASR功能。此外，结果表明，与管道模型相比，E2E模型在处理背景噪声和句法变化方面具有出色的功能。最后，更细粒度的分析表明，E2E模型使用输入信号的音调信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板，以进一步分析语音处理中的E2E模型。

Speech-centric machine learning systems have revolutionized many leading domains ranging from transportation and healthcare to education and defense, profoundly changing how people live, work, and interact with each other. However, recent studies have demonstrated that many speech-centric ML systems may need to be considered more trustworthy for broader deployment. Specifically, concerns over privacy breaches, discriminating performance, and vulnerability to adversarial attacks have all been discovered in ML research fields. In order to address the above challenges and risks, a significant number of efforts have been made to ensure these ML systems are trustworthy, especially private, safe, and fair. In this paper, we conduct the first comprehensive survey on speech-centric trustworthy ML topics related to privacy, safety, and fairness. In addition to serving as a summary report for the research community, we point out several promising future research directions to inspire the researchers who wish to explore further in this area.

在本文中，我们提出了一种解决方案，以允许扬声器条件语音模型，例如VoiceFilter-Lite，以支持单个通过中的任意数量的注册用户。这是通过使用多个扬声器嵌入的注意机制来实现，以计算单个细小嵌入，然后将其用作模型的侧面输入。我们实现了多用户VoiceFilter-Lite并为三个任务进行了评估：（1）流自动语音识别（ASR）任务; （2）独立于文本的扬声器验证任务; （3）个性化关键级检测任务，其中ASR必须在嘈杂的环境中检测来自多个注册用户的关键次数。我们的实验表明，在最多四个注册的用户中，多用户VoiceFilter-Lite能够在具有重叠语音时显着降低语音识别和扬声器验证错误，而不会影响其他声学条件下的性能。这种细心的扬声器嵌入方法也可以轻松应用于其他扬声器条件模型，如个人VAD和个性化ASR。

While modern Text-to-Speech (TTS) systems can produce speech rated highly in terms of subjective evaluation, the distance between real and synthetic speech distributions remains understudied, where we use the term \textit{distribution} to mean the sample space of all possible real speech recordings from a given set of speakers; or of the synthetic samples that could be generated for the same set of speakers. We evaluate the distance of real and synthetic speech distributions along the dimensions of the acoustic environment, speaker characteristics and prosody using a range of speech processing measures and the respective Wasserstein distances of their distributions. We reduce these distribution distances along said dimensions by providing utterance-level information derived from the measures to the model and show they can be generated at inference time. The improvements to the dimensions translate to overall distribution distance reduction approximated using Automatic Speech Recognition (ASR) by evaluating the fitness of the synthetic data as training data.

在这项工作中，我们提出了一个说话者的匿名管道，该管道利用高质量的自动语音识别和合成系统来生成以语音转录和匿名扬声器嵌入为条件的语音。使用电话作为中间表示，可确保从输入中完全消除说话者身份信息，同时尽可能保留原始的语音内容。我们在Librispeech和VCTK Corpora上的实验结果揭示了两个关键发现：1）尽管自动语音识别会产生不完美的转录，但我们的神经语音合成系统可以处理此类错误，使我们的系统可行且健壮，并且2）结合来自不同资源的扬声器嵌入，有益及其适当的归一化至关重要。总体而言，我们的最终最佳系统在2020年语音隐私挑战挑战中提供的基线在与懒惰的攻击者的稳健性方面相当大，同时保持了匿名语音的高度理解性和自然性。

Automatic Speech Recognition (ASR) for air traffic control is generally trained by pooling Air Traffic Controller (ATCO) and pilot data into one set. This is motivated by the fact that pilot's voice communications are more scarce than ATCOs. Due to this data imbalance and other reasons (e.g., varying acoustic conditions), the speech from ATCOs is usually recognized more accurately than from pilots. Automatically identifying the speaker roles is a challenging task, especially in the case of the noisy voice recordings collected using Very High Frequency (VHF) receivers or due to the unavailability of the push-to-talk (PTT) signal, i.e., both audio channels are mixed. In this work, we propose to (1) automatically segment the ATCO and pilot data based on an intuitive approach exploiting ASR transcripts and (2) subsequently consider an automatic recognition of ATCOs' and pilots' voice as two separate tasks. Our work is performed on VHF audio data with high noise levels, i.e., signal-to-noise (SNR) ratios below 15 dB, as this data is recognized to be helpful for various speech-based machine-learning tasks. Specifically, for the speaker role identification task, the module is represented by a simple yet efficient knowledge-based system exploiting a grammar defined by the International Civil Aviation Organization (ICAO). The system accepts text as the input, either manually verified annotations or automatically generated transcripts. The developed approach provides an average accuracy in speaker role identification of about 83%. Finally, we show that training an acoustic model for ASR tasks separately (i.e., separate models for ATCOs and pilots) or using a multitask approach is well suited for the noisy data and outperforms the traditional ASR system where all data is pooled together.

对于新参与者 - 执行摘要：（1）任务是为语音数据开发语音匿名系统，该系统隐藏了说话者的语音身份，同时保护语言内容，副语言属性，清晰度和自然性。 （2）除3种不同的基线匿名系统，评估脚本和指标外，还提供了培训，开发和评估数据集。参与者应用其开发的匿名系统，运行评估脚本并向组织者提交客观评估结果和匿名语音数据。 （3）结果将在与Interspeech 2022结合的研讨会上展示，邀请所有参与者介绍其挑战系统并提交其他研讨会论文。对于熟悉语音挑战的读者 - 更改W.R.T. 2020年：（1）以自动扬声器验证（ASV）系统的形式进行了更强的半信息攻击模型，该系统接受了匿名（每位）语音数据的训练。 （2）互补指标包括等于误差率（EER）作为隐私指标，单词错误率（WER）作为主要实用性度量，以及音调相关性和声音独特性作为辅助效用度量标准。 （3）基于一组最小目标隐私要求的新排名策略。

端到端模型在自动语音识别中快速更换传统的混合模型。变压器，基于机器翻译任务的自我关注的序列到序列模型，在用于自动语音识别时已经给出了有希望的结果。本文探讨了在培训基于变压器的模型的同时在编码器输入时结合扬声器信息的不同方式，以提高其语音识别性能。我们以每个扬声器的扬声器嵌入形式呈现扬声器信息。我们使用两种类型的扬声器嵌入进行实验：在我们以前的工作中提出的X-Vectors和新颖的S-Vectors。我们向两个数据集报告结果a）肉kel讲座数据库和b）librispeech 500小时分割。NPTEL是一个开源电子学习门户，提供来自印度顶级大学的讲座。通过我们将扬声器嵌入的方法集成到模型中，我们通过基线获得了基线的错误率的改进。

本文介绍了第一个致力于2020挑战的结果和分析，重点是开发语音技术的匿名解决方案。我们提供了对提交的系统和评估结果的分析，提供了挑战设计的系统概述。特别是，我们描述了用于系统开发和评估的语音匿名任务和数据集。此外，我们呈现不同的攻击模型和相关目标和主观评估指标。我们介绍了两个匿名化的基线，并提供了由挑战参与者开发的匿名化系统的摘要描述。我们向基线和提交的系统报告客观和主观评估结果。此外，我们提出了作为评估后分析的一部分开发的替代隐私度量和攻击模型的实验结果。最后，我们总结了我们的见解和观察，这将影响下一个语音普遍挑战版的设计和未来语音匿名化研究的某些方向。

近年来，在设备上的演讲识别（ASR）的个性化已经爆炸性增长，这在很大程度上是由于个人助理功能在移动设备和智能家居扬声器上越来越受欢迎。在这项工作中，我们提出了个人VAD 2.0，这是一种个性化的语音活动探测器，可检测目标扬声器的语音活动，作为流媒体上的ASR系统的一部分。尽管以前的概念证明研究已经验证了个人VAD的有效性，但在生产中可以使用该模型之前，仍然存在一些关键的挑战：首先，在招生和无人列的场景中，质量必须令人满意。其次，它应该以流媒体方式运行。最后，型号的大小应足够小，以适合有限的延迟和CPU/内存预算。为了满足多方面的要求，我们提出了一系列新颖的设计：1）高级扬声器嵌入调制方法； 2）一种新的培训范式，以概括为无数的条件； 3）用于延迟和资源限制的体系结构和运行时优化。对现实语音识别系统的广泛实验证明了我们提出的方法的最新性能。

We study the capabilities of speech processing systems trained simply to predict large amounts of transcripts of audio on the internet. When scaled to 680,000 hours of multilingual and multitask supervision, the resulting models generalize well to standard benchmarks and are often competitive with prior fully supervised results but in a zero-shot transfer setting without the need for any fine-tuning. When compared to humans, the models approach their accuracy and robustness. We are releasing models and inference code to serve as a foundation for further work on robust speech processing.

自动说话者识别使用数据处理来通过声音来识别说话者。如今，自动化发言人的认可已在数十亿个智能设备和呼叫中心等服务中部署。尽管在面部识别和自然语言处理等相关领域中它们的范围广泛的部署和已知偏见来源，但自动说话者识别的偏见尚未被系统地研究。我们介绍了机器学习开发工作流程中的偏见的深入经验和分析研究，这是自动说话者识别的语音生物特征和核心任务。利用一个既定的框架来理解机器学习中的伤害来源，我们表明在著名的Voxceleb说话者识别挑战中的每个开发阶段都存在偏见，包括数据生成，模型构建和实施。受影响的大多数是女性演讲者和非美国国籍，他们经历了重大的绩效退化。利用我们的发现中的见解，我们提出了减轻自动说话者识别偏见的实用建议，并概述了未来的研究指示。

端到端（E2E）模型在口语理解（SLU）系统中变得越来越流行，并开始实现基于管道的方法的竞争性能。但是，最近的工作表明，这些模型努力以相同的意图概括为新的措辞，这表明模型无法理解给定话语的语义内容。在这项工作中，我们在E2E-SLU框架内的未标记文本数据中预先训练了在未标记的文本数据上进行预先训练的语言模型，以构建强大的语义表示。同时结合语义信息和声学信息可以增加推理时间，从而在语音助手等应用程序中部署时会导致高潜伏期。我们开发了一个2频道的SLU系统，该系统使用第一张音频的几秒钟的声学信息进行低潜伏期预测，并通过结合语义和声学表示在第二次通过中进行更高质量的预测。我们从先前的2次端到端语音识别系统上的工作中获得了灵感，该系统同时使用审议网络就可以在音频和第一通道假设上进行。所提出的2个通用SLU系统在Fluent Speech命令挑战集和SLURP数据集上优于基于声学的SLU模型，并减少了延迟，从而改善了用户体验。作为ESPNET-SLU工具包的一部分，我们的代码和模型公开可用。

自动语音识别（ASR）需要对说话者的差异很强。语音转换（VC）修改了输入语音的扬声器特征。这是ASR数据增强的吸引人功能。在本文中，我们证明了语音转换可以用作数据增强技术，即使在包含2,456位扬声器的LibrisPeech上，也可以用作提高ASR性能。对于ASR增强，有必要对广泛的输入语音稳健。这激发了使用非自动回旋，非并行VC模型的使用，并在VC模型中使用了预验证的ASR编码器。这项工作表明，尽管包括许多演讲者，但演讲者的多样性可能仍然是ASR质量的限制。最后，对我们的风险投资性能的审讯为客观评估VC质量提供了有用的指标。

抖动和闪光测量已经显示出语音质量的载体和韵律信息，增强了扬声器识别，日记或自动语音识别（ASR）等任务的性能。然而，这种特征很少用于神经基ASR的背景下，其中频谱特征通常是普遍的。在这项工作中，我们研究了将语音质量和音高特征完全且分开地融合到基于变压器的ASR模型的效果，直觉是注意力机制可能会利用潜在的韵律特征。为此为此，我们提出了用于韵律和光谱特征的分离的卷积前端，表明该架构选择比将这种间距和语音质量特征的简单串联产生更好的结果，以及对MEL-谱图滤波器组。此外，我们找到了LibrisPeech基准测试的平均错误率高达5.6％。这种发现可以进一步研究韵律知识应用于增加基于变压器的ASR的鲁棒性的研究。

单词错误率（WER）是用于评估自动语音识别（ASR）模型质量的主要度量。已经表明，与典型的英语说话者相比，ASR模型的语音障碍者的扬声器往往更高。在如此高的错误率下，很难确定模型是否可以很有用。这项研究调查了BertScore的使用，BertScore是文本生成的评估指标，以提供对ASR模型质量和实用性的更有信息度量。将Bertscore和WER与语言病理学家手动注释以进行错误类型和评估手动注释的预测错误。发现Bertscore与人类的误差类型和评估评估更相关。在保留含义的拼字法变化（收缩和归一化误差）上，Bertscore特别强大。此外，使用顺序逻辑回归和Akaike的信息标准（AIC）测量，Bertscore比WER更好地评估了错误评估。总体而言，我们的发现表明，从实际角度评估ASR模型性能时，Bertscore可以补充，尤其是对于可访问性应用程序，即使模型的精度也比典型语音较低的模型也很有用。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。