自动预测主观听力测试的结果是一项具有挑战性的任务。即使听众之间的偏好是一致的，评分也可能因人而异。虽然先前的工作重点是预测单个刺激的听众评分（平均意见分数），但我们专注于预测主观偏好的更简单任务，即给出了两个语音刺激的同一文本。我们提出了一个基于抗对称双神经网络的模型，该模型是在波形对及其相应偏好分数上训练的。我们探索了注意力和复发性神经网，以说明一对刺激不符合时间的事实。为了获得大型训练集，我们将听众的评分从Mushra测试转换为反映这对中一种刺激的频率高于另一个刺激的值。具体而言，我们评估了从五年内进行的十二个Mushra评估获得的数据，其中包含不同扬声器数据的不同TTS系统。我们的结果与经过预测MOS得分的最先进模型相比有利。

在这项工作中，我们介绍了SOMOS数据集，这是第一个大规模的意见分数（MOS）数据集，该数据集由完全神经文本到语音（TTS）样本组成。它可以用于训练专注于现代合成器评估的自动MOS预测系统，并可以刺激声学模型评估的进步。它由LJ语音语音的20k合成话语组成，LJ语音是一个公共领域的语音数据集，是建立神经声学模型和声码器的常见基准。来自200 TTS系统（包括香草神经声学模型以及允许韵律变化的模型）产生的话语。 LPCNET VOCODER用于所有系统，因此样品的变化仅取决于声学模型。合成的话语提供了平衡，足够的域和长度覆盖范围。我们对3个英国亚马逊机械土耳其人地点进行了MOS自然评估，并共享实践，从而为这项任务提供可靠的人群注释。我们为SOMOS数据集上的最先进的MOS预测模型提供了基线结果，并显示了该模型在评估TTS话语时所面临的局限性。

在本文中，介绍了文本到读取/唱歌系统，可以适应任何扬声器的声音。它利用基于TacoTron的多级箱子声学模型在只读语音数据训练，并且在音素级别提供韵律控制。还研究了基于传统DSP算法的数据集增强和额外的韵律操纵。神经TTS模型对看不见的扬声器的有限录音进行了微调，允许与目标的扬声器语音进行敲击/歌唱合成。描述了系统的详细管道，其包括从Capella歌曲的目标音调和持续时间值提取，并将其转换为在合成之前的目标扬声器的有效音符范围内。还研究了通过WSOLA输出的输出的韵律操纵的另外的阶段，以便更好地匹配目标持续时间值。合成的话语可以与乐器伴奏轨道混合以产生完整的歌曲。通过主观聆听测试评估所提出的系统，以及与可用的备用系统相比，该系统还旨在从只读训练数据产生合成歌唱语音。结果表明，该拟议的方法可以产生高质量的敲击/歌声，具有增加的自然。

无监督的零射声语音转换（VC）旨在修改话语的扬声器特性，以匹配看不见的目标扬声器，而无需依赖并行培训数据。最近，已经显示了语音表示的自我监督学习在不使用转录物的情况下产生有用的语言单元，这可以直接传递给VC模型。在本文中，我们展示了通过使用长度重采样解码器来实现高质量的音频样本，这使得VC模型能够与不同的语言特征提取器和声码器一起工作，而无需它们以相同的序列长度运行。我们表明，我们的方法可以胜过VCTK数据集的许多基线。在不修改架构的情况下，我们进一步展示了a）使用来自同一扬声器的不同音频段，b）添加循环一致性损失，并且c）添加扬声器分类损失可以有助于学习更好的扬声器嵌入。我们的模型使用这些技术训练了Libritts，实现了最佳性能，产生了音频样本对目标扬声器的声音，同时保留了在字符错误率方面与实际人类话语相当的语言内容。

自动语音识别（ASR）需要对说话者的差异很强。语音转换（VC）修改了输入语音的扬声器特征。这是ASR数据增强的吸引人功能。在本文中，我们证明了语音转换可以用作数据增强技术，即使在包含2,456位扬声器的LibrisPeech上，也可以用作提高ASR性能。对于ASR增强，有必要对广泛的输入语音稳健。这激发了使用非自动回旋，非并行VC模型的使用，并在VC模型中使用了预验证的ASR编码器。这项工作表明，尽管包括许多演讲者，但演讲者的多样性可能仍然是ASR质量的限制。最后，对我们的风险投资性能的审讯为客观评估VC质量提供了有用的指标。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

我们提出了一项对基于自我监督的语音表示（S3R）语音转换（VC）的大规模比较研究。在识别合成VC的背景下，S3RS由于其替代昂贵的监督表示的潜力，例如语音后验（PPG），因此很有吸引力，这些表示是由最先进的VC系统采用的。使用先前开发的开源VC软件S3PRL-VC，我们在三种VC设置下提供了一系列深入的目标和主观分析：内部/跨语义的任何一对一（A2O）和任何对象 - 使用语音转换挑战2020（VCC2020）数据集。我们在各个方面研究了基于S3R的VC，包括模型类型，多语言和监督。我们还研究了通过K-均值聚类的滴定过程的效果，并展示了其在A2A设置中的改进。最后，与最先进的VC系统的比较证明了基于S3R的VC的竞争力，并阐明了可能的改进方向。

情绪转换（EVC）寻求转换话语的情绪状态，同时保留语言内容和扬声器身份。在EVC，情绪通常被视为离散类别，忽略了言论也传达了听众可以感知的各种强度水平的情绪。在本文中，我们的目标是明确地表征和控制情绪强度。我们建议解开语言内容的扬声器风格，并将扬声器风格编码成一个嵌入的嵌入空间，形成情绪嵌入的原型。我们进一步从情感标记的数据库中了解实际的情感编码器，并研究使用相对属性来表示细粒度的情绪强度。为确保情绪可理解性，我们将情感分类损失和情感嵌入了EVC网络培训中的相似性损失。根据需要，所提出的网络控制输出语音中的细粒度情绪强度。通过目标和主观评估，我们验证了建议网络的情感表达和情感强度控制的有效性。

已经提出了语音转换（VC）以通过使用它来增强有限培训数据来改进低资源语言的语音识别系统。但直到最近，计算速度等实际问题限制了VC为此目的的使用。此外，尚不清楚在一个资源良好的语言上培训的VC模型是否可以从其他低资源语言应用于数据增强的目的。在这项工作中，我们评估VC系统是否可以在凌乱上使用，以改善低资源语音识别。具体地，我们将最近的几种技术与英语一起设计和培训实用的VC系统，然后使用该系统以几种低资源语言培训语音识别模型的数据。我们发现，当使用合理量的增强数据时，所有四种低资源语言都有改进了语音识别性能。

在本文中，我们提出了GLOWVC：一种基于多语言的多语言流程模型，用于与语言无关的语音转换。我们建立在Glow-TTS上，该架构提供了一个架构，该体系结构可以在训练过程中使用语言特征，而无需将其用于VC推理。我们考虑了我们的模型的两个版本：glowVC条件和glowVC阐释。 GLOWVC条件模拟具有扬声器条件流的旋光图的分布，并将Mel-Spectrogragron空间置于内容和音高相关的尺寸中，而GlowVC-Plapic-Plapic-Plocific-Plocific opplicit over opplicit of the SughtliciT模型，无条件的流量和删除空间表示空间 - 内容 - 音调和与扬声器相关的维度。我们根据可见语言和看不见的语言的内部和跨语性转换来评估我们的模型，说话者的相似性和自然性。 GlowVC在清晰度方面的模型大大优于AutoVC基线，同时在语言内VC中获得了高扬声器的相似性，并且在跨语言环境中稍差。此外，我们证明了glowvc-suplicic在自然性方面超过了glowvc条件和自动vc。

This paper describes Tacotron 2, a neural network architecture for speech synthesis directly from text. The system is composed of a recurrent sequence-to-sequence feature prediction network that maps character embeddings to mel-scale spectrograms, followed by a modified WaveNet model acting as a vocoder to synthesize time-domain waveforms from those spectrograms. Our model achieves a mean opinion score (MOS) of 4.53 comparable to a MOS of 4.58 for professionally recorded speech. To validate our design choices, we present ablation studies of key components of our system and evaluate the impact of using mel spectrograms as the conditioning input to WaveNet instead of linguistic, duration, and F0 features. We further show that using this compact acoustic intermediate representation allows for a significant reduction in the size of the WaveNet architecture.

情感语音综合旨在使人类的声音具有各种情感影响。当前的研究主要集中于模仿属于特定情感类型的平均风格。在本文中，我们试图在运行时与情感混合在一起。我们提出了一种新颖的表述，可以衡量不同情绪的语音样本之间的相对差异。然后，我们将公式纳入序列到序列情感文本到语音框架中。在培训期间，该框架不仅明确地表征了情感风格，而且还通过用其他情感量化差异来探索情绪的序数。在运行时，我们通过手动定义情感属性向量来控制模型以产生所需的情绪混合物。客观和主观评估验证了拟议框架的有效性。据我们所知，这项研究是关于言语中混合情绪的建模，综合和评估混合情绪的第一项研究。

非平行的多与众不同的语音转换仍然是一项有趣但具有挑战性的语音处理任务。最近，基于有条件的自动编码器的方法AutoVC通过使用信息限制的瓶颈来删除说话者身份和语音内容，从而实现了出色的转换结果。但是，由于纯粹的自动编码器训练方法，很难评估内容和说话者身份的分离效果。在本文中，一个新颖的语音转换框架，名为$ \ boldsymbol t $ ext $ \ boldsymbol g $ uided $ \ boldsymbol a $ utovc（tgavc），提议更有效地将内容和音色与语音分开，其中预期的内容嵌入其中根据文本转录生产的旨在指导语音内容的提取。此外，对对抗性训练将用于消除从语音中提取的估计内容中的说话者身份信息。在预期内容嵌入和对抗培训的指导下，对内容编码器进行了培训，以从语音中提取嵌入说话者的内容。 Aishell-3数据集的实验表明，所提出的模型在自然性和转换语音的相似性方面优于AUTOVC。

将文本输入转换为视频内容的任务已成为合成媒体生成的重要主题。已经提出了几种方法，其中一些方法在受限的任务中达到了近距离表现。在本文中，我们通过将文本转换为唇部标记来解决文本到视频生成问题的次要发音。但是，我们使用模块化，可控的系统体系结构进行此操作，并评估其每个组件。我们的标题名为Flexlip的系统分为两个单独的模块：文本到语音和语音到唇，都具有基本可控的深神经网络体系结构。这种模块化可以轻松替换其每个组件，同时还可以通过解开或投影输入功能来快速适应新的扬声器身份。我们表明，通过仅将数据的数据用于音频生成组件，而对于语音到唇部分量的5分钟，生成的唇部标记的客观度量与使用较大较大的唇部标记相当一组训练样本。我们还通过考虑数据和系统配置的几个方面，对系统的完整流进行了一系列客观评估措施。这些方面与培训数据的质量和数量有关，使用预审计的模型以及其中包含的数据以及目标扬声器的身份；关于后者，我们表明我们可以通过简单地更新模型中的嘴唇形状来对看不见的身份进行零拍的唇部适应。

Voice Conversion (VC) is the task of making a spoken utterance by one speaker sound as if uttered by a different speaker, while keeping other aspects like content unchanged. Current VC methods, focus primarily on spectral features like timbre, while ignoring the unique speaking style of people which often impacts prosody. In this study, we introduce a method for converting not only the timbre, but also prosodic information (i.e., rhythm and pitch changes) to those of the target speaker. The proposed approach is based on a pretrained, self-supervised, model for encoding speech to discrete units, which make it simple, effective, and easy to optimise. We consider the many-to-many setting with no paired data. We introduce a suite of quantitative and qualitative evaluation metrics for this setup, and empirically demonstrate the proposed approach is significantly superior to the evaluated baselines. Code and samples can be found under https://pages.cs.huji.ac.il/adiyoss-lab/dissc/ .

本文报告了基准数据驱动的自动共鸣手势生成的第二个基因挑战。参与的团队使用相同的语音和运动数据集来构建手势生成系统。所有这些系统生成的运动都使用标准化的可视化管道将视频渲染到视频中，并在几个大型众包用户研究中进行了评估。与比较不同的研究论文不同，结果差异仅是由于方法之间的差异，从而实现了系统之间的直接比较。今年的数据集基于18个小时的全身运动捕获，包括手指，参与二元对话的不同人。十个团队参加了两层挑战：全身和上身手势。对于每个层，我们都评估了手势运动的人类风格及其对特定语音信号的适当性。我们的评估使人类的忠诚度与手势适当性解脱，这是该领域的主要挑战。评估结果是一场革命和启示。某些合成条件被评为比人类运动捕获更明显的人类样。据我们所知，这从未在高保真的头像上展示过。另一方面，发现所有合成运动比原始运动捕获记录要小得多。其他材料可通过项目网站https://youngwoo-yoon.github.io/geneachallenge2022/获得

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

我们引入了一种新的自动评估方法，用于说话者相似性评估，这与人类感知得分一致。现代神经文本到语音模型需要大量的干净训练数据，这就是为什么许多解决方案从单个扬声器模型转换为在许多不同扬声器的示例中训练的解决方案的原因。多扬声器模型带来了新的可能性，例如更快地创建新声音，也是一个新问题 - 扬声器泄漏，其中合成示例的扬声器身份可能与目标扬声器的示例不符。当前，发现此问题的唯一方法是通过昂贵的感知评估。在这项工作中，我们提出了一种评估说话者相似性的自动方法。为此，我们扩展了有关说话者验证系统的最新工作，并评估不同的指标和说话者嵌入模型如何以隐藏的参考和锚（Mushra）分数反映多个刺激。我们的实验表明，我们可以训练一个模型来预测扬声器嵌入的扬声器相似性，其精度为0.96的扬声器嵌入，并且在话语级别上最高0.78 Pearson分数。

可以处理各种扬声器和声学条件的模型在语音情感识别（Ser）中至关重要。通常，这些模型往往会在培训期间呈现扬声器或声学条件时显示混合结果。本文调查了交叉组件数据互补和数据增强对Ser模型的影响（从相同的语料库中的测试设置）和不匹配（从不同的语料库测试）条件。介绍了使用六种情绪语音集团的调查，其中包括单一和多个扬声器以及情感风格的变化（作用，引发，自然）和记录条件。观察结果表明，正如预期的那样，在单一语料库上培训的模型在匹配条件下表现最佳，而性能在不匹配的条件下减少10-40％，具体取决于语料库特定功能。在混合语料库上培训的型号在不匹配的上下文中可以更稳定，与匹配条件中的单个语料库模型相比，性能减少的范围为1％至8％。数据增强产生额外的收益高达4％，似乎有利于比匹配的不匹配条件。

在本文中，我们研究了一些现有的和新的最先进的生成的对抗网络（GAN）语音转换方法，用于增强暂存语音，以改善发育性语音识别。我们将现有方法的关键组成部分进行比较，作为严格的消融研究的一部分，以找到提高发狂语音识别的最有效的解决方案。我们发现，直接的信号处理方法，例如静止噪声消除和基于声码的时间拉伸导致达到疑声语音识别结果，其与使用最先进的GaN的语音转换方法使用的那些使用音素识别任务测量而获得的结果相当。此外，我们提出的蒙面克萨根-VC和时间拉伸增强的组合解决方案能够改善与我们的时间拉伸基线相比的某些发育扬声器的音素识别结果。