人类脑中脑中的背景利用异质感官信息，以有效地执行包括视觉和听力的认知任务。例如，在鸡尾酒会党的情况下，人类听觉Cortex上下文中的视听（AV）提示才能更好地感知言论。最近的研究表明，与音频SE模型相比，AV语音增强（SE）模型可以显着提高信噪比（SNR）环境的极低信号的语音质量和可懂度。然而，尽管在AV SE的领域进行了显着的研究，但具有低延迟的实时处理模型的开发仍然是一个强大的技术挑战。在本文中，我们为低延迟扬声器的独立AV SE提供了一种新颖的框架，可以概括一系列视觉和声学噪声。特别地，提出了一种生成的对抗性网络（GaN）来解决AV SE的视觉缺陷的实际问题。此外，我们提出了一种基于神经网络的深度神经网络的实时AV SE模型，考虑到从GaN的清洁的视觉语音输出来提供更强大的SE。拟议的框架使用客观语音质量和可懂度指标和主观上市测试对合成和真实嘈杂的AV语料库进行评估。比较仿真结果表明，我们的实时AV SE框架优于最先进的SE方法，包括最近的基于DNN的SE模型。

基于深度学习（DL）的语音增强方法通常优化，以最小化干净和增强语音功能之间的距离。这些经常导致语音质量改善，但它们缺乏普遍化，并且可能无法在实际嘈杂情况下提供所需的语音可懂度。为了解决这些挑战，研究人员已经探索了智能性（I-O）丢失函数和用于更强大的语音增强（SE）的视听（AV）信息的集成。在本文中，我们介绍了基于DL的I-O SE算法利用AV信息，这是一种新颖且以前未开发的研究方向。具体而言，我们介绍了一个完全卷积的AV SE模型，它使用改进的短时客观可懂度（STOI）度量作为培训成本函数。据我们所知，这是第一个利用基于I-O的I-O的损耗函数的AV模式集成的第一项工作。比较实验结果表明，我们提出的I-O AV SE框架优于与传统距离的损耗功能训练的仅音频（AO）和AV模型，就标准客观的扬声器和噪声处理。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

本文提出了一种语音分离的视听方法，在两种情况下以低潜伏期产生最先进的结果：语音和唱歌声音。该模型基于两个阶段网络。运动提示是通过轻巧的图形卷积网络获得的，该网络处理面对地标。然后，将音频和运动功能馈送到视听变压器中，该变压器对隔离目标源产生相当好的估计。在第二阶段，仅使用音频网络增强了主导语音。我们提出了不同的消融研究和与最新方法的比较。最后，我们探讨了在演唱语音分离的任务中训练训练语音分离的模型的可传递性。https://ipcv.github.io/vovit/可用演示，代码和权重

Prior works on improving speech quality with visual input typically study each type of auditory distortion separately (e.g., separation, inpainting, video-to-speech) and present tailored algorithms. This paper proposes to unify these subjects and study Generalized Speech Enhancement, where the goal is not to reconstruct the exact reference clean signal, but to focus on improving certain aspects of speech. In particular, this paper concerns intelligibility, quality, and video synchronization. We cast the problem as audio-visual speech resynthesis, which is composed of two steps: pseudo audio-visual speech recognition (P-AVSR) and pseudo text-to-speech synthesis (P-TTS). P-AVSR and P-TTS are connected by discrete units derived from a self-supervised speech model. Moreover, we utilize self-supervised audio-visual speech model to initialize P-AVSR. The proposed model is coined ReVISE. ReVISE is the first high-quality model for in-the-wild video-to-speech synthesis and achieves superior performance on all LRS3 audio-visual enhancement tasks with a single model. To demonstrates its applicability in the real world, ReVISE is also evaluated on EasyCom, an audio-visual benchmark collected under challenging acoustic conditions with only 1.6 hours of training data. Similarly, ReVISE greatly suppresses noise and improves quality. Project page: https://wnhsu.github.io/ReVISE.

这项工作的目的是通过利用视频中的音频和视觉流的自然共同发生来研究语音重建（视频到音频）对语音重建（视频到音频）的影响。我们提出了Lipsound2，其包括编码器 - 解码器架构和位置感知注意机制，可直接将面部图像序列映射到熔化谱图，而无需任何人类注释。提出的Lipsound2模型首先在$ 2400H的$ 2400h多语言（例如英语和德语）视听数据（VoxceleB2）上进行预先培训。为了验证所提出的方法的概括性，我们将在与以前的方法相比，微调在域特定数据集（网格，TCD-Timit）上进行预先训练的模型，以实现对语音质量和可懂度的显着提高扬声器依赖和依赖的设置。除了英语外，我们还在CMLR数据集上进行中文语音重建，以验证对转移性的影响。最后，我们通过微调在预先训练的语音识别系统上产生生成的音频并在英语和中文基准数据集中实现最先进的性能来培训级联唇读（视频到文本）系统。

以前的研究已经证实了利用明晰度信息达到改善的语音增强（SE）性能的有效性。通过使用铰接特征的地点/方式增强原始声学特征，可以引导SE过程考虑执行增强时输入语音的剖视特性。因此，我们认为关节属性的上下文信息应包括有用的信息，并可以进一步利用不同的语言。在这项研究中，我们提出了一个SE系统，通过优化英语和普通话的增强演讲中的上下文清晰度信息来提高其性能。我们通过联合列车与端到端的自动语音识别（E2E ASR）模型进行联合列车，预测广播序列（BPC）而不是单词序列的序列。同时，开发了两种培训策略，以基于基于BPC的ASR：多任务学习和深度特征培训策略来培训SE系统。 Timit和TMhint DataSet上的实验结果证实了上下文化学信息促进了SE系统，以实现比传统声学模型（AM）更好的结果。此外，与用单声道ASR培训的另一SE系统相比，基于BPC的ASR（提供上下文化学信息）可以在不同的信噪比（SNR）下更有效地改善SE性能。

在这项研究中，我们提出了一种跨域多目标语音评估模型，即MOSA-net，可以同时估算多个语音评估度量。更具体地，MOSA-Net旨在基于作为输入的测试语音信号来估计语音质量，可懂度和失真评估分数。它包括用于表示提取的卷积神经网络和双向长短期存储器（CNN-BLSTM）架构，以及每个评估度量的乘法注意层和完全连接的层。此外，来自自我监督学习模型的跨域特征（光谱和时域特征）和潜在的表示用作将丰富的声学信息与不同语音表示相结合的输入，以获得更准确的评估。实验结果表明，MOSA-Net可以精确地预测语音质量（PESQ），短时间客观可懂度（STOI）和语音失真指数（SDI）分数的感知评估，并且在噪声下进行了测试，并且在任何看法测试下都有增强的语音话语条件（测试扬声器和训练集中涉及的噪音类型）或看不见的测试条件（其中测试扬声器和噪声类型不参与训练集）。鉴于确认的预测能力，我们进一步采用了MOSA网的潜在表示来引导语音增强（SE）过程，并导出了质量清晰度（QI）-AWARE SE（QIA-SE）方法。实验结果表明，与客观评估指标和定性评估测试相比，QIA-SE与基线SE系统相比提供了卓越的增强性能。

Single-channel, speaker-independent speech separation methods have recently seen great progress. However, the accuracy, latency, and computational cost of such methods remain insufficient. The majority of the previous methods have formulated the separation problem through the time-frequency representation of the mixed signal, which has several drawbacks, including the decoupling of the phase and magnitude of the signal, the suboptimality of time-frequency representation for speech separation, and the long latency in calculating the spectrograms. To address these shortcomings, we propose a fully-convolutional time-domain audio separation network (Conv-TasNet), a deep learning framework for end-to-end time-domain speech separation. Conv-TasNet uses a linear encoder to generate a representation of the speech waveform optimized for separating individual speakers. Speaker separation is achieved by applying a set of weighting functions (masks) to the encoder output. The modified encoder representations are then inverted back to the waveforms using a linear decoder. The masks are found using a temporal convolutional network (TCN) consisting of stacked 1-D dilated convolutional blocks, which allows the network to model the long-term dependencies of the speech signal while maintaining a small model size. The proposed Conv-TasNet system significantly outperforms previous time-frequency masking methods in separating two-and three-speaker mixtures. Additionally, Conv-TasNet surpasses several ideal time-frequency magnitude masks in two-speaker speech separation as evaluated by both objective distortion measures and subjective quality assessment by human listeners. Finally, Conv-TasNet has a significantly smaller model size and a shorter minimum latency, making it a suitable solution for both offline and real-time speech separation applications. This study therefore represents a major step toward the realization of speech separation systems for real-world speech processing technologies.

本文提出了一种新型的多式模式自学架构，用于节能音频 - 视听（AV）语音增强，将图形神经网络与规范相关性分析（CCA-GNN）集成在一起。所提出的方法将其基础放在最先进的CCA-GNN上，该方法通过最大化相同输入的增强视图对之间的相关性来学习代表性的嵌入，同时脱离了断开连接的特征。常规CCA-GNN的关键思想涉及丢弃增强变化的信息并保留增强不变的信息，同时阻止捕获冗余信息。我们提出的AV CCA-GNN模型涉及多模式表示学习环境。具体而言，我们的模型通过从音频和视觉嵌入的同一信道和规范相关性的增强视图中最大化的规范相关性来改善上下文AV语音处理。此外，它提出了一个位置节点编码，该位置节点在计算节点最近的邻居时考虑了先前的框架序列距离，而不是特征空间表示，并通过邻域的连接在嵌入式中引入时间信息。在基准Chime3数据集上进行的实验表明，我们提出的基于框架的AV CCA-GNN确保在时间上下文中获得更好的特征学习，从而导致比最先进的CCA-GNN更节能的语音重建感知器（MLP）和长期记忆（LSTM）模型。

本文提出了Mburst，这是一种新型的多模式解决方案，用于视听语音增强功能，该解决方案考虑了有关前额叶皮层和其他大脑区域的锥体细胞的最新神经系统发现。所谓的爆发传播实现了几个标准，以更加可行的方式解决信用分配问题：通过反馈来指导可塑性的标志和大小，并线性化反馈信号。 Mburst从这种能力中受益于学习嘈杂信号和视觉刺激之间的相关性，从而通过扩增相关信息和抑制噪声来归因于语音。通过网格语料库和基于Chime3的数据集进行的实验表明，Mburst可以将类似的掩模重建基于多模态反向传播基线，同时证明了出色的能量效率管理，从而降低了神经元的发射速率，以降低价值，最高为\ textbf {$ 70 \％$}降低。这样的功能意味着更可持续的实现，适合助听器或任何其他类似的嵌入式系统。

Deep neural networks (DNN) techniques have become pervasive in domains such as natural language processing and computer vision. They have achieved great success in these domains in task such as machine translation and image generation. Due to their success, these data driven techniques have been applied in audio domain. More specifically, DNN models have been applied in speech enhancement domain to achieve denosing, dereverberation and multi-speaker separation in monaural speech enhancement. In this paper, we review some dominant DNN techniques being employed to achieve speech separation. The review looks at the whole pipeline of speech enhancement from feature extraction, how DNN based tools are modelling both global and local features of speech and model training (supervised and unsupervised). We also review the use of speech-enhancement pre-trained models to boost speech enhancement process. The review is geared towards covering the dominant trends with regards to DNN application in speech enhancement in speech obtained via a single speaker.

主动扬声器检测在人机相互作用中起着至关重要的作用。最近，出现了一些端到端的视听框架。但是，这些模型的推理时间没有被探索，并且由于其复杂性和较大的输入大小而不适用于实时应用。此外，他们探索了类似的功能提取策略，该策略在音频和视觉输入中采用了Convnet。这项工作提出了一种新型的两流端到端框架融合，通过VGG-M从图像中提取的特征与原始MEL频率Cepstrum系数从音频波形提取。该网络在每个流上附有两个BigRu层，以处理融合之前每个流的时间动态。融合后，将一个BigRU层附着在建模联合时间动力学上。 AVA-ACTIVESPEAKER数据集的实验结果表明，我们的新功能提取策略对嘈杂信号的鲁棒性和推理时间比在这两种模式上使用Convnet的模型更好。提出的模型预测44.41 ms之内，足够快地用于实时应用程序。我们表现​​最佳的模型获得了88.929％的精度，与最先进的工作相同。

在本文中，我们提出了一个多模式的多关系学习框架，针对视听语音分离的任务。尽管以前的努力已经在结合音频和视觉方式方面进行了广泛的努力，但其中大多数仅采用音频和视觉功能的直接串联。为了利用这两种方式背后的实际有用信息，我们定义了两个关键相关性，即：（1）身份相关性（在音色和面部属性之间）； （2）语音相关性（音素和唇部运动之间）。这两种相关性共同包含完整的信息，这表明将目标扬声器的声音分开，尤其是在某些困难的情况下，例如相同的性别或类似内容。为了实施，采用对比度学习或对抗性训练方法来最大化这两个相关性。他们俩都表现良好，而对抗性训练则通过避免对比度学习的某些局限性显示出其优势。与先前的研究相比，我们的解决方案证明了对实验指标的明显改进而没有额外的复杂性。进一步的分析揭示了拟议的体系结构的有效性及其未来扩展的良好潜力。

视频到语音的合成（也称为Lip-speech）是指沉默的唇部动作转换为相应的音频。由于其自我监督的性质（即可以在无需手动标记的情况下训练）以及在线可用的视听数据的收集量不断增长，因此该任务受到了越来越多的关注。尽管有这些强烈的动机，现代视频到语音的作品主要集中在词汇和环境中具有很大限制的中小型语料库。在这项工作中，我们引入了一个可扩展的视频到语音框架，该框架由两个组件组成：视频到光谱图预测器和一个预训练的神经声码器，该框架将MEL频谱图转换为波形音频。我们在LRW上取得了最先进的效果，并且在LRW上的表现要优于以前的方法。更重要的是，通过使用简单的FeedForward模型专注于频谱图预测，我们可以有效地将方法扩展到非常不受约束的数据集：据我们所知，我们是第一个在具有挑战性的LRS3数据集上显示出可理解的结果。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。

Audio-visual approaches involving visual inputs have laid the foundation for recent progress in speech separation. However, the optimization of the concurrent usage of auditory and visual inputs is still an active research area. Inspired by the cortico-thalamo-cortical circuit, in which the sensory processing mechanisms of different modalities modulate one another via the non-lemniscal sensory thalamus, we propose a novel cortico-thalamo-cortical neural network (CTCNet) for audio-visual speech separation (AVSS). First, the CTCNet learns hierarchical auditory and visual representations in a bottom-up manner in separate auditory and visual subnetworks, mimicking the functions of the auditory and visual cortical areas. Then, inspired by the large number of connections between cortical regions and the thalamus, the model fuses the auditory and visual information in a thalamic subnetwork through top-down connections. Finally, the model transmits this fused information back to the auditory and visual subnetworks, and the above process is repeated several times. The results of experiments on three speech separation benchmark datasets show that CTCNet remarkably outperforms existing AVSS methods with considerablely fewer parameters. These results suggest that mimicking the anatomical connectome of the mammalian brain has great potential for advancing the development of deep neural networks. Project repo is https://github.com/JusperLee/CTCNet.

Objective: Despite numerous studies proposed for audio restoration in the literature, most of them focus on an isolated restoration problem such as denoising or dereverberation, ignoring other artifacts. Moreover, assuming a noisy or reverberant environment with limited number of fixed signal-to-distortion ratio (SDR) levels is a common practice. However, real-world audio is often corrupted by a blend of artifacts such as reverberation, sensor noise, and background audio mixture with varying types, severities, and duration. In this study, we propose a novel approach for blind restoration of real-world audio signals by Operational Generative Adversarial Networks (Op-GANs) with temporal and spectral objective metrics to enhance the quality of restored audio signal regardless of the type and severity of each artifact corrupting it. Methods: 1D Operational-GANs are used with generative neuron model optimized for blind restoration of any corrupted audio signal. Results: The proposed approach has been evaluated extensively over the benchmark TIMIT-RAR (speech) and GTZAN-RAR (non-speech) datasets corrupted with a random blend of artifacts each with a random severity to mimic real-world audio signals. Average SDR improvements of over 7.2 dB and 4.9 dB are achieved, respectively, which are substantial when compared with the baseline methods. Significance: This is a pioneer study in blind audio restoration with the unique capability of direct (time-domain) restoration of real-world audio whilst achieving an unprecedented level of performance for a wide SDR range and artifact types. Conclusion: 1D Op-GANs can achieve robust and computationally effective real-world audio restoration with significantly improved performance. The source codes and the generated real-world audio datasets are shared publicly with the research community in a dedicated GitHub repository1.

视听目标语音提取旨在通过查看唇部运动来从嘈杂的混合物中提取某个说话者的语音，这取得了重大进展，结合了时间域的语音分离模型和视觉特征提取器（CNN）。融合音频和视频信息的一个问题是它们具有不同的时间分辨率。当前的大多数研究都会沿时间维度进行视觉特征，以便音频和视频功能能够随时间对齐。但是，我们认为唇部运动主要包含长期或电话级信息。基于这个假设，我们提出了一种融合视听功能的新方法。我们观察到，对于dprnn \ cite {dprnn}，互联维度的时间分辨率可能非常接近视频帧的时间分辨率。像\ cite {sepformer}一样，dprnn中的LSTM被内部内部和牙间的自我注意力所取代，但是在提出的算法中，界界的注意力将视觉特征作为附加特征流。这样可以防止视觉提示的提高采样，从而导致更有效的视听融合。结果表明，与其他基于时间域的视听融合模型相比，我们获得了优越的结果。