上采样器是由问题上采样层引起的，并且由于在上采样时出现的光谱副本。此外，根据所用的上采样层，这种伪像可以是色调的伪像（添加性高频噪声）或过滤伪像（衰减，衰减一些带）。在这项工作中，我们通过研究不同的伪像如何交互和评估模型性能的影响，调查在所产生的音频中具有上采样的伪影的实际意义。为此，我们基准为音乐源分离的大量上采样层：不同的转置和子像素卷积设置，不同的插值上升器（包括基于拉伸和SINC插值的两个新颖的层）和基于不同的基于小波的上升器（包括小说可学习小波层）。我们的研究结果表明，与插值上采样器相关的过滤器件是感知的，即使它们倾向于实现更差的客观分数。

传统上，音乐混合涉及以干净，单个曲目的形式录制乐器，并使用音频效果和专家知识（例如，混合工程师）将它们融合到最终混合物中。近年来，音乐制作任务的自动化已成为一个新兴领域，基于规则的方法和机器学习方法已被探索。然而，缺乏干燥或干净的仪器记录限制了这种模型的性能，这与专业的人造混合物相去甚远。我们探索是否可以使用室外数据，例如潮湿或加工的多轨音乐录音，并将其重新利用以训练有监督的深度学习模型，以弥合自动混合质量的当前差距。为了实现这一目标，我们提出了一种新型的数据预处理方法，该方法允许模型执行自动音乐混合。我们还重新设计了一种用于评估音乐混合系统的听力测试方法。我们使用经验丰富的混合工程师作为参与者来验证结果。

We observe that despite their hierarchical convolutional nature, the synthesis process of typical generative adversarial networks depends on absolute pixel coordinates in an unhealthy manner. This manifests itself as, e.g., detail appearing to be glued to image coordinates instead of the surfaces of depicted objects. We trace the root cause to careless signal processing that causes aliasing in the generator network. Interpreting all signals in the network as continuous, we derive generally applicable, small architectural changes that guarantee that unwanted information cannot leak into the hierarchical synthesis process. The resulting networks match the FID of StyleGAN2 but differ dramatically in their internal representations, and they are fully equivariant to translation and rotation even at subpixel scales. Our results pave the way for generative models better suited for video and animation. * This work was done during an internship at NVIDIA. 35th Conference on Neural Information Processing Systems (NeurIPS 2021).

创成对抗性网络（甘斯）的主要目标是产生相同的统计数据所提供的培训数据的新数据。然而，最近的多部作品表明，国家的最先进的架构又斗争，以实现这一目标。特别地，他们报告的升高量在光谱统计这使得它可以直接区分真实和生成的图像的高频率。对于这种现象的解释是有争议的：虽然大多数的作品属性文物发电机，其他作品指向鉴别。我们需要在这些解释清醒的审视，并提供有关什么使有效的打击高频文物提出的措施的见解。要做到这一点，我们首先独立评估发电机和鉴别两者的架构，如果他们表现出的频率偏差，使学习的高频含量尤其成问题的分布调查。基于这些实验中，我们提出以下四点看法：1）不同的采样操作偏向不同光谱特性的发电机。 2）由上采样引入的伪像棋盘不能单独解释的光谱差异作为发电机能够补偿这些伪影。 3）鉴别器不与检测本身高频纠缠，但具有低幅度的频率上而奋斗。 4）在鉴别器的下采样操作可以削弱它提供的训练信号的质量。在这些研究结果，我们分析提出了在国家的最先进的甘训练对高频文物的措施，但发现没有现有的方法可以彻底解决谱伪呢。我们的研究结果表明，有很大的潜力，在提高鉴别和，这可能是关键的训练数据的分布更紧密地匹配。

基于生成对抗神经网络（GAN）的神经声码器由于其快速推理速度和轻量级网络而被广泛使用，同时产生了高质量的语音波形。由于感知上重要的语音成分主要集中在低频频段中，因此大多数基于GAN的神经声码器进行了多尺度分析，以评估降压化采样的语音波形。这种多尺度分析有助于发电机提高语音清晰度。然而，在初步实验中，我们观察到，重点放在低频频段的多尺度分析会导致意外的伪影，例如，混叠和成像伪像，这些文物降低了合成的语音波形质量。因此，在本文中，我们研究了这些伪影与基于GAN的神经声码器之间的关系，并提出了一个基于GAN的神经声码器，称为Avocodo，该机器人允许合成具有减少伪影的高保真语音。我们介绍了两种歧视者，以各种视角评估波形：协作多波段歧视者和一个子兰歧视器。我们还利用伪正常的镜像滤波器库来获得下采样的多频段波形，同时避免混音。实验结果表明，在语音和唱歌语音合成任务中，鳄梨的表现优于常规的基于GAN的神经声码器，并且可以合成无伪影的语音。尤其是，鳄梨甚至能够复制看不见的扬声器的高质量波形。

随着深度学习（DL）的出现，超分辨率（SR）也已成为一个蓬勃发展的研究领域。然而，尽管结果有希望，但该领域仍然面临需要进一步研究的挑战，例如，允许灵活地采样，更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域，并检查最新模型，例如扩散（DDPM）和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论，并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展，例如不确定性驱动的损失，小波网络，神经体系结构搜索，新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化，以促进对该领域趋势的全球理解。最终，这篇综述旨在帮助研究人员推动DL应用于SR的界限。

尽管在基于生成的对抗网络（GAN）的声音编码器中，该模型在MEL频谱图中生成原始波形，但在各种录音环境中为众多扬声器合成高保真音频仍然具有挑战性。在这项工作中，我们介绍了Bigvgan，这是一款通用的Vocoder，在零照片环境中在各种看不见的条件下都很好地概括了。我们将周期性的非线性和抗氧化表现引入到发电机中，这带来了波形合成所需的感应偏置，并显着提高了音频质量。根据我们改进的生成器和最先进的歧视器，我们以最大的规模训练我们的Gan Vocoder，最高到1.12亿个参数，这在文献中是前所未有的。特别是，我们识别并解决了该规模特定的训练不稳定性，同时保持高保真输出而不过度验证。我们的Bigvgan在各种分布场景中实现了最先进的零拍性能，包括新的扬声器，新颖语言，唱歌声音，音乐和乐器音频，在看不见的（甚至是嘈杂）的录制环境中。我们将在以下网址发布我们的代码和模型：https：//github.com/nvidia/bigvgan

我们介绍了时间特征 - 方向线性调制（TFILM）模型的块在线变体，以实现带宽扩展。所提出的架构简化了TFILM的UNET骨干，以减少推理时间，并在瓶颈中采用有效的变压器来缓解性能下降。我们还利用自我监督的预测和数据增强，以提高带宽扩展信号的质量，并降低对下采样方法的灵敏度。VCTK数据集上的实验结果表明，所提出的方法优于侵入性和非侵入性度量的几个最近基线。预先训练和过滤增强也有助于稳定并提高整体性能。

我们提出了一个录音录音录音的录音录音。我们的模型通过短时傅立叶变换（STFT）将其输入转换为时频表示，并使用卷积神经网络处理所得的复杂频谱图。该网络在合成音乐数据集上培训了重建和对抗性目标，该数据集是通过将干净的音乐与从旧唱片的安静片段中提取的真实噪声样本混合而创建的。我们在合成数据集的持有测试示例中定量评估我们的方法，并通过人类对实际历史记录样本的评级进行定性评估。我们的结果表明，所提出的方法可有效消除噪音，同时保留原始音乐的质量和细节。

源分离模型在频谱图或波形域上工作。在这项工作中，我们展示了如何执行端到端的混合源分离，让模型决定哪个域最适合每个源，甚至可以组合两者。拟议的解除架构的混合版本赢得了索尼组织的2021年音乐贬低挑战。该架构还具有额外的改进，例如压缩残余分支，当地关注或奇异值正则化。总体而言，在穆斯达特总资料数据集中测量的所有来源中观察到信号对失真（SDR）的1.4 dB改善，这是人类主观评估证实的改进，总体质量为2.83（5.36）非混合脱扣），并在3.04（对竞争对手提交的第二排名模型的非混合撤销和2.44）的污染没有污染。

尽管近年来取得了惊人的进步，但最先进的音乐分离系统会产生具有显着感知缺陷的源估计，例如增加无关噪声或消除谐波。我们提出了一个后处理模型（MAKE听起来不错（MSG）后处理器），以增强音乐源分离系统的输出。我们将我们的后处理模型应用于最新的基于波形和基于频谱图的音乐源分离器，包括在训练过程中未见的分离器。我们对源分离器产生的误差的分析表明，波形模型倾向于引入更多高频噪声，而频谱图模型倾向于丢失瞬变和高频含量。我们引入了客观措施来量化这两种错误并显示味精改善了两种错误的源重建。众包主观评估表明，人类的听众更喜欢由MSG进行后处理的低音和鼓的来源估计。

从语音音频中删除背景噪音一直是大量研究和努力的主题，尤其是由于虚拟沟通和业余声音录制的兴起，近年来。然而，背景噪声并不是唯一可以防止可理解性的不愉快干扰：混响，剪裁，编解码器工件，有问题的均衡，有限的带宽或不一致的响度同样令人不安且无处不在。在这项工作中，我们建议将言语增强的任务视为一项整体努力，并提出了一种普遍的语音增强系统，同时解决了55种不同的扭曲。我们的方法由一种使用基于得分的扩散的生成模型以及一个多分辨率调节网络，该网络通过混合密度网络进行增强。我们表明，这种方法在专家听众执行的主观测试中大大优于艺术状态。我们还表明，尽管没有考虑任何特定的快速采样策略，但它仅通过4-8个扩散步骤就可以实现竞争性的目标得分。我们希望我们的方法论和技术贡献都鼓励研究人员和实践者采用普遍的语音增强方法，可能将其作为一项生成任务。

我们提出了一种可扩展高效的神经波形编码系统，用于语音压缩。我们将语音编码问题作为一种自动汇总任务，其中卷积神经网络（CNN）在其前馈例程期间执行编码和解码作为神经波形编解码器（NWC）。所提出的NWC还将量化和熵编码定义为可培训模块，因此在优化过程期间处理编码伪像和比特率控制。通过将紧凑的模型组件引入NWC，如Gated Reseal Networks和深度可分离卷积，我们实现了效率。此外，所提出的模型具有可扩展的架构，跨模块残差学习（CMRL），以覆盖各种比特率。为此，我们采用残余编码概念来连接多个NWC自动汇总模块，其中每个NWC模块执行残差编码以恢复其上一模块已创建的任何重建损失。 CMRL也可以缩小以覆盖下比特率，因为它采用线性预测编码（LPC）模块作为其第一自动化器。混合设计通过将LPC的量化作为可分散的过程重新定义LPC和NWC集成，使系统培训端到端的方式。所提出的系统的解码器在低至中等比特率范围（12至20kbps）或高比特率（32kbps）中的两个NWC中的一个NWC（0.12百万个参数）。尽管解码复杂性尚不低于传统语音编解码器的复杂性，但是从其他神经语音编码器（例如基于WVENET的声码器）显着降低。对于宽带语音编码质量，我们的系统对AMR-WB的性能相当或卓越的性能，并在低和中等比特率下的速度试验话题上的表现。所提出的系统可以扩展到更高的比特率以实现近透明性能。

深度图像先验表明，通过简单地优化它的参数来重建单个降级图像，可以训练具有合适架构的随机初始化网络以解决反向成像问题。但是，它受到了两个实际限制。首先，它仍然不清楚如何在网络架构选择之前控制。其次，培训需要Oracle停止标准，因为在优化期间，在达到最佳值后性能降低。为了解决这些挑战，我们引入频带对应度量以表征在之前的深图像的光谱偏压，其中低频图像信号比高频对应物更快且更好地学习。根据我们的观察，我们提出了防止最终性能下降和加速收敛的技术。我们介绍了Lipschitz受控的卷积层和高斯控制的上采样层，作为深度架构中使用的层的插件替代品。实验表明，随着这些变化，在优化期间，性能不会降低，从需要对Oracle停止标准的需求中脱离我们。我们进一步勾勒出停止标准以避免多余的计算。最后，我们表明我们的方法与各种去噪，去块，染色，超级分辨率和细节增强任务的当前方法相比获得了有利的结果。代码可用于\ url {https:/github.com/shizenglin/measure-and-control-spectraL-bias}。

在许多应用程序中，信号denoising通常是任何后续分析或学习任务之前的第一个预处理步骤。在本文中，我们建议采用受信号处理启发的深度学习denoising模型，这是一个可学习的小波数据包变换版本。所提出的算法具有很少的可解释参数的显着学习能力，并且具有直观的初始化。我们提出了对参数的学习后修改，以使denoising适应不同的噪声水平。我们评估了提出的方法在两个案例研究中的性能，并将其与其他最先进的方法进行比较，包括小波schrinkage denoising，卷积神经网络，自动编码器和U-NET深模型。第一个案例研究基于设计的功能，通常用于研究算法的降解性质。第二个案例研究是音频背景删除任务。我们演示了所提出的算法如何与信号处理方法的普遍性以及深度学习方法的学习能力有关。特别是，我们评估了在用于培训的课程内外的结构化噪声信号上获得的降解性能。除了在培训课程内部和外部具有良好的降级信号外，我们的方法还表明，当添加不同的噪声水平，噪声类型和工件时，我们的方法尤其强大。

最新的2D图像压缩方案依赖于卷积神经网络（CNN）的力量。尽管CNN为2D图像压缩提供了有希望的观点，但将此类模型扩展到全向图像并不简单。首先，全向图像具有特定的空间和统计特性，这些特性无法通过当前CNN模型完全捕获。其次，在球体上，基本的数学操作组成了CNN体系结构，例如翻译和采样。在本文中，我们研究了全向图像的表示模型的学习，并建议使用球体的HealPix均匀采样的属性来重新定义用于全向图像的深度学习模型中使用的数学工具。特别是，我们：i）提出了在球体上进行新的卷积操作的定义，以保持经典2D卷积的高表现力和低复杂性； ii）适应标准的CNN技术，例如步幅，迭代聚集和像素改组到球形结构域；然后iii）将我们的新框架应用于全向图像压缩的任务。我们的实验表明，与应用于等应角图像的类似学习模型相比，我们提出的球形溶液可带来更好的压缩增益，可以节省比特率的13.7％。同样，与基于图形卷积网络的学习模型相比，我们的解决方案支持更具表现力的过滤器，这些过滤器可以保留高频并提供压缩图像的更好的感知质量。这样的结果证明了拟议框架的效率，该框架为其他全向视觉任务任务打开了新的研究场所，以在球体歧管上有效实施。

在音频分类中，很少有参数的可区分的听觉过滤库覆盖了硬编码频谱图和原始音频之间的中间立场。LEAF（ARXIV：2101.08596）是一种基于Gabor的过滤库与每通道能量归一化（PCEN）相结合，显示出令人鼓舞的结果，但计算上很昂贵。随着不均匀的卷积内核大小和大步，通过更有效地达到相似的结果，我们可以更有效地达到相似的结果。在六个音频分类任务的实验中，我们的前端以叶子的准确性为3％，但两者都无法始终如一地胜过固定的MEL FilterBank。对可学习音频前端的寻求无法解决。

宽带音频波形评估网络（Wawenets）是直接在宽带音频波形上运行的卷积神经网络，以便对这些波形进行评估。在目前的工作中，这些评估赋予了电信语音的素质（例如嘈杂，清晰度，整体语音质量）。 Wawenets是无引用网络，因为它们不需要他们评估的波形的``参考''（原始或未经证实的）版本。我们最初的Wawenet出版物引入了四个Wawenets，并模拟了已建立的全参考语音质量或清晰度估计算法的输出。我们已经更新了Wawenet架构，以提高效率和有效性。在这里，我们提出了一个密切跟踪七个不同质量和可理解性值的单一Wawenet。我们创建了第二个网络，该网络还跟踪四个主观语音质量维度。我们提供第三个网络，专注于公正的质量分数并达到很高的共识。这项工作用13种语言利用了334小时的演讲，超过200万个全参考目标值和超过93,000个主观意见分数。我们还解释了Wawenets的操作，并使用信号处理的语言确定其操作的关键：Relus从战略上将光谱信息从非DC组件移动到DC组件中。 96输出信号的直流值在96-D潜在空间中定义了一个向量，然后将该向量映射到输入波形的质量或清晰度值。

随着神经网络能够生成现实的人造图像，它们有可能改善电影，音乐，视频游戏并使互联网变得更具创造力和鼓舞人心的地方。然而，最新的技术有可能使新的数字方式撒谎。作为响应，出现了多种可靠的方法工具箱，以识别人造图像和其他内容。先前的工作主要依赖于像素空间CNN或傅立叶变换。据我们所知，到目前为止，基于多尺度小波表示的综合伪造图像分析和检测方法始于迄今为止在空间和频率中始终存在。小波转换在一定程度上可以保守空间信息，这使我们能够提出新的分析。比较真实图像和假图像的小波系数可以解释。确定了显着差异。此外，本文提议学习一个模型，以根据自然和gan生成图像的小波包装表示合成图像。正如我们在FFHQ，Celeba和LSUN源识别问题上所证明的那样，我们的轻巧法医分类器在相对较小的网络大小上表现出竞争性或改进的性能。此外，我们研究了二进制脸庞++假检测问题。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。