In this study, we explore the representation mapping from the domain of visual arts to the domain of music, with which we can use visual arts as an effective handle to control music generation. Unlike most studies in multimodal representation learning that are purely data-driven, we adopt an analysis-by-synthesis approach that combines deep music representation learning with user studies. Such an approach enables us to discover \textit{interpretable} representation mapping without a huge amount of paired data. In particular, we discover that visual-to-music mapping has a nice property similar to equivariant. In other words, we can use various image transformations, say, changing brightness, changing contrast, style transfer, to control the corresponding transformations in the music domain. In addition, we released the Vis2Mus system as a controllable interface for symbolic music generation.
translated by 谷歌翻译
我们可以根据流行歌曲的音频自动推导钢琴伴奏的分数吗？这是我们在本文中解决的音频到符号排列问题。一个良好的安排模型不仅要考虑音频内容，还要先前了解钢琴组成（使得生成“听起来像”音频且同时保持音乐性。）到目前为止，我们贡献了跨模型表示学习模型，其中1）从音频提取和弦和旋律信息，2）从音频和损坏的地面真理安排中了解纹理表示。我们进一步介绍了定制的培训策略，逐渐将纹理信息的来源从损坏的分数转移到音频。最后，基于分数的纹理后部减少到标准的正态分布，并且只需要音频进行推断。实验表明，我们的模型捕获了主要音频信息和优于代质量的基线。
translated by 谷歌翻译
我们提出了循环式的舞蹈风格转移系统，该系统将以一种舞蹈方式将现有的运动剪辑转换为另一种舞蹈风格的运动剪辑，同时试图保留舞蹈的运动背景。我们的方法扩展了现有的自行车结构，用于建模音频序列，并集成多模式变压器编码器以说明音乐上下文。我们采用基于序列长度的课程学习来稳定培训。我们的方法捕获了运动框架之间丰富而长期的内部关系，这是运动转移和合成工作中的普遍挑战。我们进一步介绍了在舞蹈运动的背景下衡量转移力量和内容保存的新指标。我们进行了一项广泛的消融研究以及一项人类研究，其中包括30名具有5年或更长时间的舞蹈经验的参与者。结果表明，循环量会以目标样式产生逼真的运动，从而在自然性，传递强度和内容保存上明显优于基线周期。
translated by 谷歌翻译
最近的生成模型的成功表明，利用多模态嵌入空间可以使用文本信息操纵图像。然而，由于源的动态特性，使用其他来源而不是声音的文本来操纵图像，而不是声音，并不容易。特别是，声音可以传达真实世界的生动情感和动态表达。在这里，我们提出了一个框架，该框架将声音直接编码为多模态（图像文本）嵌入空间，并从空间操纵图像。我们的音频编码器受过培训以产生来自音频输入的潜在表示，该音频输入被强制与多模式嵌入空间中的图像和文本表示对齐。我们使用基于对齐的嵌入式的直接潜在优化方法进行声音引导图像操纵。我们还表明，我们的方法可以混合文本和音频模态，这丰富了各种图像修改。我们验证了定量和定性的声音引导图像操纵的有效性。我们还表明，我们的方法可以混合不同的模态，即文本和音频，这丰富了图像修改的各种。零射频分类和语义级图像分类的实验表明，我们所提出的模型优于其他文本和声音引导最先进的方法。
translated by 谷歌翻译
现有的神经样式传输方法需要参考样式图像来将样式图像的纹理信息传输到内容图像。然而，在许多实际情况中，用户可能没有参考样式图像，但仍然有兴趣通过想象它们来传输样式。为了处理此类应用程序，我们提出了一个新的框架，它可以实现样式转移`没有'风格图像，但仅使用所需风格的文本描述。使用预先训练的文本图像嵌入模型的剪辑，我们仅通过单个文本条件展示了内容图像样式的调制。具体而言，我们提出了一种针对现实纹理传输的多视图增强的修补程序文本图像匹配丢失。广泛的实验结果证实了具有反映语义查询文本的现实纹理的成功图像风格转移。
translated by 谷歌翻译
抒情的解释可以帮助人们快速理解歌曲及其歌词，还可以使管理，检索和发现音乐档案不断增长，从而更加容易地检索和发现歌曲。在本文中，我们提出了Bart-Fusion，这是一种新型模型，用于从歌词和音乐音频中生成歌词解释，该模型将大规模的预训练的语言模型与音频编码器结合在一起。我们采用跨模式注意模块将音频表示形式纳入歌词表示形式，以帮助预先训练的语言模型从音频的角度了解歌曲，同时保留语言模型的原始生成性能。我们还发布了歌曲解释数据集，这是一个新的大型数据集，用于培训和评估我们的模型。实验结果表明，其他音频信息有助于我们的模型更好地理解单词和音乐，并产生精确和流利的解释。跨模式音乐检索的另一个实验表明，巴特融合产生的解释也可以帮助人们比原始的巴特更准确地检索音乐。
translated by 谷歌翻译
最近的成功表明，可以通过文本提示来操纵图像，例如，在雨天的晴天，在雨天中被操纵到同一场景中，这是由文本输入“下雨”驱动的雨天。这些方法经常利用基于样式的图像生成器，该生成器利用多模式（文本和图像）嵌入空间。但是，我们观察到，这种文本输入通常在提供和综合丰富的语义提示时被瓶颈瓶颈，例如将大雨与雨雨区分开。为了解决这个问题，我们主张利用另一种方式，声音，在图像操纵中具有显着优势，因为它可以传达出比文本更多样化的语义提示（生动的情感或自然世界的动态表达）。在本文中，我们提出了一种新颖的方法，该方法首先使用声音扩展了图像文本接头嵌入空间，并应用了一种直接的潜在优化方法来根据音频输入（例如雨的声音）操纵给定的图像。我们的广泛实验表明，我们的声音引导的图像操纵方法在语义和视觉上比最先进的文本和声音引导的图像操纵方法产生更合理的操作结果，这通过我们的人类评估进一步证实。我们的下游任务评估还表明，我们学到的图像文本单嵌入空间有效地编码声音输入。
translated by 谷歌翻译
本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。
translated by 谷歌翻译
草图在快速执行的徒手绘图时会形成直观而有力的视觉表达。我们提出了一种从场景草图中综合现实照片的方法。不需要草图和照片对，我们的框架直接以无监督的方式从随时可用的大型照片数据集中学习。为此，我们引入了一个标准化模块，该模块在训练期间通过将照片和草图转换为标准化域，即边缘地图，从而提供伪素描 - 光谱对。草图和照片之间的域间隙减少也使我们可以将它们分为两个组成部分：整体场景结构和低级视觉样式，例如颜色和纹理。利用这一优势，我们通过结合草图的结构和参考照片的视觉样式来合成照片真实的图像。关于感知相似性指标和人类感知研究的广泛实验结果表明，该方法可以从场景草图和跑赢大于最先进的照片合成基准中产生逼真的照片。我们还证明，我们的框架通过编辑相应草图的笔触来促进对照片综合的可控操作，从而比依赖于区域级编辑的以前的方法提供了更多细粒度的细节。
translated by 谷歌翻译
随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得
translated by 谷歌翻译
扩散概率模型（DPM）由于其有希望的结果和对跨模式合成的支持，已成为有条件产生的流行方法。条件合成中的一个关键逃亡者是在条件输入和生成的输出之间实现高对应。大多数现有方法通过将先验纳入变异下限中，隐含地学习了这种关系。在这项工作中，我们采用了另一条路线 - 我们通过使用对比度学习来最大化其共同信息来增强输入输出连接。为此，我们引入了有条件的离散对比扩散（CDCD）损失，并设计了两种对比扩散机制，以有效地将其纳入剥离过程中。我们通过将CDCD与传统的变分目标联系起来来制定CDCD。我们证明了我们的方法在三种多种多样的条件合成任务中的评估中的功效：舞蹈到音乐的生成，文本到图像综合和班级调节图像综合。在每个方面，我们达到最新的或更高的合成质量并提高输入输出对应关系。此外，提出的方法改善了扩散模型的收敛性，将所需扩散步骤的数量减少了两个基准的35％以上，从而大大提高了推理速度。
translated by 谷歌翻译
The mechanism of existing style transfer algorithms is by minimizing a hybrid loss function to push the generated image toward high similarities in both content and style. However, this type of approach cannot guarantee visual fidelity, i.e., the generated artworks should be indistinguishable from real ones. In this paper, we devise a new style transfer framework called QuantArt for high visual-fidelity stylization. QuantArt pushes the latent representation of the generated artwork toward the centroids of the real artwork distribution with vector quantization. By fusing the quantized and continuous latent representations, QuantArt allows flexible control over the generated artworks in terms of content preservation, style similarity, and visual fidelity. Experiments on various style transfer settings show that our QuantArt framework achieves significantly higher visual fidelity compared with the existing style transfer methods.
translated by 谷歌翻译
With the prevalence of stream media platforms serving music search and recommendation, interpreting music by understanding audio and lyrics interactively has become an important and challenging task. However, many previous works focus on refining individual components of encoder-decoder architecture mapping music to caption tokens, ignoring the potential usage of audio and lyrics correspondence. In this paper, we propose to explicitly learn the multi-modal alignment with retrieval augmentation by contrastive learning. By learning audio-lyrics correspondence, the model is guided to learn better cross-modal attention weights, thus generating high-quality caption words. We provide both theoretical and empirical results that demonstrate the advantage of the proposed method.
translated by 谷歌翻译
传统上，音乐标记和基于内容的检索系统是使用预定的本体论构建的，涵盖了一组刚性的音乐属性或文本查询。本文介绍了Mulan：首次尝试新一代的声学模型，这些模型将音乐音频直接与无约束的自然语言描述联系起来。Mulan采用了两座联合音频文本嵌入模型的形式，该模型使用4400万张音乐录音（37万小时）和弱相关的自由形式文本注释训练。通过与广泛的音乐流派和文本样式（包括传统的音乐标签）的兼容性，由此产生的音频文本表示形式涵盖了现有的本体论，同时又毕业至真正的零击功能。我们通过一系列实验演示了Mulan嵌入的多功能性，包括转移学习，零照片标记，音乐域中的语言理解以及跨模式检索应用程序。
translated by 谷歌翻译
在本文中，我们为音乐驱动的舞蹈运动综合构成了一个新颖的框架，并具有可控的关键姿势约束。与仅基于音乐生成舞蹈运动序列的方法相反，该工作的目标是综合由音乐驱动的高质量舞蹈运动以及用户执行的定制姿势。我们的模型涉及两个用于音乐和运动表示形式的单模式变压器编码器，以及用于舞蹈动作生成的跨模式变压器解码器。跨模式变压器解码器可以通过引入局部邻居位置嵌入来使其合成平滑舞蹈运动序列合成平滑舞蹈运动序列的能力。这种机制使解码器对关键姿势和相应位置更加敏感。我们的舞蹈合成模型通过广泛的实验在定量和定性评估上取得了令人满意的表现，这证明了我们提出的方法的有效性。
translated by 谷歌翻译
我们提出了Tile2tile，这是一种基于瓷砖平台游戏级别之间的样式转移方法。我们的方法涉及培训模型，这些模型将基于瓷砖提供的低分辨率草图表示的水平转化为给定游戏的原始瓷砖表示。这使这些模型（我们称为过滤器）可以将级别的草图转换为特定游戏的样式。此外，通过将一个游戏的水平转换为草图形式，然后将结果草图转换为另一个游戏的瓷砖，我们获得了两种游戏之间的样式传输方法。我们使用Markov随机字段和自动编码器来学习游戏过滤器，并将其应用于Super Mario Bros，Kid Icarus，Mega Man和Metroid之间的样式转移。
translated by 谷歌翻译
文本样式传输是自然语言生成中的重要任务，旨在控制生成的文本中的某些属性，例如礼貌，情感，幽默和许多其他特性。它在自然语言处理领域拥有悠久的历史，最近由于深神经模型带来的有希望的性能而重大关注。在本文中，我们对神经文本转移的研究进行了系统调查，自2017年首次神经文本转移工作以来跨越100多个代表文章。我们讨论了任务制定，现有数据集和子任务，评估，以及丰富的方法在存在并行和非平行数据存在下。我们还提供关于这项任务未来发展的各种重要主题的讨论。我们的策据纸张列表在https://github.com/zhijing-jin/text_style_transfer_survey
translated by 谷歌翻译
舞蹈需要熟练的复杂动作，遵循音乐的节奏，音调和音色特征。正式地，在一段音乐上产生的舞蹈可以表达为建模高维连续运动信号的问题，该信号以音频信号为条件。在这项工作中，我们为解决这个问题做出了两项贡献。首先，我们提出了一种新颖的概率自回归体系结构，该体系结构使用多模式变压器编码器以先前的姿势和音乐背景为条件，以正常的流程为标准化姿势。其次，我们介绍了目前最大的3D舞蹈动机数据集，该数据集通过各种运动捕捉技术获得，包括专业和休闲舞者。使用此数据集，我们通过客观指标和一个用户研究将新模型与两个基准进行比较，并表明建模概率分布的能力以及能够通过大型运动和音乐背景进行的能力是必要的产生与音乐相匹配的有趣，多样和现实的舞蹈。
translated by 谷歌翻译
我们提出了一种为给定视频推荐音乐曲目的方法，反之亦然，基于它们的时间对齐及其在艺术层面上的信件。我们提出了一种自我监督的方法，该方法直接从数据中学习了这一对应，而无需任何人类注释。为了捕获解决任务所需的高级概念，我们建议使用每种模式的变压器网络对视频和音乐信号的长期时间上下文进行建模。实验表明，这种方法强烈胜过不利用时间上下文的替代方案。我们的贡献的结合提高了先前最高现状的检索准确性高达10倍。这种强大的改进使我们能够引入广泛的分析和应用。例如，我们可以根据视觉定义的属性来调节音乐检索。
translated by 谷歌翻译
近年来，文本的风格特性吸引了计算语言学研究人员。具体来说，研究人员研究了文本样式转移（TST）任务，该任务旨在在保留其样式独立内容的同时改变文本的风格属性。在过去的几年中，已经开发了许多新颖的TST算法，而该行业利用这些算法来实现令人兴奋的TST应用程序。由于这种共生，TST研究领域迅速发展。本文旨在对有关文本样式转移的最新研究工作进行全面审查。更具体地说，我们创建了一种分类法来组织TST模型，并提供有关最新技术状况的全面摘要。我们回顾了针对TST任务的现有评估方法，并进行了大规模的可重复性研究，我们在两个公开可用的数据集上实验基准了19个最先进的TST TST算法。最后，我们扩展了当前趋势，并就TST领域的新开发发展提供了新的观点。
translated by 谷歌翻译