本文介绍了DCT-NET，这是一种新颖的图像翻译体系结构，可用于几张肖像风格。给定有限的样式示例（$ \ sim $ 100），新的体系结构可以产生高质量的样式转移结果，具有先进的能力，可以合成高保真内容和强大的一般性来处理复杂的场景（例如，遮挡和配件）。此外，它可以通过一个由部分观察（即风格化的头）训练的优雅评估网络启用全身图像翻译。几乎没有基于学习的样式转移是具有挑战性的，因为由于仅由少数几个培训示例形成的偏见分布，学到的模型很容易在目标域中过度拟合。本文旨在通过采用“首先校准，稍后翻译”的关键思想来应对挑战，并以本地注重的翻译探索增强的全球结构。具体而言，所提出的DCT-NET由三个模块组成：一个内容适配器从源照片借用功能的先验来校准目标样本的内容分布；使用仿射变换来释放空间语义约束的几何扩展模块；以及通过校准分布产生的样品的质地翻译模块学习细粒的转换。实验结果证明了所提出的方法在头部风格化方面具有优势及其对具有自适应变形的完整图像翻译的有效性。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

生成高质量的艺术肖像视频是计算机图形和愿景中的一项重要且理想的任务。尽管已经提出了一系列成功的肖像图像图像模型模型，但这些面向图像的方法在应用于视频（例如固定框架尺寸，面部对齐的要求，缺失的非种族细节和缺失的非种族细节和缺失的要求）时，具有明显的限制。时间不一致。在这项工作中，我们通过引入一个新颖的Vtoonify框架来研究具有挑战性的可控高分辨率肖像视频风格转移。具体而言，Vtoonify利用了Stylegan的中高分辨率层，以基于编码器提取的多尺度内容功能来渲染高质量的艺术肖像，以更好地保留框架细节。由此产生的完全卷积体系结构接受可变大小的视频中的非对齐面孔作为输入，从而有助于完整的面部区域，并在输出中自然动作。我们的框架与现有的基于Stylegan的图像图像模型兼容，以将其扩展到视频化，并继承了这些模型的吸引力，以进行柔性风格控制颜色和强度。这项工作分别为基于收藏和基于示例的肖像视频风格转移而建立在Toonify和DualStylegan的基于Toonify和Dualstylegan的Vtoonify的两个实例化。广泛的实验结果证明了我们提出的VTOONIFY框架对现有方法的有效性在生成具有灵活风格控件的高质量和临时艺术肖像视频方面的有效性。

Figure 1. The proposed pixel2style2pixel framework can be used to solve a wide variety of image-to-image translation tasks. Here we show results of pSp on StyleGAN inversion, multi-modal conditional image synthesis, facial frontalization, inpainting and super-resolution.

This paper presents a portrait stylization method designed for real-time mobile applications with limited style examples available. Previous learning based stylization methods suffer from the geometric and semantic gaps between portrait domain and style domain, which obstacles the style information to be correctly transferred to the portrait images, leading to poor stylization quality. Based on the geometric prior of human facial attributions, we propose to utilize geometric alignment to tackle this issue. Firstly, we apply Thin-Plate-Spline (TPS) on feature maps in the generator network and also directly to style images in pixel space, generating aligned portrait-style image pairs with identical landmarks, which closes the geometric gaps between two domains. Secondly, adversarial learning maps the textures and colors of portrait images to the style domain. Finally, geometric aware cycle consistency preserves the content and identity information unchanged, and deformation invariant constraint suppresses artifacts and distortions. Qualitative and quantitative comparison validate our method outperforms existing methods, and experiments proof our method could be trained with limited style examples (100 or less) in real-time (more than 40 FPS) on mobile devices. Ablation study demonstrates the effectiveness of each component in the framework.

由于其语义上的理解和用户友好的可控性，通过三维引导，通过三维引导的面部图像操纵已广泛应用于各种交互式场景。然而，现有的基于3D形式模型的操作方法不可直接适用于域名面，例如非黑色素化绘画，卡通肖像，甚至是动物，主要是由于构建每个模型的强大困难具体面部域。为了克服这一挑战，据我们所知，我们建议使用人为3DMM操纵任意域名的第一种方法。这是通过两个主要步骤实现的：1）从3DMM参数解开映射到潜在的STYLEGO2的潜在空间嵌入，可确保每个语义属性的解除响应和精确的控制; 2）通过实施一致的潜空间嵌入，桥接域差异并使人类3DMM适用于域外面的人类3DMM。实验和比较展示了我们高质量的语义操作方法在各种面部域中的优越性，所有主要3D面部属性可控姿势，表达，形状，反照镜和照明。此外，我们开发了直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是https://cassiepython.github.io/cddfm3d/index.html

在本文中，我们调查了一项开放的研究任务，该任务是从单个2D GAN产生人体面部且没有3D监督的3D卡通面部形状，在那里我们还可以操纵3D形状的面部表情。为此，我们发现了Stylegan潜在空间的语义含义，因此我们能够通过控制潜在代码来产生各种表达式，姿势和照明的面部图像。具体而言，我们首先对卡通数据集中预验证的Stylegan脸部模型进行了修复。通过将相同的潜在代码喂入面部和卡通生成模型，我们的目标是实现从2D人脸图像到卡通风格的化身的翻译。然后，我们发现了甘恩潜在空间的语义方向，以试图在保留原始身份的同时改变面部表情。由于我们没有任何针对卡通脸的3D注释，因此我们操纵潜在代码以生成具有不同姿势和照明的图像，以便我们可以重建3D卡通脸部形状。我们在定性和定量上验证了方法在三个卡通数据集上的疗效。

深层生成模型通过自动化基于收集的数据集的多样性，现实内容的综合，使新手用户更容易访问视觉内容。但是，当前的机器学习方法错过了创作过程的关键要素 - 综合远远超出数据分配和日常体验的东西的能力。为了开始解决此问题，我们可以通过仅编辑一些具有所需几何变化的原始模型输出来“扭曲”给定模型。我们的方法将低级更新应用于单个模型层以重建编辑的示例。此外，为了打击过度拟合，我们建议一种基于样式混合的潜在空间增强方法。我们的方法允许用户创建一个模型，该模型可以通过定义的几何更改合成无尽的对象，从而可以创建新的生成模型，而无需策划大规模数据集。我们还证明可以组成编辑的模型以实现汇总效果，并提出了一个交互式界面，以使用户能够通过组合创建新的模型。对多个测试案例的经验测量表明，我们方法对最近的GAN微调方法的优势。最后，我们使用编辑的模型展示了多个应用程序，包括潜在空间插值和图像编辑。

In this work, we propose TediGAN, a novel framework for multi-modal image generation and manipulation with textual descriptions. The proposed method consists of three components: StyleGAN inversion module, visual-linguistic similarity learning, and instance-level optimization. The inversion module maps real images to the latent space of a well-trained StyleGAN. The visual-linguistic similarity learns the text-image matching by mapping the image and text into a common embedding space. The instancelevel optimization is for identity preservation in manipulation. Our model can produce diverse and high-quality images with an unprecedented resolution at 1024 2 . Using a control mechanism based on style-mixing, our Tedi-GAN inherently supports image synthesis with multi-modal inputs, such as sketches or semantic labels, with or without instance guidance. To facilitate text-guided multimodal synthesis, we propose the Multi-Modal CelebA-HQ, a large-scale dataset consisting of real face images and corresponding semantic segmentation map, sketch, and textual descriptions. Extensive experiments on the introduced dataset demonstrate the superior performance of our proposed method. Code and data are available at https://github.com/weihaox/TediGAN.

随着信息中的各种方式存在于现实世界中的各种方式，多式联信息之间的有效互动和融合在计算机视觉和深度学习研究中的多模式数据的创造和感知中起着关键作用。通过卓越的功率，在多式联运信息中建模互动，多式联运图像合成和编辑近年来已成为一个热门研究主题。与传统的视觉指导不同，提供明确的线索，多式联路指南在图像合成和编辑方面提供直观和灵活的手段。另一方面，该领域也面临着具有固有的模态差距的特征的几个挑战，高分辨率图像的合成，忠实的评估度量等。在本调查中，我们全面地阐述了最近多式联运图像综合的进展根据数据模型和模型架构编辑和制定分类。我们从图像合成和编辑中的不同类型的引导方式开始介绍。然后，我们描述了多模式图像综合和编辑方法，其具有详细的框架，包括生成的对抗网络（GAN），GaN反转，变压器和其他方法，例如NERF和扩散模型。其次是在多模式图像合成和编辑中广泛采用的基准数据集和相应的评估度量的综合描述，以及分析各个优点和限制的不同合成方法的详细比较。最后，我们为目前的研究挑战和未来的研究方向提供了深入了解。与本调查相关的项目可在HTTPS://github.com/fnzhan/mise上获得

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

鉴于输入面部照片，漫画生成的目标是生产风格化，夸张的漫画，与照片共享与相同的身份。它需要同时传输和形状夸张，具有丰富的多样性，同时保留输入的身份。为了解决这一具有挑战性的问题，我们提出了一种名为Multi-Warping GaN（MW-GAN）的新型框架，包括风格网络和几何网络，旨在分别进行样式传输和几何夸张。我们通过双向设计弥合图像的风格和地标之间的差距，并通过双向设计来生成具有任意样式和几何夸张的漫画，可以通过潜在代码或给定的随机采样来指定漫画样本。此外，我们对图像空间和地标空间施加身份保持损失，导致产生漫画的质量的巨大改善。实验表明，由MW-GaN产生的漫画具有比现有方法更好的质量。

以前的纵向图像生成方法大致分为两类：2D GAN和3D感知的GAN。 2D GAN可以产生高保真肖像，但具有低视图一致性。 3D感知GaN方法可以维护查看一致性，但它们所生成的图像不是本地可编辑的。为了克服这些限制，我们提出了FENERF，一个可以生成查看一致和本地可编辑的纵向图像的3D感知生成器。我们的方法使用两个解耦潜码，以在具有共享几何体的空间对齐的3D卷中生成相应的面部语义和纹理。从这种底层3D表示中受益，FENERF可以联合渲染边界对齐的图像和语义掩码，并使用语义掩模通过GaN反转编辑3D音量。我们进一步示出了可以从广泛可用的单手套图像和语义面膜对中学习这种3D表示。此外，我们揭示了联合学习语义和纹理有助于产生更精细的几何形状。我们的实验表明FENERF在各种面部编辑任务中优于最先进的方法。

在本文中，我们解决了神经面部重演的问题，鉴于一对源和目标面部图像，我们需要通过将目标的姿势（定义为头部姿势及其面部表情定义）通过同时保留源的身份特征（例如面部形状，发型等），即使在源头和目标面属于不同身份的挑战性情况下也是如此。在此过程中，我们解决了最先进作品的一些局限在推理期间标记的数据以及c）它们不保留大型头部姿势变化中的身份。更具体地说，我们提出了一个框架，该框架使用未配对的随机生成的面部图像学会通过合并最近引入的样式空间$ \ Mathcal $ \ Mathcal {S} $ of Stylegan2的姿势，以将面部的身份特征从其姿势中解脱出来表现出显着的分解特性。通过利用这一点，我们学会使用3D模型的监督成功地混合了一对源和目标样式代码。随后用于重新制定的最终潜在代码由仅与源的面部姿势相对应的潜在单位和仅与源身份相对应的单位组成，从而显着改善了与最近的状态性能相比的重新制定性能。艺术方法。与艺术的状态相比，我们定量和定性地表明，即使在极端的姿势变化下，提出的方法也会产生更高的质量结果。最后，我们通过首先将它们嵌入预告片发电机的潜在空间来报告实际图像。我们在：https：//github.com/stelabou/stylemask上公开提供代码和预估计的模型

这项工作旨在将在一个图像域上预先训练的生成的对抗网络（GaN）转移到新域名，其仅仅是只有一个目标图像。主要挑战是，在有限的监督下，综合照片现实和高度多样化的图像非常困难，同时获取目标的代表性。不同于采用Vanilla微调策略的现有方法，我们分别将两个轻量级模块导入发电机和鉴别器。具体地，我们将属性适配器引入发电机中冻结其原始参数，通过该参数，它可以通过其重复利用现有知识，因此保持合成质量和多样性。然后，我们用一个属性分类器装备了学习良好的鉴别器骨干，以确保生成器从引用中捕获相应的字符。此外，考虑到培训数据的多样性差（即，只有一个图像），我们建议在培训过程中建议在生成域中的多样性限制，减轻优化难度。我们的方法在各种环境下提出了吸引力的结果，基本上超越了最先进的替代方案，特别是在合成多样性方面。明显的是，我们的方法即使具有大域间隙，并且在几分钟内为每个实验提供鲁棒地收敛。

可以训练生成模型，以从特定域中生成图像，仅由文本提示引导，而不看到任何图像？换句话说：可以将图像生成器“盲目地训练”吗？利用大规模对比语言图像预训练（CLIP）模型的语义力量，我们提出了一种文本驱动方法，允许将生成模型转移到新域，而无需收集单个图像。我们展示通过自然语言提示和几分钟的培训，我们的方法可以通过各种风格和形状的多种域调整发电机。值得注意的是，许多这些修改难以与现有方法达到困难或完全不可能。我们在广泛的域中进行了广泛的实验和比较。这些证明了我们方法的有效性，并表明我们的移动模型保持了对下游任务吸引的生成模型的潜在空间属性。

在这项工作中，我们提出了叙述，这是一种新颖的管道，可以以逼真的方式同时编辑肖像照明和观点。作为一种混合神经形态的面部模型，叙述了几何学感知生成方法和正常辅助物理面部模型的互补益处。简而言之，叙述首先将输入肖像转变为粗糙的几何形状，并采用神经渲染来产生类似于输入的图像，并产生令人信服的姿势变化。但是，反演步骤引入了不匹配，带来了较少面部细节的低质量图像。因此，我们进一步估计了师范的肖像，以增强粗糙的几何形状，从而创建高保真的物理面部模型。特别是，我们融合了神经和身体渲染，以补偿不完善的反转，从而产生了现实和视图一致的新颖透视图像。在重新阶段，以前的作品着重于单一视图肖像重新审议，但也忽略了不同观点之间的一致性，引导不稳定和不一致的照明效果以进行视图变化。我们通过将其多视图输入正常地图与物理面部模型统一，以解决此问题。叙事通过一致的正常地图进行重新进行重新，施加了跨视图的约束并表现出稳定且连贯的照明效果。我们在实验上证明，叙述在先前的工作中取得了更现实的，可靠的结果。我们进一步使用动画和样式转移工具进行介绍，从而分别或组合姿势变化，灯光变化，面部动画和样式转移，所有这些都以摄影质量为单位。我们展示了生动的自由视图面部动画以及3D感知可靠的风格化，可帮助促进各种AR/VR应用程序，例如虚拟摄影，3D视频会议和后期制作。

我们为一个拍摄域适应提供了一种新方法。我们方法的输入是训练的GaN，其可以在域B中产生域A和单个参考图像I_B的图像。所提出的算法可以将训练的GaN的任何输出从域A转换为域B.我们的主要优点有两个主要优点方法与当前现有技术相比：首先，我们的解决方案实现了更高的视觉质量，例如通过明显减少过度装箱。其次，我们的解决方案允许更多地控制域间隙的自由度，即图像I_B的哪些方面用于定义域B.从技术上讲，我们通过在预先训练的样式生成器上建立新方法作为GaN和A用于代表域间隙的预先训练的夹模型。我们提出了几种新的常规程序来控制域间隙，以优化预先训练的样式生成器的权重，以输出域B中的图像而不是域A.常规方法防止优化来自单个参考图像的太多属性。我们的结果表明，对现有技术的显着视觉改进以及突出了改进控制的多个应用程序。

近年来，双相面孔皮草草图合成的显着进展随着生成的对抗性网络（GAN）的发展。双相面孔光学素材合成可以应用于数字娱乐和执法等宽范围的领域。然而，由于实际场景中的草图和复杂的照片变化，产生现实照片和不同的草图遭受了极大的挑战。为此，我们提出了一种新颖的语义驱动生成的对抗网络来解决上述问题，与图形表示学习合作。具体而言，我们将Class-Wise语义布局注入发电机以提供基于样式的空间监督，用于合成面部照片和草图。此外，为了提高生成的结果的保真度，我们利用语义布局来构造两种类型的代表性图，该图表示综合图像的类内语义特征和级别的结构特征。此外，我们基于所提出的代表性图设计了两种类型的约束，其便于保存生成的面部照片和草图中的细节。此外，为了进一步增强合成图像的感知质量，我们提出了一种新的双相培训策略，致力于通过迭代周期培训来细化所产生的结果。在CUFS和CUFSF数据集上进行了广泛的实验，以证明我们提出的方法实现了最先进的性能的突出能力。

基于生成神经辐射场（GNERF）基于生成神经辐射场（GNERF）的3D感知gan已达到令人印象深刻的高质量图像产生，同时保持了强3D一致性。最显着的成就是在面部生成领域中取得的。但是，这些模型中的大多数都集中在提高视图一致性上，但忽略了分离的方面，因此这些模型无法提供高质量的语义/属性控制对生成。为此，我们引入了一个有条件的GNERF模型，该模型使用特定属性标签作为输入，以提高3D感知生成模型的控制能力和解散能力。我们利用预先训练的3D感知模型作为基础，并集成了双分支属性编辑模块（DAEM），该模块（DAEM）利用属性标签来提供对生成的控制。此外，我们提出了一个Triot（作为INIT的训练，并针对调整进行优化），以优化潜在矢量以进一步提高属性编辑的精度。广泛使用的FFHQ上的广泛实验表明，我们的模型在保留非目标区域的同时产生具有更好视图一致性的高质量编辑。该代码可在https://github.com/zhangqianhui/tt-gnerf上找到。