基于参考的线路上色是计算机视觉中的一项具有挑战性的任务。颜色，纹理和阴影是根据抽象草图渲染的，该草图在很大程度上依赖于草图和参考之间的精确远程依赖模型。桥接跨模式信息并建模远程依赖性的流行技术采用了注意机制。但是，在基于参考的线路颜色化的背景下，几种技术将加剧现有的注意力训练困难，例如，自我监督的培训方案和基于GAN的损失。为了了解训练的不稳定，我们检测到注意力的梯度流并观察到注意力分支之间的梯度冲突。这种现象激发了我们通过在消除冲突阶段的同时保留主导梯度分支来减轻梯度问题。我们提出了一种使用这种训练策略，定格梯度注意（SGA）的新型注意机制，通过较大的边缘和更好的训练稳定性优于基线。与最新的线艺术色彩中的最新模块相比，我们的方法表明，FR \'Echet Inception距离（FID，最高27.21％）和结构相似性指数量度（SSIM，高达25.67％）的显着改善。几个基准。 SGA代码可从https://github.com/kunkun0w0/sga获得。

Automatic colorization of anime line drawing has attracted much attention in recent years since it can substantially benefit the animation industry. User-hint based methods are the mainstream approach for line drawing colorization, while reference-based methods offer a more intuitive approach. Nevertheless, although reference-based methods can improve feature aggregation of the reference image and the line drawing, the colorization results are not compelling in terms of color consistency or semantic correspondence. In this paper, we introduce an attention-based model for anime line drawing colorization, in which a channel-wise and spatial-wise Convolutional Attention module is used to improve the ability of the encoder for feature extraction and key area perception, and a Stop-Gradient Attention module with cross-attention and self-attention is used to tackle the cross-domain long-range dependency problem. Extensive experiments show that our method outperforms other SOTA methods, with more accurate line structure and semantic color information.

Automatic font generation without human experts is a practical and significant problem, especially for some languages that consist of a large number of characters. Existing methods for font generation are often in supervised learning. They require a large number of paired data, which are labor-intensive and expensive to collect. In contrast, common unsupervised image-to-image translation methods are not applicable to font generation, as they often define style as the set of textures and colors. In this work, we propose a robust deformable generative network for unsupervised font generation (abbreviated as DGFont++). We introduce a feature deformation skip connection (FDSC) to learn local patterns and geometric transformations between fonts. The FDSC predicts pairs of displacement maps and employs the predicted maps to apply deformable convolution to the low-level content feature maps. The outputs of FDSC are fed into a mixer to generate final results. Moreover, we introduce contrastive self-supervised learning to learn a robust style representation for fonts by understanding the similarity and dissimilarities of fonts. To distinguish different styles, we train our model with a multi-task discriminator, which ensures that each style can be discriminated independently. In addition to adversarial loss, another two reconstruction losses are adopted to constrain the domain-invariant characteristics between generated images and content images. Taking advantage of FDSC and the adopted loss functions, our model is able to maintain spatial information and generates high-quality character images in an unsupervised manner. Experiments demonstrate that our model is able to generate character images of higher quality than state-of-the-art methods.

人物图像的旨在在源图像上执行非刚性变形，这通常需要未对准数据对进行培训。最近，自我监督的方法通过合并自我重建的解除印章表达来表达这项任务的巨大前景。然而，这些方法未能利用解除戒断功能之间的空间相关性。在本文中，我们提出了一种自我监督的相关挖掘网络（SCM-NET）来重新排列特征空间中的源图像，其中两种协作模块是集成的，分解的样式编码器（DSE）和相关挖掘模块（CMM）。具体地，DSE首先在特征级别创建未对齐的对。然后，CMM建立用于特征重新排列的空间相关领域。最终，翻译模块将重新排列的功能转换为逼真的结果。同时，为了提高跨尺度姿态变换的保真度，我们提出了一种基于曲线图的体结构保持损失（BSR损耗），以保持半体上的合理的身体结构到全身。与Deepfashion DataSet进行的广泛实验表明了与其他监督和无监督和无监督的方法相比的方法的优势。此外，对面部的令人满意的结果显示了我们在其他变形任务中的方法的多功能性。

旨在生成新的字体的几个示例字体（FFG），由于劳动力成本的显着降低，它引起了人们的关注。典型的FFG管道将标准字体库中的字符视为内容字形，并通过从参考字形中提取样式信息将其转移到新的目标字体中。大多数现有的解决方案明确地删除了全球或组件的参考字形的内容和参考字形的样式。但是，字形的风格主要在于当地细节，即激进，组件和笔触的风格一起描绘了雕文的样式。因此，即使是单个字符也可以包含在空间位置分布的不同样式。在本文中，我们通过学习提出了一种新的字体生成方法1）参考文献中的细粒度局部样式，以及2）内容和参考文字之间的空间对应关系。因此，内容字形中的每个空间位置都可以使用正确的细粒样式分配。为此，我们对内容字形的表示作为查询和参考字形表示作为键和值的跨注意。交叉注意机制无需明确地删除全球或组件建模，而是可以在参考文字中遵循正确的本地样式，并将参考样式汇总为给定内容字形的精细粒度样式表示。实验表明，所提出的方法的表现优于FFG中最新方法。特别是，用户研究还证明了我们方法的样式一致性显着优于以前的方法。

人类姿势转移旨在将源人的外观转移到目标姿势。利用基于流量的非刚性人类图像的翘曲的现有方法取得了巨大的成功。然而，由于源和目标之间的空间相关性未充分利用，它们未能保留合成图像中的外观细节。为此，我们提出了基于流动的双重关注GaN（FDA-GaN），以应用于更高的发电质量的遮挡和变形感知功能融合。具体而言，可变形的局部注意力和流量相似性关注，构成双重关注机制，可以分别导出负责可变形和遮挡感知融合的输出特征。此外，为了维持传输的姿势和全球位置一致性，我们设计了一种姿势归一化网络，用于从目标姿势到源人员学习自适应标准化。定性和定量结果都表明，我们的方法在公共IPer和Deepfashion数据集中优于最先进的模型。

Automatic image colorization is a particularly challenging problem. Due to the high illness of the problem and multi-modal uncertainty, directly training a deep neural network usually leads to incorrect semantic colors and low color richness. Existing transformer-based methods can deliver better results but highly depend on hand-crafted dataset-level empirical distribution priors. In this work, we propose DDColor, a new end-to-end method with dual decoders, for image colorization. More specifically, we design a multi-scale image decoder and a transformer-based color decoder. The former manages to restore the spatial resolution of the image, while the latter establishes the correlation between semantic representations and color queries via cross-attention. The two decoders incorporate to learn semantic-aware color embedding by leveraging the multi-scale visual features. With the help of these two decoders, our method succeeds in producing semantically consistent and visually plausible colorization results without any additional priors. In addition, a simple but effective colorfulness loss is introduced to further improve the color richness of generated results. Our extensive experiments demonstrate that the proposed DDColor achieves significantly superior performance to existing state-of-the-art works both quantitatively and qualitatively. Codes will be made publicly available.

近年来，着色吸引了越来越多的兴趣。经典的基于参考的方法通常依靠外部颜色图像来获得合理的结果。检索此类示例不可避免地需要大型图像数据库或在线搜索引擎。最近的基于深度学习的方法可以自动以低成本为图像着色。但是，总是伴随着不满意的文物和不连贯的颜色。在这项工作中，我们提出了GCP颜色化，以利用预审前的生成对抗网络（GAN）封装的丰富和多样化的颜色先验进行自动着色。具体而言，我们首先通过GAN编码器“检索”匹配的功能（类似于示例），然后将这些功能与功能调制量合并到着色过程中。得益于强大的生成颜色先验（GCP）和精致的设计，我们的GCP颜色可以通过单个前向传球产生生动的颜色。此外，通过修改GAN潜在代码获得多样化的结果非常方便。 GCP颜色还继承了可解释的gan的功能，并可以通过穿过甘恩潜在空间来实现可控制和平滑的过渡。广泛的实验和用户研究表明，GCP颜色比以前的作品具有出色的性能。代码可在https://github.com/tothebeginning/gcp-colorization上找到。

可控的人图像合成任务可以通过对身体姿势和外观的明确控制来实现广泛的应用。在本文中，我们提出了一个基于跨注意的样式分布模块，该模块在源语义样式和目标姿势转移的目标姿势之间计算。该模块故意选择每个语义表示的样式，并根据目标姿势分配它们。交叉注意的注意力矩阵表达了目标姿势与所有语义的源样式之间的动态相似性。因此，可以利用它来从源图像路由颜色和纹理，并受到目标解析图的进一步限制，以实现更清晰的目标。同时，为了准确编码源外观，还添加了不同语义样式之间的自我注意力。我们的模型的有效性在姿势转移和虚拟的尝试任务上进行了定量和质量验证。

在本文中，我们提出了一种有效且有效的单级框架（Divergan），根据自然语言描述产生多样化，可粘性和语义一致的图像。 Divergan采用两种新颖的单词级注意模块，即通道关注模块（CAM）和像素 - 注意模块（PAM），这在允许网络允许将较大的权重分配给定句子中的每个单词的重要性与突出字，语义对齐的重要通道和像素。之后，引入了条件自适应实例层归一化（CADailn）以使语言提示嵌入的句子中的语言线索灵活地操纵形状和纹理的变化量，进一步改善视觉语义表示和帮助稳定训练。此外，开发了双剩余结构以保持更多原始的视觉功能，同时允许更深的网络，从而产生更快的收敛速度和更生动的细节。此外，我们建议将完全连接的层插入管道以解决缺乏多样性问题，因为我们观察到致密层会显着提高网络的生成能力，平衡低于之间的权衡尺寸随机潜代码有助于使用高维和文本上下文来强度特征映射的变体和调制模块。在第二个残差块之后插入线性层，实现最佳品种和质量。基准数据集的定性和定量结果都展示了我们的潜水员实现多样性的优越性，而不会损害质量和语义一致性。

未配对的图像到图像转换的目标是产生反映目标域样式的输出图像，同时保持输入源图像的不相关内容不变。但是，由于缺乏对现有方法的内容变化的关注，来自源图像的语义信息遭受翻译期间的降级。在论文中，为了解决这个问题，我们介绍了一种新颖的方法，全局和局部对齐网络（GLA-NET）。全局对齐网络旨在将输入图像从源域传输到目标域。要有效地这样做，我们通过使用MLP-MILLER基于MATY编码器将多元高斯分布的参数（均值和标准偏差）作为样式特征学习。要更准确地传输样式，我们在编码器中使用自适应实例归一化层，具有目标多功能高斯分布的参数作为输入。我们还采用正常化和可能性损失，以进一步降低领域差距并产生高质量的产出。另外，我们介绍了局部对准网络，该网络采用预磨平的自我监督模型来通过新颖的局部对准丢失来产生注意图，确保翻译网络专注于相关像素。在五个公共数据集上进行的广泛实验表明，我们的方法有效地产生比现有方法更锐利和更现实的图像。我们的代码可在https://github.com/ygjwd12345/glanet获得。

虽然大多数当前的图像支出都进行了水平外推，但我们研究了广义图像支出问题，这些问题将视觉上下文推断出给定图像周围的全面。为此，我们开发了一个新型的基于变压器的生成对抗网络，称为U-Transformer，能够扩展具有合理结构和细节的图像边界，即使是复杂的风景图像。具体而言，我们将生成器设计为嵌入流行的Swin Transformer块的编码器到二次结构。因此，我们的新型框架可以更好地应对图像远程依赖性，这对于广义图像支出至关重要。我们另外提出了U形结构和多视图时间空间预测网络，以增强图像自我重建以及未知的零件预测。我们在实验上证明，我们提出的方法可以为针对最新图像支出方法提供广义图像支出产生可吸引人的结果。

基于示例的基于彩色方法依赖于参考图像来为目标灰度图像提供合理的颜色。基于示例的颜色的关键和难度是在这两个图像之间建立准确的对应关系。以前的方法已经尝试构建这种对应关系，而是面临两个障碍。首先，使用用于计算对应的亮度通道是不准确的。其次，它们构建的密集信件引入了错误的匹配结果并提高了计算负担。为了解决这两个问题，我们提出了语义 - 稀疏的彩色网络（SSCN）以粗细的方式将全局图像样式和详细的语义相关颜色传输到灰度图像。我们的网络可以完全平衡全局和本地颜色，同时减轻了暧昧的匹配问题。实验表明，我们的方法优于定量和定性评估的现有方法，实现了最先进的性能。

文本对图像综合旨在从特定文本描述中生成光真逼真和语义一致的图像。与相应的图像和文本描述相比，由现成模型合成的图像通常包含有限的组件，从而降低了图像质量和文本 - 视觉一致性。为了解决这个问题，我们提出了一种新颖的视觉语言匹配策略，用于文本对图像综合，名为Vlmgan*，该策略介绍了一种双重视觉语言匹配机制，以增强图像质量和语义一致性。双视性匹配机制考虑了生成的图像与相应的文本描述之间的文本 - 视觉匹配，以及综合图像和真实图像之间的视觉视觉视觉一致约束。给定特定的文本描述，vlmgan*首先将其编码为文本特征，然后将它们馈送到基于双视觉匹配的生成模型中，以合成光合逼真的和文本的语义一致图像。此外，文本对图像合成的流行评估指标是从简单图像生成中借用的，该图像生成主要评估合成图像的现实和多样性。因此，我们引入了一个名为Vision语言匹配分数（VLMS）的度量标准，以评估文本对图像合成的性能，该分数可以考虑综合图像和描述之间的图像质量和语义一致性。所提出的双重多层视觉匹配策略可以应用于其他文本对图像合成方法。我们在两个受欢迎的基线上实现了此策略，这些基线用$ {\ text {vlmgan} _ {+\ text {attngan}}} $和$ {\ text {vlmgan} _ {+\ text {+\ text {+\ {+\ text {+\ text {dfgan}}} $ 。两个广泛使用的数据集的实验结果表明，该模型比其他最先进的方法实现了重大改进。

近年来，双相面孔皮草草图合成的显着进展随着生成的对抗性网络（GAN）的发展。双相面孔光学素材合成可以应用于数字娱乐和执法等宽范围的领域。然而，由于实际场景中的草图和复杂的照片变化，产生现实照片和不同的草图遭受了极大的挑战。为此，我们提出了一种新颖的语义驱动生成的对抗网络来解决上述问题，与图形表示学习合作。具体而言，我们将Class-Wise语义布局注入发电机以提供基于样式的空间监督，用于合成面部照片和草图。此外，为了提高生成的结果的保真度，我们利用语义布局来构造两种类型的代表性图，该图表示综合图像的类内语义特征和级别的结构特征。此外，我们基于所提出的代表性图设计了两种类型的约束，其便于保存生成的面部照片和草图中的细节。此外，为了进一步增强合成图像的感知质量，我们提出了一种新的双相培训策略，致力于通过迭代周期培训来细化所产生的结果。在CUFS和CUFSF数据集上进行了广泛的实验，以证明我们提出的方法实现了最先进的性能的突出能力。

有条件图像生成的最新方法受益于密集的监督，例如分割标签图，以实现高保真性。但是，很少探索使用密集的监督进行无条件的图像生成。在这里，我们探讨了密集监督在无条件生成中的功效，找到生成器特征图可以替代成本昂贵的语义标签图。从我们的经验证据来看，我们提出了一种新的生成器引导的鉴别剂正则化（GGDR），其中生成器的特征地图监督了歧视者在无条件生成中具有丰富的语义表示。具体而言，我们采用了一个U-NET架构进行鉴别器，该体系结构经过训练，可以预测发电机特征图作为输入的伪造图像。关于Mulitple数据集的广泛实验表明，我们的GGDR始终在定量和定性方面提高基线方法的性能。代码可从https://github.com/naver-ai/ggdr获得

深度学习方法在图像染色中优于传统方法。为了生成上下文纹理，研究人员仍在努力改进现有方法，并提出可以提取，传播和重建类似于地面真实区域的特征的模型。此外，更深层的缺乏高质量的特征传递机制有助于对所产生的染色区域有助于持久的像差。为了解决这些限制，我们提出了V-Linknet跨空间学习策略网络。为了改善语境化功能的学习，我们设计了一种使用两个编码器的损失模型。此外，我们提出了递归残留过渡层（RSTL）。 RSTL提取高电平语义信息并将其传播为下层。最后，我们将在与不同面具的同一面孔和不同面部面上的相同面上进行了比较的措施。为了提高图像修复再现性，我们提出了一种标准协议来克服各种掩模和图像的偏差。我们使用实验方法调查V-LinkNet组件。当使用标准协议时，在Celeba-HQ上评估时，我们的结果超越了现有技术。此外，我们的模型可以在Paris Street View上评估时概括良好，以及具有标准协议的Parume2数据集。

基于补丁的方法和深度网络已经采用了解决图像染色问题，具有自己的优势和劣势。基于补丁的方法能够通过从未遮盖区域搜索最近的邻居修补程序来恢复具有高质量纹理的缺失区域。但是，这些方法在恢复大缺失区域时会带来问题内容。另一方面，深度网络显示有希望的成果完成大区域。尽管如此，结果往往缺乏类似周围地区的忠诚和尖锐的细节。通过汇集两个范式中，我们提出了一种新的深度染色框架，其中纹理生成是由从未掩蔽区域提取的补丁样本的纹理记忆引导的。该框架具有一种新颖的设计，允许使用深度修复网络训练纹理存储器检索。此外，我们还介绍了贴片分配损失，以鼓励高质量的贴片合成。所提出的方法在三个具有挑战性的图像基准测试中，即地位，Celeba-HQ和巴黎街道视图数据集来说，该方法显示出质量和定量的卓越性能。

近年来，面部语义指导（包括面部地标，面部热图和面部解析图）和面部生成对抗网络（GAN）近年来已广泛用于盲面修复（BFR）。尽管现有的BFR方法在普通案例中取得了良好的性能，但这些解决方案在面对严重降解和姿势变化的图像时具有有限的弹性（例如，在现实世界情景中看起来右，左看，笑等）。在这项工作中，我们提出了一个精心设计的盲人面部修复网络，具有生成性面部先验。所提出的网络主要由非对称编解码器和stylegan2先验网络组成。在非对称编解码器中，我们采用混合的多路残留块（MMRB）来逐渐提取输入图像的弱纹理特征，从而可以更好地保留原始面部特征并避免过多的幻想。 MMRB也可以在其他网络中插入插件。此外，多亏了StyleGAN2模型的富裕和多样化的面部先验，我们采用了微调的方法来灵活地恢复自然和现实的面部细节。此外，一种新颖的自我监督训练策略是专门设计用于面部修复任务的，以使分配更接近目标并保持训练稳定性。关于合成和现实世界数据集的广泛实验表明，我们的模型在面部恢复和面部超分辨率任务方面取得了卓越的表现。

大多数现代脸部完成方法采用AutoEncoder或其变体来恢复面部图像中缺失的区域。编码器通常用于学习强大的表现，在满足复杂的学习任务的挑战方面发挥着重要作用。具体地，各种掩模通常在野外的面部图像中呈现，形成复杂的图案，特别是在Covid-19的艰难时期。编码器很难在这种复杂的情况下捕捉如此强大的陈述。为了解决这一挑战，我们提出了一个自我监督的暹罗推论网络，以改善编码器的泛化和鲁棒性。它可以从全分辨率图像编码上下文语义并获得更多辨别性表示。为了处理面部图像的几何变型，将密集的对应字段集成到网络中。我们进一步提出了一种具有新型双重关注融合模块（DAF）的多尺度解码器，其可以以自适应方式将恢复和已知区域组合。这种多尺度架构有利于解码器利用从编码器学习到图像中的辨别性表示。广泛的实验清楚地表明，与最先进的方法相比，拟议的方法不仅可以实现更具吸引力的结果，而且还提高了蒙面的面部识别的性能。