We propose a novel, projection based way to incorporate the conditional information into the discriminator of GANs that respects the role of the conditional information in the underlining probabilistic model. This approach is in contrast with most frameworks of conditional GANs used in application today, which use the conditional information by concatenating the (embedded) conditional vector to the feature vectors. With this modification, we were able to significantly improve the quality of the class conditional image generation on ILSVRC2012 (Im-ageNet) 1000-class image dataset from the current state-of-the-art result, and we achieved this with a single pair of a discriminator and a generator. We were also able to extend the application to super-resolution and succeeded in producing highly discriminative super-resolution images. This new structure also enabled high quality category transformation based on parametric functional transformation of conditional batch normalization layers in the generator. The code with Chainer (Tokui et al., 2015), generated images and pretrained models are available at https://github.com/pfnet-research/sngan_projection.

One of the challenges in the study of generative adversarial networks is the instability of its training. In this paper, we propose a novel weight normalization technique called spectral normalization to stabilize the training of the discriminator. Our new normalization technique is computationally light and easy to incorporate into existing implementations. We tested the efficacy of spectral normalization on CIFAR10, STL-10, and ILSVRC2012 dataset, and we experimentally confirmed that spectrally normalized GANs (SN-GANs) is capable of generating images of better or equal quality relative to the previous training stabilization techniques. The code with Chainer (Tokui et al., 2015), generated images and pretrained models are available at https://github.com/pfnet-research/sngan_ projection.

本文介绍了一种新颖的卷积方法，称为生成卷积（GCONV），这对于改善生成的对抗网络（GaN）性能来说是简单而有效的。与标准卷积不同，GCONV首先选择与给定的潜像兼容的有用内核，然后线性地将所选内核结合起来制作潜在特定的内核。使用潜在特定的内核，所提出的方法产生潜在特定的特征，鼓励发电机产生高质量的图像。这种方法很简单，但令人惊讶地有效。首先，GaN性能随着额外的硬件成本而显着提高。其次，GCONV可以用于现有的最先进的发电机而不修改网络架构。为了揭示GCONV的优越性，本文使用各种标准数据集提供了广泛的实验，包括CiFar-10，CiFar-100，Lsun-Church，Celeba和微小想象成。定量评估证明，GCONV在成立得分（IS）和FRECHET成立距离（FID）方面大大提高了无条件和条件GAN的性能。例如，所提出的方法改善了FID，分别从35.13到29.76和20.23到22.64的微小想象网数据集上的分数。

生成的对抗网络（GaN）中的发电机以粗到精细的方式学习图像生成，其中早期层学习图像的整体结构和后者细化细节。要播放粗略信息，最近的作品通常通过堆叠多个残差块来构建其发电机。虽然残余块可以产生高质量的图像以及稳定地训练，但它经常阻碍网络中的信息流。为了减轻这个问题，本简要介绍了一种新的发电机架构，通过组合通过两个不同的分支获得的特征来产生图像：主和辅助分支。主分支的目标是通过通过多个剩余块来产生图像，而辅助分支是将早期层中的粗略信息传送到稍后的块。要成功结合主和辅助分支机构中的功能，我们还提出了一个门控功能融合模块，用于控制这些分支机构中的信息流。为了证明所提出的方法的优越性，本简要提供了使用Cifar-10，CiFar-100，Lsun，Celeba-HQ，AFHQ和Tiny-ImageNet的各种标准数据集提供了广泛的实验。此外，我们进行了各种消融研究，以证明所提出的方法的泛化能力。定量评估证明，该方法在成立得分（IS）和FRECHET成立距离（FID）方面表现出令人印象深刻的GAN性能。例如，该方法可以分别提高FID，并分别在35.13至25.00和20.23至25.57之间的微小图像数据集上的分数。

In this paper we introduce new methods for the improved training of generative adversarial networks (GANs) for image synthesis. We construct a variant of GANs employing label conditioning that results in 128 × 128 resolution image samples exhibiting global coherence. We expand on previous work for image quality assessment to provide two new analyses for assessing the discriminability and diversity of samples from class-conditional image synthesis models. These analyses demonstrate that high resolution samples provide class information not present in low resolution samples. Across 1000 ImageNet classes, 128 × 128 samples are more than twice as discriminable as artificially resized 32 × 32 samples. In addition, 84.7% of the classes have samples exhibiting diversity comparable to real ImageNet data.

从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络（GAN）或变异自动编码器（VAE）。甘斯具有产生更清晰的图像的能力，但缺乏输出的多样性，而VAE擅长生产各种输出，但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势，我们提出了一个新的有条件VAE（CVAE）和条件gan（CGAN）网络架构，用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块，以实现结果。使用CUB和Oxford-102数据集进行了多个实验，并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明，所提出的方法生成了以文本描述为条件的高分辨率图像，并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果

有条件的生成模型旨在学习数据和标签的基础联合分布，以实现有条件的数据生成。其中，辅助分类器生成的对抗网络（AC-GAN）已被广泛使用，但遭受了生成样品的阶层内多样性的问题。本文指出的基本原因是，AC-GAN的分类器是生成器 - 静脉器，因此不能为发电机提供接近联合分布的信息指导，从而最小化条件熵，从而减少了阶级内的阶级。多样性。在这种理解的推动下，我们提出了一个具有辅助判别分类器（ADC-GAN）的新型条件gan，以解决上述问题。具体而言，提出的辅助判别分类器通过识别真实数据的类标签和生成的数据而成为生成器感知。我们的理论分析表明，即使没有原始歧视者，发电机也可以忠实地学习联合分布，从而使拟议的ADC-GAN可靠，可适应该系数超参数的价值和GAN损失的选择，并在训练过程中稳定。关于合成和现实世界数据集的广泛实验结果表明，与基于最新的分类器和基于基于投影的条件gan相比，有条件生成建模中ADC-GAN的优势。

We describe a new training methodology for generative adversarial networks. The key idea is to grow both the generator and discriminator progressively: starting from a low resolution, we add new layers that model increasingly fine details as training progresses. This both speeds the training up and greatly stabilizes it, allowing us to produce images of unprecedented quality, e.g., CELEBA images at 1024 2 . We also propose a simple way to increase the variation in generated images, and achieve a record inception score of 8.80 in unsupervised CIFAR10. Additionally, we describe several implementation details that are important for discouraging unhealthy competition between the generator and discriminator. Finally, we suggest a new metric for evaluating GAN results, both in terms of image quality and variation. As an additional contribution, we construct a higher-quality version of the CELEBA dataset.

本文提出了一种新颖的卷积层，称为扰动卷积（PCONV），该层侧重于同时实现两个目标：改善生成的对抗网络（GaN）性能并减轻判断者将所有图像从给定数据集记住的记忆问题，因为培训进步。在PCONV中，通过在执行卷积操作之前随机扰乱输入张量来产生扰动特征。这种方法很简单，但令人惊讶地有效。首先，为了产生类似的输出，即使使用扰动的张量，鉴别器中的每层也应该学习具有小本地嘴唇尖端值的鲁棒特征。其次，由于输入张量在培训过程中随机扰乱了神经网络中的辍学时，可以减轻记忆问题。为了展示所提出的方法的泛化能力，我们对各种丢失函数和数据集进行了广泛的实验，包括CIFAR-10，Celeba，Celeba-HQ，LSUN和微型想象成。定量评估表明，在FRECHET成立距离（FID）方面，PCONV有效地提高了GaN和条件GaN的性能。

有条件的生成对抗网络（CGANs）将标准无条件GaN框架扩展到学习样本的联合数据标签分布，并已建立为能够产生高保真图像的强大生成模型。这种模型的训练挑战在于将课程信息恰当地注入到其发电机和鉴别器中。对于鉴别器，可以通过（1）直接将标签作为输入或（2）涉及辅助分类损失的标签来实现类调节。在本文中，我们表明前者直接对齐类条件的假和实际数据分布$ p（\ text {image} | \ text {class}）$（{\ EM数据匹配}），而后者对齐数据调节类分布$ p（\ text {class} | \ text {image}）$（{\ EM标签匹配}）。虽然类别可分离性并不直接转化为样本质量，并且如果分类本身是本质上困难的话，如果不同类别的特征映射到同一点，则不能为发电机提供有用的指导，因此可以为同一点映射并因此变得不可分割。通过这种直觉激励，我们提出了一种双重投影GaN（P2Gan）模型，它学会在{\ EM数据匹配}和{\ EM标签匹配}之间平衡。然后，我们提出了一种改进的Cgan模型，通过辅助分类，通过最大限度地减少$ F $ -divergence，通过辅助分类直接对准假和实际条件$ p（\ text {class} | \ text {image}）$。高斯（MOG）数据集的合成混合物和各种现实世界数据集的实验，包括CIFAR100，ImageNet和Vggface2，证明了我们所提出的模型的功效。

我们研究了GaN调理问题，其目标是使用标记数据将普雷雷尼的无条件GaN转换为条件GaN。我们首先识别并分析这一问题的三种方法 - 从头开始​​，微调和输入重新编程的条件GaN培训。我们的分析表明，当标记数据的数量很小时，输入重新编程执行最佳。通过稀缺标记数据的现实世界情景，我们专注于输入重编程方法，并仔细分析现有算法。在识别出先前输入重新编程方法的一些关键问题之后，我们提出了一种名为INREP +的新算法。我们的算法INREP +解决了现有问题，具有可逆性神经网络的新颖用途和正面未标记（PU）学习。通过广泛的实验，我们表明Inrep +优于所有现有方法，特别是当标签信息稀缺，嘈杂和/或不平衡时。例如，对于用1％标记数据调节CiFar10 GaN的任务，Inrep +实现了82.13的平均峰值，而第二个最佳方法达到114.51。

本文提出了有条件生成对抗性网络（CGANS）的两个重要贡献，以改善利用此架构的各种应用。第一个主要贡献是对CGANS的分析表明它们没有明确条件。特别地，将显示鉴别者和随后的Cgan不会自动学习输入之间的条件。第二种贡献是一种新方法，称为逆时针，该方法通过新颖的逆损失明确地模拟了对抗架构的两部分的条件，涉及培训鉴别者学习无条件（不利）示例。这导致了用于GANS（逆学习）的新型数据增强方法，其允许使用不利示例将发电机的搜索空间限制为条件输出。通过提出概率分布分析，进行广泛的实验以评估判别符的条件。与不同应用的CGAN架构的比较显示了众所周知的数据集的性能的显着改进，包括使用不同度量的不同度量的语义图像合成，图像分割，单眼深度预测和“单个标签” - 图像（FID） ），平均联盟（Miou）交叉口，根均线误差日志（RMSE日志）和统计上不同的箱数（NDB）。

有条件的生成对抗性网络（CGANS）是隐式生成模型，允许从类条件分布中进行采样。现有的CGANS基于各种不同的不同鉴别器设计和培训目标。早期作品中的一个流行的设计是在培训期间包括分类器，假设良好的分类器可以帮助消除使用错误类生成的样本。然而，包括CGANs的分类器通常具有仅产生易于分类的样本的副作用。最近，一些代表性的CGANS避免了缺点和达到最先进的表现而没有分类器。不知何故，它仍然未解决分类器是否可以复活以设计更好的CGANS。在这项工作中，我们证明可以正确利用分类器来改善CGANS。我们首先使用联合概率分布的分解来将CGANS的目标连接为统一框架。该框架以及经典能源模型与参数化分配，以原则方式为CGANS的分类器的使用证明了对标准的。它解释了几种流行的Cgan变体，例如acgan，projgan和contragan，作为具有不同近似水平的特殊情况，这提供了统一的观点，并为理解CGAN带来了新的见解。实验结果表明，由所提出的框架灵感的设计优于多个基准数据集上的最先进的CGAN，特别是在最具挑战性的想象中。该代码可在https://github.com/sian-chen/pytorch-ecgan获得。

深尾学习旨在培训有用的深层网络，以实用现实世界中的不平衡分布，其中大多数尾巴类别的标签都与一些样本相关联。有大量的工作来训练判别模型，以进行长尾分布的视觉识别。相比之下，我们旨在训练有条件的生成对抗网络，这是一类长尾分布的图像生成模型。我们发现，类似于识别图像产生的最新方法类似，也遭受了尾部类别的性能降解。性能降解主要是由于尾部类别的类别模式塌陷，我们观察到与调节参数矩阵的光谱爆炸相关。我们提出了一种新型的组光谱正规剂（GSR），以防止光谱爆炸减轻模式崩溃，从而导致尾巴类别的形象产生多样化和合理的图像产生。我们发现GSR有效地与现有的增强和正则化技术结合在一起，从而导致长尾数据上的最新图像生成性能。广泛的实验证明了我们的常规器在不同程度不平衡的长尾数据集上的功效。

生成的对抗网络（GANS）产生高质量的图像，但致力于训练。它们需要仔细正常化，大量计算和昂贵的超参数扫描。我们通过将生成和真实样本投影到固定的预级特征空间中，在这些问题上进行了重要的头路。发现鉴别者无法充分利用来自预押模型的更深层次的特征，我们提出了更有效的策略，可以在渠道和分辨率中混合特征。我们预计的GaN提高了图像质量，样品效率和收敛速度。它与最多一个百万像素的分辨率进一步兼容，并在二十二个基准数据集上推进最先进的FR \'Echet Inception距离（FID）。重要的是，预计的GAN符合先前最低的FID速度快40倍，鉴于相同的计算资源，将壁钟时间从5天切割到不到3小时。

我们表明，级联扩散模型能够在类条件的想象生成基准上生成高保真图像，而无需辅助图像分类器的任何帮助来提高样品质量。级联的扩散模型包括多个扩散模型的流水线，其产生越来越多的分辨率，以最低分辨率的标准扩散模型开始，然后是一个或多个超分辨率扩散模型，其连续上追随图像并添加更高的分辨率细节。我们发现级联管道的样本质量至关重要的是调节增强，我们提出的数据增强较低分辨率调节输入到超级分辨率模型的方法。我们的实验表明，调节增强防止在级联模型中采样过程中的复合误差，帮助我们在256×256分辨率下，在128x128和4.88，优于63.02的分类精度分数，培训级联管道。 ％（TOP-1）和84.06％（TOP-5）在256x256，优于VQ-VAE-2。

现实的高光谱图像（HSI）超分辨率（SR）技术旨在从其低分辨率（LR）对应物中产生具有更高光谱和空间忠诚的高分辨率（HR）HSI。生成的对抗网络（GAN）已被证明是图像超分辨率的有效深入学习框架。然而，现有GaN的模型的优化过程经常存在模式崩溃问题，导致光谱间不变重建容量有限。这可能导致所生成的HSI上的光谱空间失真，尤其是具有大的升级因子。为了缓解模式崩溃的问题，这项工作提出了一种与潜在编码器（Le-GaN）耦合的新型GaN模型，其可以将产生的光谱空间特征从图像空间映射到潜在空间并产生耦合组件正规化生成的样本。基本上，我们将HSI视为嵌入在潜在空间中的高维歧管。因此，GaN模型的优化被转换为学习潜在空间中的高分辨率HSI样本的分布的问题，使得产生的超分辨率HSI的分布更接近其原始高分辨率对应物的那些。我们对超级分辨率的模型性能进行了实验评估及其在缓解模式崩溃中的能力。基于具有不同传感器（即Aviris和UHD-185）的两种实际HSI数据集进行了测试和验证，用于各种升高因素并增加噪声水平，并与最先进的超分辨率模型相比（即Hyconet，LTTR，Bagan，SR-GaN，Wgan）。

Despite recent progress in generative image modeling, successfully generating high-resolution, diverse samples from complex datasets such as ImageNet remains an elusive goal. To this end, we train Generative Adversarial Networks at the largest scale yet attempted, and study the instabilities specific to such scale. We find that applying orthogonal regularization to the generator renders it amenable to a simple "truncation trick," allowing fine control over the trade-off between sample fidelity and variety by reducing the variance of the Generator's input. Our modifications lead to models which set the new state of the art in class-conditional image synthesis. When trained on ImageNet at 128×128 resolution, our models (BigGANs) achieve an Inception Score (IS) of 166.5 and Fréchet Inception Distance (FID) of 7.4, improving over the previous best IS of 52.52 and FID of 18.65.

为了稳定地训练生成对抗网络（GAN），将实例噪声注入歧视器的输入中被认为是理论上的声音解决方案，但是，在实践中尚未实现其承诺。本文介绍了采用高斯混合物分布的扩散 - 在正向扩散链的所有扩散步骤中定义，以注入实例噪声。从观察到或生成的数据扩散的混合物中的随机样品被作为歧视器的输入。通过将其梯度通过前向扩散链进行反向传播来更新，该链的长度可自适应地调节以控制每个训练步骤允许的最大噪声与数据比率。理论分析验证了所提出的扩散gan的声音，该扩散器提供了模型和域 - 不可分割的可区分增强。在各种数据集上进行的一系列实验表明，扩散 - GAN可以提供稳定且具有数据效率的GAN训练，从而使对强GAN基准的性能保持一致，以综合构成照片现实的图像。

虽然生成的对抗网络（GaN）是他们对其更高的样本质量的流行，而与其他生成模型相反，但是它们遭受同样困难的产生样本的难度。必须牢记各个方面，如产生的样本的质量，课程的多样性（在课堂内和类别中），使用解除戒开的潜在空间，所述评估度量的协议与人类感知等。本文，我们提出了一个新的评分，即GM分数，这取得了各种因素，如样品质量，解除戒备的代表，阶级，级别的阶级和级别多样性等各种因素，以及诸如精确，召回和F1分数等其他指标用于可怜的性深度信仰网络（DBN）和限制Boltzmann机（RBM）的潜在空间。评估是针对不同的GANS（GAN，DCGAN，BIGAN，CGAN，CONFORDGON，LSGAN，SGAN，WAN，以及WGAN改进）的不同GANS（GAN，DCGAN，BIGAN，SCAN，WANT）在基准MNIST数据集上培训。