Online clothing catalogs lack diversity in body shape and garment size. Brands commonly display their garments on models of one or two sizes, rarely including plus-size models. In this work, we propose a new method, SizeGAN, for generating images of garments on different-sized models. To change the garment and model size while maintaining a photorealistic image, we incorporate image alignment ideas from the medical imaging literature into the StyleGAN2-ADA architecture. Our method learns deformation fields at multiple resolutions and uses a spatial transformer to modify the garment and model size. We evaluate our approach along three dimensions: realism, garment faithfulness, and size. To our knowledge, SizeGAN is the first method to focus on this size under-representation problem for modeling clothing. We provide an analysis comparing SizeGAN to other plausible approaches and additionally provide the first clothing dataset with size labels. In a user study comparing SizeGAN and two recent virtual try-on methods, we show that our method ranks first in each dimension, and was vastly preferred for realism and garment faithfulness. In comparison to most previous work, which has focused on generating photorealistic images of garments, our work shows that it is possible to generate images that are both photorealistic and cover diverse garment sizes.

虚拟试验旨在在店内服装和参考人员图像的情况下产生光真实的拟合结果。现有的方法通常建立多阶段框架来分别处理衣服翘曲和身体混合，或严重依赖基于中间解析器的标签，这些标签可能嘈杂甚至不准确。为了解决上述挑战，我们通过开发一种新型的变形注意流（DAFLOF）提出了一个单阶段的尝试框架，该框架将可变形的注意方案应用于多流量估计。仅将姿势关键点作为指导，分别为参考人员和服装图像估计了自我和跨跨性别的注意力流。通过对多个流场进行采样，通过注意机制同时提取并合并了来自不同语义区域的特征级和像素级信息。它使衣服翘曲和身体合成，同时以端到端的方式导致照片真实的结果。在两个尝试数据集上进行的广泛实验表明，我们提出的方法在定性和定量上都能达到最先进的性能。此外，其他两个图像编辑任务上的其他实验说明了我们用于多视图合成和图像动画方法的多功能性。

An outfit visualization method generates an image of a person wearing real garments from images of those garments. Current methods can produce images that look realistic and preserve garment identity, captured in details such as collar, cuffs, texture, hem, and sleeve length. However, no current method can both control how the garment is worn -- including tuck or untuck, opened or closed, high or low on the waist, etc.. -- and generate realistic images that accurately preserve the properties of the original garment. We describe an outfit visualization method that controls drape while preserving garment identity. Our system allows instance independent editing of garment drape, which means a user can construct an edit (e.g. tucking a shirt in a specific way) that can be applied to all shirts in a garment collection. Garment detail is preserved by relying on a warping procedure to place the garment on the body and a generator then supplies fine shading detail. To achieve instance independent control, we use control points with garment category-level semantics to guide the warp. The method produces state-of-the-art quality images, while allowing creative ways to style garments, including allowing tops to be tucked or untucked; jackets to be worn open or closed; skirts to be worn higher or lower on the waist; and so on. The method allows interactive control to correct errors in individual renderings too. Because the edits are instance independent, they can be applied to large pools of garments automatically and can be conditioned on garment metadata (e.g. all cropped jackets are worn closed or all bomber jackets are worn closed).

基于图像的虚拟试验是以人为中心的现实潜力，是以人为中心的图像生成的最有希望的应用之一。在这项工作中，我们迈出了一步，探索多功能的虚拟尝试解决方案，我们认为这应该具有三个主要属性，即，它们应支持无监督的培训，任意服装类别和可控的服装编辑。为此，我们提出了一个特征性的端到端网络，即用空间自适应的斑点适应性GAN ++（Pasta-gan ++），以实现用于高分辨率不合规的虚拟试验的多功能系统。具体而言，我们的意大利面++由一个创新的贴布贴片的拆卸模块组成，可以将完整的服装切换为归一化贴剂，该贴片能够保留服装样式信息，同时消除服装空间信息，从而减轻在未受监督训练期间过度适应的问题。此外，面食++引入了基于贴片的服装表示和一个贴片引导的解析合成块，使其可以处理任意服装类别并支持本地服装编辑。最后，为了获得具有逼真的纹理细节的尝试结果，面食gan ++结合了一种新型的空间自适应残留模块，以将粗翘曲的服装功能注入发电机。对我们新收集的未配对的虚拟试验（UPT）数据集进行了广泛的实验，证明了面食gan ++比现有SOTA的优越性及其可控服装编辑的能力。

基于图像的虚拟试验提供将服装项目转移到给定人的照片上的容量，这通常是通过将物品翘曲到给定的人类姿势并将翘曲的物品调整给人。然而，由于前面的方法的现实综合性图像（例如，SECIES）的结果是不可逼真的，因为颈部导致颈部被误导和对服装风格的重大变化。为了解决这些挑战，我们提出了一种解决这种独特问题的新方法，称为Viton作物。与现有的最先进的虚拟试论模型相比，Viton作物在与随机作物增强集成时更加强大地合成图像。在实验中，我们证明Viton作物优于定性和定量的Viton-HD。

We present VoxelMorph, a fast learning-based framework for deformable, pairwise medical image registration. Traditional registration methods optimize an objective function for each pair of images, which can be time-consuming for large datasets or rich deformation models. In contrast to this approach, and building on recent learning-based methods, we formulate registration as a function that maps an input image pair to a deformation field that aligns these images. We parameterize the function via a convolutional neural network (CNN), and optimize the parameters of the neural network on a set of images. Given a new pair of scans, VoxelMorph rapidly computes a deformation field by directly evaluating the function. In this work, we explore two different training strategies. In the first (unsupervised) setting, we train the model to maximize standard image matching objective functions that are based on the image intensities. In the second setting, we leverage auxiliary segmentations available in the training data. We demonstrate that the unsupervised model's accuracy is comparable to state-of-the-art methods, while operating orders of magnitude faster. We also show that VoxelMorph trained with auxiliary data improves registration accuracy at test time, and evaluate the effect of training set size on registration. Our method promises to speed up medical image analysis and processing pipelines, while facilitating novel directions in learning-based registration and its applications. Our code is freely available at http://voxelmorph.csail.mit.edu.

基于图像的虚拟试验努力将服装的外观转移到目标人的图像上。先前的工作主要集中在上身衣服（例如T恤，衬衫和上衣）上，并忽略了全身或低身物品。这种缺点来自一个主要因素：用于基于图像的虚拟试验的当前公开可用数据集并不解释此品种，从而限制了该领域的进度。为了解决这种缺陷，我们介绍着着装代码，其中包含多类服装的图像。着装代码比基于图像的虚拟试验的公共可用数据集大于3倍以上，并且具有前视图，全身参考模型的高分辨率配对图像（1024x768）。为了生成具有高视觉质量且细节丰富的高清尝试图像，我们建议学习细粒度的区分功能。具体而言，我们利用一种语义意识歧视器，该歧视器在像素级而不是图像级或贴片级上进行预测。广泛的实验评估表明，所提出的方法在视觉质量和定量结果方面超过了基线和最先进的竞争者。着装码数据集可在https://github.com/aimagelab/dress-code上公开获得。

发型转移是将源发型修改为目标的任务。尽管最近的发型转移模型可以反映发型的精致特征，但它们仍然有两个主要局限性。首先，当源和目标图像具有不同的姿势（例如，查看方向或面部尺寸）时，现有方法无法转移发型，这在现实世界中很普遍。同样，当源图像中有非平凡的区域被其原始头发遮住时，先前的模型会产生不切实际的图像。当将长发修改为短发时，肩膀或背景被长发遮住了。为了解决这些问题，我们为姿势不变的发型转移，发型提出了一个新颖的框架。我们的模型包括两个阶段：1）基于流动的头发对齐和2）头发合成。在头发对齐阶段，我们利用基于关键点的光流估计器将目标发型与源姿势对齐。然后，我们基于语义区域感知的嵌入面膜（SIM）估计器在头发合成阶段生成最终的发型转移图像。我们的SIM估计器将源图像中的封闭区域划分为不同的语义区域，以反映其在涂料过程中的独特特征。为了证明我们的模型的有效性，我们使用多视图数据集（K-Hairstyle和Voxceleb）进行定量和定性评估。结果表明，发型通过在不同姿势的图像之间成功地转移发型来实现最先进的表现，而这是以前从未实现的。

生成的对抗网络（GANS）已经实现了图像生成的照片逼真品质。但是，如何最好地控制图像内容仍然是一个开放的挑战。我们介绍了莱特基照片，这是一个两级GaN，它在古典GAN目标上训练了训练，在一组空间关键点上有内部调节。这些关键点具有相关的外观嵌入，分别控制生成对象的位置和样式及其部件。我们使用合适的网络架构和培训方案地址的一个主要困难在没有领域知识和监督信号的情况下将图像解开到空间和外观因素中。我们展示了莱特基点提供可解释的潜在空间，可用于通过重新定位和交换Keypoint Embedding来重新安排生成的图像，例如通过组合来自不同图像的眼睛，鼻子和嘴巴来产生肖像。此外，关键点和匹配图像的显式生成启用了一种用于无监督的关键点检测的新的GaN的方法。

Image-based virtual try-on techniques have shown great promise for enhancing the user-experience and improving customer satisfaction on fashion-oriented e-commerce platforms. However, existing techniques are currently still limited in the quality of the try-on results they are able to produce from input images of diverse characteristics. In this work, we propose a Context-Driven Virtual Try-On Network (C-VTON) that addresses these limitations and convincingly transfers selected clothing items to the target subjects even under challenging pose configurations and in the presence of self-occlusions. At the core of the C-VTON pipeline are: (i) a geometric matching procedure that efficiently aligns the target clothing with the pose of the person in the input images, and (ii) a powerful image generator that utilizes various types of contextual information when synthesizing the final try-on result. C-VTON is evaluated in rigorous experiments on the VITON and MPV datasets and in comparison to state-of-the-art techniques from the literature. Experimental results show that the proposed approach is able to produce photo-realistic and visually convincing results and significantly improves on the existing state-of-the-art.

基于图像的虚拟试验旨在综合一个穿给定服装的人的图像。为了解决任务，现有的方法会经过衣物项目，以适合该人的身体并生成穿着该物品的人的分割图，然后再将物品与人融合。但是，当扭曲和分割生成阶段在没有信息交换的情况下单独运行时，扭曲的衣服和分割图之间的未对准发生了，从而导致最终图像中的工件。信息断开还会导致在身体部位遮住的衣服区域附近过度翘曲，所谓的像素 - 刺式伪像。为了解决这些问题，我们提出了一个新颖的尝试条件发生器，作为两个阶段的统一模块（即扭曲和分割生成阶段）。条件生成器中新提出的特征融合块实现了信息交换，并且条件生成器不会造成任何未对准或像素 - 平方形工件。我们还介绍了歧视者的拒绝，从而滤除了不正确的细分图预测并确保虚拟试验框架的性能。高分辨率数据集上的实验表明，我们的模型成功处理了未对准和遮挡，并显着优于基线。代码可从https://github.com/sangyun884/hr-viton获得。

强大的模拟器高度降低了在培训和评估自动车辆时对真实测试的需求。数据驱动的模拟器蓬勃发展，最近有条件生成对冲网络（CGANS）的进步，提供高保真图像。主要挑战是在施加约束之后的同时合成光量造型图像。在这项工作中，我们建议通过重新思考鉴别者架构来提高所生成的图像的质量。重点是在给定对语义输入生成图像的问题类上，例如场景分段图或人体姿势。我们建立成功的CGAN模型，提出了一种新的语义感知鉴别器，更好地指导发电机。我们的目标是学习一个共享的潜在表示，编码足够的信息，共同进行语义分割，内容重建以及粗糙的粒度的对抗性推理。实现的改进是通用的，并且可以应用于任何条件图像合成的任何架构。我们展示了我们在场景，建筑和人类综合任务上的方法，跨越三个不同的数据集。代码可在https://github.com/vita-epfl/semdisc上获得。

Image and video synthesis has become a blooming topic in computer vision and machine learning communities along with the developments of deep generative models, due to its great academic and application value. Many researchers have been devoted to synthesizing high-fidelity human images as one of the most commonly seen object categories in daily lives, where a large number of studies are performed based on various deep generative models, task settings and applications. Thus, it is necessary to give a comprehensive overview on these variant methods on human image generation. In this paper, we divide human image generation techniques into three paradigms, i.e., data-driven methods, knowledge-guided methods and hybrid methods. For each route, the most representative models and the corresponding variants are presented, where the advantages and characteristics of different methods are summarized in terms of model architectures and input/output requirements. Besides, the main public human image datasets and evaluation metrics in the literature are also summarized. Furthermore, due to the wide application potentials, two typical downstream usages of synthesized human images are covered, i.e., data augmentation for person recognition tasks and virtual try-on for fashion customers. Finally, we discuss the challenges and potential directions of human image generation to shed light on future research.

基于图像的虚拟试图是由于其巨大的真实潜力，以人为本的图像生成最有希望的应用之一。然而，由于大多数预先接近店内服装到目标人物，他们需要对成对的训练数据集进行费力和限制性的结构，严重限制了它们的可扩展性。虽然最近的一些作品试图直接从一个人转移服装，但减轻了收集配对数据集的需要，它们的表现受缺乏配对（监督）信息影响。特别地，衣服的解开样式和空间信息成为一个挑战，通过需要辅助数据或广泛的在线优化程序来解决任何方法，从而仍抑制其可扩展性。实现A \ EMPH {可扩展}虚拟试样系统，可以以无监督的方式在源和目标人物之间传输任意服装，因此我们提出了一种纹理保留的端到端网络，该包装空间 - 适应甘（意大利面），促进了现实世界的未配对虚拟试验。具体而言，要解开每位服装的风格和空间信息，意大利面甘包括一个创新的补丁路由解剖模块，用于成功挡住衣服纹理和形状特性。由源人关键点引导，修补程序路由的解剖学模块首先将衣服脱发到标准化的贴片中，从而消除了衣服的固有空间信息，然后将归一化贴片重建到符合目标人员姿势的翘曲衣服。鉴于翘曲的衣服，Pasta-GaN进一步推出了一种新型空间适应性的残余块，指导发电机合成更现实的服装细节。

我们提出了Gan监督的学习，一个学习歧视模型的框架及其GAN生成的培训数据结束结束。我们将框架应用于密集的视觉调整问题。灵感来自经典的凝固方法，我们的甘蓝算法列举了空间变压器来将随机样本从受过协调的数据训练到常见的共同学习的目标模式。我们在八个数据集上显示结果，所有这些都证明了我们的方法成功对齐复杂数据并发现密集的对应。甘蓝显着优于过去自我监督的对应算法，并在几个数据集上与（有时超过）最先进的监督对应算法进行了近几个数据集 - 而不利用任何通信监督或数据增强，尽管仅仅是完全培训在GaN生成的数据上。对于精确的对应，我们通过最先进的受监管方法提高了3倍。我们展示了我们对下游GaN训练的图像数据集的增强现实，图像编辑和自动预处理的应用。

鉴于一个人的肖像图像和目标照明的环境图，肖像重新旨在重新刷新图像中的人，就好像该人出现在具有目标照明的环境中一样。为了获得高质量的结果，最近的方法依靠深度学习。一种有效的方法是用高保真输入输出对的高保真数据集监督对深神经网络的培训，并以光阶段捕获。但是，获取此类数据需要昂贵的特殊捕获钻机和耗时的工作，从而限制了对少数机智的实验室的访问。为了解决限制，我们提出了一种新方法，该方法可以与最新的（SOTA）重新确定方法相提并论，而无需光阶段。我们的方法基于这样的意识到，肖像图像的成功重新重新取决于两个条件。首先，该方法需要模仿基于物理的重新考虑的行为。其次，输出必须是逼真的。为了满足第一个条件，我们建议通过通过虚拟光阶段生成的训练数据来训练重新网络，该培训数据在不同的环境图下对各种3D合成人体进行了基于物理的渲染。为了满足第二种条件，我们开发了一种新型的合成对真实方法，以将光真实主义带入重新定向网络输出。除了获得SOTA结果外，我们的方法还提供了与先前方法相比的几个优点，包括可控的眼镜和更暂时的结果以重新欣赏视频。

我们提出了一种新的姿势转移方法，用于从由一系列身体姿势控制的人的单个图像中综合人类动画。现有的姿势转移方法在申请新颖场景时表现出显着的视觉伪影，从而导致保留人的身份和纹理的时间不一致和失败。为了解决这些限制，我们设计了一种构成神经网络，预测轮廓，服装标签和纹理。每个模块化网络明确地专用于可以从合成数据学习的子任务。在推理时间，我们利用训练有素的网络在UV坐标中产生统一的外观和标签，其横跨姿势保持不变。统一的代表提供了一个不完整的且强烈指导，以响应姿势变化而产生外观。我们使用训练有素的网络完成外观并呈现背景。通过这些策略，我们能够以时间上连贯的方式综合人类动画，这些动画可以以时间上连贯的方式保护人的身份和外观，而无需在测试场景上进行任何微调。实验表明，我们的方法在合成质量，时间相干性和泛化能力方面优于最先进的。

仅使用单视2D照片的收藏集对3D感知生成对抗网络（GAN）的无监督学习最近取得了很多进展。然而，这些3D gan尚未证明人体，并且现有框架的产生的辐射场不是直接编辑的，从而限制了它们在下游任务中的适用性。我们通过开发一个3D GAN框架来解决这些挑战的解决方案，该框架学会在规范的姿势中生成人体或面部的辐射场，并使用显式变形场将其扭曲成所需的身体姿势或面部表达。使用我们的框架，我们展示了人体的第一个高质量的辐射现场生成结果。此外，我们表明，与未接受明确变形训练的3D GAN相比，在编辑其姿势或面部表情时，我们的变形感知训练程序可显着提高产生的身体或面部的质量。

深层生成模型通过自动化基于收集的数据集的多样性，现实内容的综合，使新手用户更容易访问视觉内容。但是，当前的机器学习方法错过了创作过程的关键要素 - 综合远远超出数据分配和日常体验的东西的能力。为了开始解决此问题，我们可以通过仅编辑一些具有所需几何变化的原始模型输出来“扭曲”给定模型。我们的方法将低级更新应用于单个模型层以重建编辑的示例。此外，为了打击过度拟合，我们建议一种基于样式混合的潜在空间增强方法。我们的方法允许用户创建一个模型，该模型可以通过定义的几何更改合成无尽的对象，从而可以创建新的生成模型，而无需策划大规模数据集。我们还证明可以组成编辑的模型以实现汇总效果，并提出了一个交互式界面，以使用户能够通过组合创建新的模型。对多个测试案例的经验测量表明，我们方法对最近的GAN微调方法的优势。最后，我们使用编辑的模型展示了多个应用程序，包括潜在空间插值和图像编辑。

在时尚电子商务的快速增长中，时尚文章的远程安装仍然是一个复杂而充满挑战的问题，并且是客户沮丧的主要驱动力。尽管最近在3D虚拟尝试解决方案方面取得了进步，但这种方法仍然限制在非常狭窄的文章（即使是少数文章）中，而且通常只有一种时尚物品。旨在支持客户的其他最先进的方法在网上找到适合他们的方法，主要需要高水平的客户参与度和对隐私敏感的数据（例如身高，体重，年龄，性别，腹部形状等），或者，或者需要穿着紧身衣服的顾客尸体的图像。他们通常还缺乏在大规模上产生合适和塑造视觉指导的能力，仅通过建议订购哪种尺寸，最能与客户的身体属性相匹配，而无需提供有关服装如何合适和外观的任何信息。为了实现飞跃并超越了当前方法的局限性，我们提出了Fitgan，这是一种生成的对抗模型，明确说明了服装的纠缠尺寸和在线时尚的适合特征。以文章的拟合和形状为条件，我们的模型学习了分离的项目表示形式，并生成了逼真的图像，反映了时尚文章的真实拟合和形状。通过大规模的现实世界数据实验，我们演示了我们的方法如何能够合成视觉上现实和各种时尚项目的拟合，并探索其控制数千种在线服装图像的拟合度和形状的能力。