创意素描或涂鸦是一种表达活动，在那里绘制了想象力和以前看不见的日常视觉物体的描述。创意草图图像生成是一个具有挑战性的视觉问题，任务是生成不同但现实的创意草图，拥有视觉世界对象的看不见的构成。在这里，我们提出了一种新颖的粗待精细的两级框架，DooDleformer，将创意草图生成问题分解成粗略草图组合物的创建，然后在草图中掺入细节。我们介绍了图形感知的变压器编码器，可有效地捕获了不同身体部位之间的全局动态以及局部静态结构关系。为确保所生成的创意草图的多样性，我们介绍了一个概率粗略草图解码器，该解码器明确地模拟了要绘制的每个草图身体部位的变化。在两个创意素描数据集上进行实验：创意鸟类和创意生物。我们的定性，定量和以人为主的评估表明，DooDleformer在两个数据集中表现出最先进的，屈服于现实和多样化的创意草图。在创意生物上，DooDleformer通过最先进的FR`chet unception距离（FID）来实现25的绝对增益。我们还展示了DoodleFormer对创意草图生成和草图完成的相关申请的有效性。

布局生成是计算机视觉中的一项新任务，它结合了对象本地化和美学评估中的挑战，在广告，海报和幻灯片设计中广泛使用。准确而愉快的布局应考虑布局元素内的内域关系以及布局元素与图像之间的域间关系。但是，大多数以前的方法只是专注于图像 - 范围 - 不平衡的布局生成，而无需利用图像中复杂的视觉信息。为此，我们探索了一个名为“图像条件的布局生成”的新颖范式，该范式旨在以语义连贯的方式将文本叠加层添加到图像中。具体而言，我们提出了一个图像条件的变分变压器（ICVT），该变形变压器（ICVT）在图像中生成各种布局。首先，采用自我注意的机制来对布局元素内的上下文关系进行建模，而交叉注意机制用于融合条件图像的视觉信息。随后，我们将它们作为有条件变异自动编码器（CVAE）的构件，表现出吸引人的多样性。其次，为了减轻布局元素域和视觉域之间的差距，我们设计了一个几何对齐模块，其中图像的几何信息与布局表示形式对齐。此外，我们构建了一个大规模的广告海报布局设计数据集，并具有精致的布局和显着图。实验结果表明，我们的模型可以在图像的非侵入区域中自适应生成布局，从而产生和谐的布局设计。

Automated synthesis of histology images has several potential applications in computational pathology. However, no existing method can generate realistic tissue images with a bespoke cellular layout or user-defined histology parameters. In this work, we propose a novel framework called SynCLay (Synthesis from Cellular Layouts) that can construct realistic and high-quality histology images from user-defined cellular layouts along with annotated cellular boundaries. Tissue image generation based on bespoke cellular layouts through the proposed framework allows users to generate different histological patterns from arbitrary topological arrangement of different types of cells. SynCLay generated synthetic images can be helpful in studying the role of different types of cells present in the tumor microenvironmet. Additionally, they can assist in balancing the distribution of cellular counts in tissue images for designing accurate cellular composition predictors by minimizing the effects of data imbalance. We train SynCLay in an adversarial manner and integrate a nuclear segmentation and classification model in its training to refine nuclear structures and generate nuclear masks in conjunction with synthetic images. During inference, we combine the model with another parametric model for generating colon images and associated cellular counts as annotations given the grade of differentiation and cell densities of different cells. We assess the generated images quantitatively and report on feedback from trained pathologists who assigned realism scores to a set of images generated by the framework. The average realism score across all pathologists for synthetic images was as high as that for the real images. We also show that augmenting limited real data with the synthetic data generated by our framework can significantly boost prediction performance of the cellular composition prediction task.

给定的用户输入的自动生成平面图在建筑设计中具有很大的潜力，最近在计算机视觉社区中探索了。但是，大多数现有方法以栅格化图像格式合成平面图，这些图像很难编辑或自定义。在本文中，我们旨在将平面图合成为1-D向量的序列，从而简化用户的互动和设计自定义。为了产生高保真矢量化的平面图，我们提出了一个新颖的两阶段框架，包括草稿阶段和多轮精炼阶段。在第一阶段，我们使用图形卷积网络（GCN）编码用户的房间连接图输入，然后应用自回归变压器网络以生成初始平面图。为了抛光最初的设计并生成更具视觉吸引力的平面图，我们进一步提出了一个由GCN和变压器网络组成的新颖的全景精炼网络（PRN）。 PRN将初始生成的序列作为输入，并完善了平面图设计，同时鼓励我们提出的几何损失来鼓励正确的房间连接。我们已经对现实世界平面图数据集进行了广泛的实验，结果表明，我们的方法在不同的设置和评估指标下实现了最先进的性能。

文本对图像综合的症结很大，源于保持输入文本和合成图像之间的跨模式语义一致性的困难。试图直接建模文本图像映射的典型方法只能在文本中捕获指示常见对象或动作但无法学习其空间分布模式的文本中的关键字。规避此限制的一种有效方法是生成图像布局作为指导，这是通过一些方法尝试的。然而，由于输入文本和对象位置的多样性，这些方法无法生成实际有效的布局。在本文中，我们推动在文本到图像生成和布局到图像合成中进行有效的建模。具体而言，我们将文本到序列生成作为序列到序列建模任务，并在变压器上构建我们的模型，以通过对它们之间的顺序依赖性进行建模，以了解对象之间的空间关系。在布局到图像合成的阶段，我们专注于在布局中每个对象中的每个对象学习文本 - 视觉对齐，以精确地将输入文本纳入布局到图像构图合成过程。为了评估生成的布局的质量，我们设计了一个新的度量标准，称为布局质量得分，该评分既考虑了布局中边界框的绝对分布误差，又考虑了它们之间的相互空间关系。在三个数据集上进行的广泛实验证明了我们的方法优于最先进的方法，既可以预测布局和从给定文本综合图像。

布局设计在许多应用中无处不在，例如建筑/城市规划等，涉及漫长的迭代设计过程。最近，深度学习已被利用以通过图像生成自动生成布局，从而表明了使设计师摆脱艰辛的常规的巨大潜力。尽管自动生成可以极大地提高生产率，但设计师的投入无疑至关重要。理想的AI辅助设计工具应自动化重复的例程，同时接受人类的指导并提供智能/主动的建议。但是，在主要是端到端方法的现有方法中，将使人类参与循环的能力在很大程度上被忽略了。为此，我们提出了一种新的人类生成模型Iplan，它能够自动生成布局，但在整个过程中也与设计师进行交互，使人类和AI能够逐渐协调一个粗略的想法进入最终设计。在不同的数据集上对IPLAN进行了评估，并将其与现有方法进行了比较。结果表明，IPLAN在制作与人类设计师的相似布局方面具有高忠诚，在接受设计师的投入和相应地提供设计建议方面具有极大的灵活性，并且在面对看不见的设计任务和有限的培训数据时，具有强大的概括性。

从语义视觉知识中生成图像是一项具有挑战性的任务，与诸如类标签或文本描述之类的替代方案相比，以复杂，微妙和明确的方式调节合成过程很有用。尽管存在以语义表示为条件的生成方法，但除了对对象之间的约束规范外，它们没有提供控制生成过程的方法。例如，迭代生成或修改图像通过手动添加特定项目的可能性是所需的属性，据我们所知，文献尚未在文献中得到充分研究。在这项工作中，我们提出了一种基于变压器的方法，该方法以场景图为条件，相反，该方法针对最近的基于变压器的方法，还采用解码器来自动构成图像，从而使合成过程更有效和可控。提出的体系结构由三个模块组成：1）图形卷积网络，以编码输入图的关系； 2）编码器码头变压器，可自动加入构成输出图像； 3）一种自动编码器，用于生成用作变压器每个生成步骤的输入/输出的表示。在CIFAR10和MNIST图像上获得的结果表明，我们的模型能够满足由场景图定义的语义约束，并通过考虑到所需目标的用户提供的部分渲染，以模拟场景中的视觉对象之间的关系。

最近已经示出了从2D图像中提取隐式3D表示的生成神经辐射场（GNERF）模型，以产生代表刚性物体的现实图像，例如人面或汽车。然而，他们通常难以产生代表非刚性物体的高质量图像，例如人体，这对许多计算机图形应用具有很大的兴趣。本文提出了一种用于人类图像综合的3D感知语义导向生成模型（3D-SAGGA），其集成了GNERF和纹理发生器。前者学习人体的隐式3D表示，并输出一组2D语义分段掩模。后者将这些语义面部掩模转化为真实的图像，为人类的外观添加了逼真的纹理。如果不需要额外的3D信息，我们的模型可以使用照片现实可控生成学习3D人类表示。我们在Deepfashion DataSet上的实验表明，3D-SAGGAN显着优于最近的基线。

提供和渲染室内场景一直是室内设计的一项长期任务，艺术家为空间创建概念设计，建立3D模型的空间，装饰，然后执行渲染。尽管任务很重要，但它很乏味，需要巨大的努力。在本文中，我们引入了一个特定领域的室内场景图像合成的新问题，即神经场景装饰。鉴于一张空的室内空间的照片以及用户确定的布局列表，我们旨在合成具有所需的家具和装饰的相同空间的新图像。神经场景装饰可用于以简单而有效的方式创建概念室内设计。我们解决这个研究问题的尝试是一种新颖的场景生成体系结构，它将空的场景和对象布局转化为现实的场景照片。我们通过将其与有条件图像合成基线进行比较，以定性和定量的方式将其进行比较，证明了我们提出的方法的性能。我们进行广泛的实验，以进一步验证我们生成的场景的合理性和美学。我们的实现可在\ url {https://github.com/hkust-vgd/neural_scene_decoration}获得。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

我们提出了COGS，这是一种新颖的方法，用于图像的样式条件，素描驱动的合成。 COGS可以为给定的草图对象探索各种外观可能性，从而对输出的结构和外观进行了脱钩的控制。通过输入草图和基于变压器的草图和样式编码器的示例“样式”调理图像启用了对物体结构和外观的粗粒粒度控制，以生成离散的代码簿表示。我们将代码簿表示形式映射到度量空间中，从而在通过量化量化的GAN（VQGAN）解码器生成图像之前，可以对多个合成选项之间的选择和插值进行细粒度的控制和插值。我们的框架因此统一了搜索和综合任务，因为草图和样式对可以用于运行初始合成，该合成可以通过结合结合在搜索语料库中结合使用，以使图像更加与用户的意图更匹配。我们表明，我们的模型对新创建的Pseudosketches数据集的125个对象类培训，能够生产出多种语义内容和外观样式的范围。

素描是一种常用于创新过程的自然和有效的视觉通信介质。深度学习模型的最新发展急剧改善了理解和生成视觉内容的机器能力。令人兴奋的发展领域探讨了用于模拟人类草图的深度学习方法，开设创造性应用的机会。本章介绍了开发深受学习驱动的创造性支持工具的三个基本步骤，这些步骤消耗和生成草图：1）在草图和移动用户界面之间生成新配对数据集的数据收集工作; 2）基于草图的用户界面检索系统，适用于最先进的计算机视觉技术; 3）一个对话的草图系统，支持基于自然语言的草图/批判创作过程的新颖互动。在本章中，我们在深度学习和人机互动社区中进行了对相关的事先工作，详细记录了数据收集过程和系统的架构，目前提供了定性和定量结果，并绘制了几个未来研究的景观在这个令人兴奋的地区的方向。

本文的目标是对面部素描合成（FSS）问题进行全面的研究。然而，由于获得了手绘草图数据集的高成本，因此缺乏完整的基准，用于评估过去十年的FSS算法的开发。因此，我们首先向FSS引入高质量的数据集，名为FS2K，其中包括2,104个图像素描对，跨越三种类型的草图样式，图像背景，照明条件，肤色和面部属性。 FS2K与以前的FSS数据集不同于难度，多样性和可扩展性，因此应促进FSS研究的进展。其次，我们通过调查139种古典方法，包括34个手工特征的面部素描合成方法，37个一般的神经式传输方法，43个深映像到图像翻译方法，以及35个图像 - 素描方法。此外，我们详细说明了现有的19个尖端模型的综合实验。第三，我们为FSS提供了一个简单的基准，名为FSGAN。只有两个直截了当的组件，即面部感知屏蔽和风格矢量扩展，FSGAN将超越所提出的FS2K数据集的所有先前最先进模型的性能，通过大边距。最后，我们在过去几年中汲取的经验教训，并指出了几个未解决的挑战。我们的开源代码可在https://github.com/dengpingfan/fsgan中获得。

Graph representation of objects and their relations in a scene, known as a scene graph, provides a precise and discernible interface to manipulate a scene by modifying the nodes or the edges in the graph. Although existing works have shown promising results in modifying the placement and pose of objects, scene manipulation often leads to losing some visual characteristics like the appearance or identity of objects. In this work, we propose DisPositioNet, a model that learns a disentangled representation for each object for the task of image manipulation using scene graphs in a self-supervised manner. Our framework enables the disentanglement of the variational latent embeddings as well as the feature representation in the graph. In addition to producing more realistic images due to the decomposition of features like pose and identity, our method takes advantage of the probabilistic sampling in the intermediate features to generate more diverse images in object replacement or addition tasks. The results of our experiments show that disentangling the feature representations in the latent manifold of the model outperforms the previous works qualitatively and quantitatively on two public benchmarks. Project Page: https://scenegenie.github.io/DispositioNet/

我们提出了第一个统一的框架Unicolor，以支持多种方式的着色，包括无条件和条件性的框架，例如中风，示例，文本，甚至是它们的混合。我们没有为每种类型的条件学习单独的模型，而是引入了一个两阶段的着色框架，以将各种条件纳入单个模型。在第一阶段，多模式条件将转换为提示点的共同表示。特别是，我们提出了一种基于剪辑的新方法，将文本转换为提示点。在第二阶段，我们提出了一个基于变压器的网络，该网络由Chroma-vqgan和Hybrid-Transformer组成，以生成以提示点为条件的多样化和高质量的着色结果。定性和定量比较都表明，我们的方法在每种控制方式中都优于最先进的方法，并进一步实现了以前不可行的多模式着色。此外，我们设计了一个交互式界面，显示了我们统一框架在实际用法中的有效性，包括自动着色，混合控制着色，局部再现和迭代色彩编辑。我们的代码和型号可在https://luckyhzt.github.io/unicolor上找到。

桥接全球上下文交互正确对大面具的高保真图像完成非常重要。先前的方法通过深或大的接收领域（RF）卷积无法逃离附近互动的主导地位，这可能是劣等的。在本文中，我们建议将图像完成视为无缝的序列到序列预测任务，并部署变压器以直接捕获编码器中的远程依赖性。至关重要，我们使用具有小而非重叠的RF的限制性CNN，用于加权令牌表示，这允许变压器明确地模拟所有层中的相同重要性，而在使用较大的RF时，没有隐含地混淆邻居令牌。为了改善可见区域之间的外观一致性，引入了一种新的注意力层（aal）以更好地利用远方相关的高频功能。总体而言，与若干数据集上的最先进方法相比，大量实验表现出卓越的性能。

从手绘中生成图像是内容创建的至关重要和基本任务。翻译很困难，因为存在无限的可能性，并且不同的用户通常会期望不同的结果。因此，我们提出了一个统一的框架，该框架支持基于扩散模型的草图和笔触对图像合成的三维控制。用户不仅可以确定输入笔画和草图的忠诚程度，而且还可以确定现实程度，因为用户输入通常与真实图像不一致。定性和定量实验表明，我们的框架实现了最新的性能，同时提供了具有控制形状，颜色和现实主义的自定义图像的灵活性。此外，我们的方法释放了应用程序，例如在真实图像上编辑，部分草图和笔触的生成以及多域多模式合成。

对象放置旨在将前景对象放在具有合适位置和大小的背景图像上。在这项工作中，我们将对象放置视为图形完成问题，并提出一个新的图形完成模块（GCM）。背景场景由一个图形表示，在不同的空间位置具有多个节点，并带有各种接收场。前景对象被编码为应插入该图中合理位置的特殊节点。我们还在GCM的结构上设计了一个双路径框架，以完全利用带注释的复合图像。通过在OPA数据集上进行广泛的实验，我们的方法证明在生成合理的对象放置而不会丧失多样性方面显着胜过现有的方法。

Synthesizing high-quality images from text descriptions is a challenging problem in computer vision and has many practical applications. Samples generated by existing textto-image approaches can roughly reflect the meaning of the given descriptions, but they fail to contain necessary details and vivid object parts. In this paper, we propose Stacked Generative Adversarial Networks (StackGAN) to generate 256×256 photo-realistic images conditioned on text descriptions. We decompose the hard problem into more manageable sub-problems through a sketch-refinement process. The Stage-I GAN sketches the primitive shape and colors of the object based on the given text description, yielding Stage-I low-resolution images. The Stage-II GAN takes Stage-I results and text descriptions as inputs, and generates high-resolution images with photo-realistic details. It is able to rectify defects in Stage-I results and add compelling details with the refinement process. To improve the diversity of the synthesized images and stabilize the training of the conditional-GAN, we introduce a novel Conditioning Augmentation technique that encourages smoothness in the latent conditioning manifold. Extensive experiments and comparisons with state-of-the-arts on benchmark datasets demonstrate that the proposed method achieves significant improvements on generating photo-realistic images conditioned on text descriptions.

Giving machines the ability to imagine possible new objects or scenes from linguistic descriptions and produce their realistic renderings is arguably one of the most challenging problems in computer vision. Recent advances in deep generative models have led to new approaches that give promising results towards this goal. In this paper, we introduce a new method called DiCoMoGAN for manipulating videos with natural language, aiming to perform local and semantic edits on a video clip to alter the appearances of an object of interest. Our GAN architecture allows for better utilization of multiple observations by disentangling content and motion to enable controllable semantic edits. To this end, we introduce two tightly coupled networks: (i) a representation network for constructing a concise understanding of motion dynamics and temporally invariant content, and (ii) a translation network that exploits the extracted latent content representation to actuate the manipulation according to the target description. Our qualitative and quantitative evaluations demonstrate that DiCoMoGAN significantly outperforms existing frame-based methods, producing temporally coherent and semantically more meaningful results.