常见的图像到图像翻译方法依赖于来自源和目标域的数据的联合培训。这可以防止培训过程保留域数据的隐私（例如，在联合环境中），并且通常意味着必须对新模型进行新的模型。我们提出了双扩散隐式桥（DDIB），这是一种基于扩散模型的图像翻译方法，它绕过域对训练。带有DDIBS的图像翻译依赖于对每个域独立训练的两个扩散模型，并且是一个两步的过程：DDIB首先获得具有源扩散模型的源图像的潜在编码，然后使用目标模型来解码此类编码，以构造目标模型。这两个步骤均通过ODE定义，因此该过程仅与ODE求解器的离散误差有关。从理论上讲，我们将DDIB解释为潜在源的串联，而潜在的靶向Schr \” Odinger Bridges是一种熵调节的最佳运输形式，以解释该方法的功效。我们在实验上都应用了ddibs，在合成和高级和高位上应用DDIB分辨率图像数据集，以在各种翻译任务中演示其实用性及其与现有最佳传输方法的连接。

我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

Diffusion models have recently outperformed alternative approaches to model the distribution of natural images, such as GANs. Such diffusion models allow for deterministic sampling via the probability flow ODE, giving rise to a latent space and an encoder map. While having important practical applications, such as estimation of the likelihood, the theoretical properties of this map are not yet fully understood. In the present work, we partially address this question for the popular case of the VP SDE (DDPM) approach. We show that, perhaps surprisingly, the DDPM encoder map coincides with the optimal transport map for common distributions; we support this claim theoretically and by extensive numerical experiments.

与深入生成模型中现有的基于功能的模型相比，最近提出的扩散模型通过基于随机过程的方法实现了出色的性能。但是，由于许多时间段的离散时间，这种方法需要长时间的采样时间。 Schr \“基于Odinger Bridge（SB）的模型试图通过训练分布之间的双向随机过程来解决此问题。但是，与生成对抗性网络等生成模型相比，它们仍然具有缓慢的采样速度。由于生成对抗性网络。双向随机过程，它们需要相对较长的训练时间。因此，这项研究试图减少所需的时间段和训练时间的数量，并向现有的SB模型提出了正则化项，以使双向随机过程保持一致且稳定，并减少稳定时间段。每个正则化项都集成到单个术语中，以实现计算时间和内存使用情况的效率训练。将此正则随机过程应用于各种生成任务，获得了不同分布之间的所需翻译，因此，生成建模的可能性基于更快的随机过程可以确认采样速度。该代码可在https://github.com/kiungsong/rsb上获得。

深度学习表现出巨大的生成任务潜力。生成模型是可以根据某些隐含参数随机生成观测值的模型类。最近，扩散模型由于其发电能力而成为一类生成模型。如今，已经取得了巨大的成就。除了计算机视觉，语音产生，生物信息学和自然语言处理外，还需要在该领域探索更多应用。但是，扩散模型具有缓慢生成过程的自然缺点，从而导致许多增强的作品。该调查总结了扩散模型的领域。我们首先说明了两项具有里程碑意义的作品的主要问题-DDPM和DSM。然后，我们提供各种高级技术，以加快扩散模型 - 训练时间表，无训练采样，混合模型以及得分和扩散统一。关于现有模型，我们还根据特定的NFE提供了FID得分的基准和NLL。此外，引入了带有扩散模型的应用程序，包括计算机视觉，序列建模，音频和科学AI。最后，该领域以及局限性和进一步的方向都进行了摘要。

基于得分的扩散生成模型（SDGM）已实现了SOTA FID导致未配对的图像到图像翻译（I2i）。但是，我们注意到现有方法完全忽略了源域中的培训数据，从而导致了未配对I2i的次优解决方案。为此，我们提出了能源引导的随机微分方程（EGSDE），该方程采用了在源和目标域上鉴定的能量函数，以指导鉴定的SDE推理过程，以实现现实和忠实的不成对的I2i。在两个功能提取器的基础上，我们仔细设计了能量功能，以鼓励传输的图像保留独立于域的特征和丢弃域特异性域。此外，我们提供了EGSDE作为专家的产品的替代解释，其中三位专家（对应于SDE和两个功能提取器）中的每一个都仅有助于忠诚或现实主义。从经验上讲，我们将EGSDE与三个公认的未配对的I2I任务在四个指标下进行的大型基线进行了比较。 EGSDE不仅在几乎所有设置中都始终优于现有的基于SDGMS的方法，而且还取得了SOTA现实主义的结果​​（例如，猫在狗到狗中的65.82的FID为65.82，而在AFHQ上野生对狗的FID为59.75），而无需损害忠实的表现。

扩散模型是一类深入生成模型，在具有密集理论建立的各种任务上显示出令人印象深刻的结果。尽管与其他最先进的模型相比，扩散模型的样本合成质量和多样性令人印象深刻，但它们仍然遭受了昂贵的抽样程序和次优可能的估计。最近的研究表明，对提高扩散模型的性能的热情非常热情。在本文中，我们对扩散模型的现有变体进行了首次全面综述。具体而言，我们提供了扩散模型的第一个分类法，并将它们分类为三种类型，即采样加速增强，可能性最大化的增强和数据将来增强。我们还详细介绍了其他五个生成模型（即变异自动编码器，生成对抗网络，正常流量，自动回归模型和基于能量的模型），并阐明扩散模型与这些生成模型之间的连接。然后，我们对扩散模型的应用进行彻底研究，包括计算机视觉，自然语言处理，波形信号处理，多模式建模，分子图生成，时间序列建模和对抗性纯化。此外，我们提出了与这种生成模型的发展有关的新观点。

过去的几年见证了扩散模型〜（DMS）在生成建模任务中生成高保真样本方面取得的巨大成功。 DM的主要局限性是其臭名昭著的缓慢采样程序，通常需要数百到数千至数千个的时间离散步骤，以达到所需的准确性。我们的目标是为DMS开发快速采样方法，该方法的步骤少得多，同时保留了高样本质量。为此，我们系统地分析了DMS中的采样程序，并确定影响样本质量的关键因素，其中离散化方法至关重要。通过仔细检查学习的扩散过程，我们提出了扩散指数积分取样器〜（DEIS）。它基于设计用于离散的普通微分方程（ODE）的指数积分器，并利用学习扩散过程的半线性结构来减少离散误差。所提出的方法可以应用于任何DMS，并可以在短短10个步骤中生成高保真样本。在我们的实验中，一个A6000 GPU大约需要3分钟才能从CIFAR10产生$ 50K $的图像。此外，通过直接使用预训练的DMS，当得分函数评估的数量〜（NFE）的数量有限时，我们实现了最先进的采样性能，例如，使用10 NFES，3.37 FID和9.74的4.17 FID，仅为9.74 CIFAR10上的15个NFE。代码可从https://github.com/qsh-zh/deis获得

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

最近，GaN反演方法与对比语言 - 图像预先绘制（CLIP）相结合，可以通过文本提示引导零拍摄图像操作。然而，由于GaN反转能力有限，它们对不同实物的不同实物的应用仍然困难。具体地，这些方法通常在与训练数据相比，改变对象标识或产生不需要的图像伪影的比较与新颖姿势，视图和高度可变内容重建具有新颖姿势，视图和高度可变内容的困难。为了减轻这些问题并实现真实图像的忠实操纵，我们提出了一种新的方法，Dumbused Clip，其使用扩散模型执行文本驱动的图像操纵。基于近期扩散模型的完整反转能力和高质量的图像生成功率，即使在看不见的域之间也成功地执行零拍摄图像操作。此外，我们提出了一种新颖的噪声组合方法，允许简单的多属性操作。与现有基线相比，广泛的实验和人类评估确认了我们的方法的稳健和卓越的操纵性能。

Schr \“ Odinger Bridge（SB）是一个熵调控的最佳运输问题，与基于评分的生成模型（SGM）相比，在深层生成模型中，人们对其数学灵活性受到了越来越多的关注。但是，是否尚不清楚优化原理是否仍然不清楚SB的涉及深层生成模型的现代培训，这些模型通常依赖于构建对数类似目标的目标。这提出了有关SB模型作为生成应用的原则替代方案的问题。在这项工作中，我们提供了一个新颖的计算框架，用于基于前向后的随机微分方程理论的SB模型的似然训练 - 随机最佳控制中出现了一种数学方法论，将SB的最佳条件转换为一组SDE。至关重要的是，这些SDE可用于构建SB的SB目标目标，以构建SB的可能性目标。令人惊讶的是，这将SGM的特殊情况概括为特殊情况。这导致了新的Opmimi Zation原理继承了相同的SB最优性，但并没有失去现代生成训练技术的应用，我们表明所得的训练算法在生成MNIST，CEELBA和CIFAR10的现实图像方面取得了可比的结果。我们的代码可在https://github.com/ghliu/sb-fbsde上找到。

基于得分的扩散模型是一类生成模型，其动力学由将噪声映射到数据中的随机微分方程描述。尽管最近的作品已经开始为这些模型奠定理论基础，但仍缺乏对扩散时间t的作用的分析理解。当前的最佳实践提倡大型T，以确保正向动力学使扩散足够接近已知和简单的噪声分布。但是，对于更好的分数匹配目标和更高的计算效率，应优选较小的t值。从扩散模型的各种解释开始，在这项工作中，我们量化了这一权衡，并提出了一种新方法，通过采用较小的扩散时间来提高培训和采样的质量和效率。实际上，我们展示了如何使用辅助模型来弥合理想和模拟正向动力学之间的间隙，然后进行标准的反向扩散过程。经验结果支持我们的分析；对于图像数据，我们的方法是竞争性W.R.T.根据标准样本质量指标和对数可能的样本。

Normalizing flow is a class of deep generative models for efficient sampling and density estimation. In practice, the flow often appears as a chain of invertible neural network blocks; to facilitate training, existing works have regularized flow trajectories and designed special network architectures. The current paper develops a neural ODE flow network inspired by the Jordan-Kinderleherer-Otto (JKO) scheme, which allows efficient block-wise training of the residual blocks and avoids inner loops of score matching or variational learning. As the JKO scheme unfolds the dynamic of gradient flow, the proposed model naturally stacks residual network blocks one-by-one, reducing the memory load and difficulty of performing end-to-end training of deep flow networks. We also develop adaptive time reparameterization of the flow network with a progressive refinement of the trajectory in probability space, which improves the model training efficiency and accuracy in practice. Using numerical experiments with synthetic and real data, we show that the proposed JKO-iFlow model achieves similar or better performance in generating new samples compared with existing flow and diffusion models at a significantly reduced computational and memory cost.

Diffusion models have achieved unprecedented performance in generative modeling. The commonly-adopted formulation of the latent code of diffusion models is a sequence of gradually denoised samples, as opposed to the simpler (e.g., Gaussian) latent space of GANs, VAEs, and normalizing flows. This paper provides an alternative, Gaussian formulation of the latent space of various diffusion models, as well as an invertible DPM-Encoder that maps images into the latent space. While our formulation is purely based on the definition of diffusion models, we demonstrate several intriguing consequences. (1) Empirically, we observe that a common latent space emerges from two diffusion models trained independently on related domains. In light of this finding, we propose CycleDiffusion, which uses DPM-Encoder for unpaired image-to-image translation. Furthermore, applying CycleDiffusion to text-to-image diffusion models, we show that large-scale text-to-image diffusion models can be used as zero-shot image-to-image editors. (2) One can guide pre-trained diffusion models and GANs by controlling the latent codes in a unified, plug-and-play formulation based on energy-based models. Using the CLIP model and a face recognition model as guidance, we demonstrate that diffusion models have better coverage of low-density sub-populations and individuals than GANs. The code is publicly available at https://github.com/ChenWu98/cycle-diffusion.

我们的目标是将denoisis扩散隐式模型（DDIM）扩展到一般扩散模型〜（DMS）。我们没有像原始DDIM论文那样构建非马尔科夫no噪声过程，而是从数值的角度研究了DDIM的机制。我们发现，在求解相应的随机微分方程时，可以通过使用分数的一些特定近似值来获得DDIM。我们提出了DDIM加速效应的解释，该解释还解释了确定性抽样方案的优势，而不是随机采样方案进行快速采样。在此洞察力的基础上，我们将DDIM扩展到一般的DMS，并在参数化分数网络时进行了小而微妙的修改。当应用于批判性抑制的Langevin扩散模型时，最近提出的一种新型的扩散模型通过以速度增强扩散过程，我们的算法在CIFAR10上达到了2.28的FID分数，仅具有50个数量的得分功能评估（NFES）（NFES〜（NFES） ）和仅有27个NFE的FID分数为2.87，比所有具有相同NFE的现有方法要好。代码可从https://github.com/qsh-zh/gddim获得

从手绘中生成图像是内容创建的至关重要和基本任务。翻译很困难，因为存在无限的可能性，并且不同的用户通常会期望不同的结果。因此，我们提出了一个统一的框架，该框架支持基于扩散模型的草图和笔触对图像合成的三维控制。用户不仅可以确定输入笔画和草图的忠诚程度，而且还可以确定现实程度，因为用户输入通常与真实图像不一致。定性和定量实验表明，我们的框架实现了最新的性能，同时提供了具有控制形状，颜色和现实主义的自定义图像的灵活性。此外，我们的方法释放了应用程序，例如在真实图像上编辑，部分草图和笔触的生成以及多域多模式合成。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

去噪扩散概率模型（DDPMS）在没有对抗性训练的情况下实现了高质量的图像生成，但它们需要模拟Markov链以产生样品的许多步骤。为了加速采样，我们呈现去噪扩散隐式模型（DDIM），更有效的迭代类隐式概率模型，具有与DDPM相同的培训过程。在DDPMS中，生成过程被定义为Markovian扩散过程的反向。我们构建一类导致相同的训练目标的非马尔可瓦夫扩散过程，但其反向过程可能会更快地采样。我们经验证明，与DDPM相比，DDIM可以生产高质量的样本10倍以上$ 50 \时间$ 50 \倍。允许我们缩小对样本质量的计算，并可以直接执行语义有意义的图像插值潜在的空间。

引导图像综合使日常用户能够以最低努力创建和编辑照片逼真的图像。关键挑战是对用户输入（例如，手绘彩色笔划）和合成图像的现实来平衡忠实忠诚。现有的基于GAN的方法尝试使用条件的GAN或GAN enversions实现此类平衡，这是具有挑战性的，并且通常需要额外的培训数据或个别应用程序的损失函数。为了解决这些问题，我们引入了一种新的图像综合和编辑方法，基于传播模型生成的现成的新图像合成和编辑方法，随机差分编辑（SDETIT），其通过通过随机微分方程（SDE）迭代地脱颖而见，这将逼真的图像合成现实图像。鉴于使用任何类型的用户指南的输入图像，SDEDIT首先向输入添加噪声，然后在增加其现实主义之前通过SDE向所得到的图像进行去噪。 Sdedit不需要特定的任务培训或反转，并且可以自然地实现现实主义和忠诚之间的平衡。根据人类的感知研究，在现实主义研究中，SDEDIT在现实主义上显着优于最先进的GAN的方法，高达98.09％，而且整体满意度评分的91.72％，包括基于行程的图像合成和编辑作为图像合成。