基于得分的扩散模型已成为深度生成型号最有前途的框架之一。在这项工作中，我们对基于得分的扩散模型进行了学习条件概率分布的不同方法的系统比较和理论分析。特别是，我们证明了结果为条件分数最成功的估算之一提供了理论典范。此外，我们引入了多速扩散框架，这导致了一个新的估算器，用于条件得分，与先前的最先进的方法相提并论。我们的理论和实验结果伴随着开源库MSDIFF，允许应用和进一步研究多速扩散模型。

扩散模型已成为深层生成建模的最有希望的框架之一。在这项工作中，我们探讨了不均匀扩散模型的潜力。我们表明，非均匀扩散会导致多尺度扩散模型，这些模型与多尺度归一化流的结构相似。我们从实验上发现，在相同或更少的训练时间中，多尺度扩散模型比标准均匀扩散模型获得更好的FID得分。更重要的是，它生成样品$ 4.4 $ 4.4美元的$ 4.4 $ $ 128 \ times 128 $分辨率。在使用更多量表的较高分辨率中，预计加速度将更高。此外，我们表明，不均匀的扩散导致有条件得分函数的新估计量，该估计函数以最新的条件降解估计量以PAR性能达到了PAR性能。我们的理论和实验性发现伴随着开源库MSDIFF，可以促进对非均匀扩散模型的进一步研究。

Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.

扩散模型的最新进展带来了图像生成任务的最新性能。然而，扩散模型的先前研究的经验结果意味着密度估计与样品产生性能之间存在逆相关性。本文研究了足够的经验证据，表明这种反相关发生，因为密度估计值显着造成了较小的扩散时间的贡献，而样品产生主要取决于大扩散时间。但是，在整个扩散时间内训练得分网络良好，因为损耗量表在每个扩散时间都显着不平衡。因此，为了成功训练，我们引入了软截断，这是一种普遍适用的扩散模型训练技术，将固定和静态截断的超参数软化为随机变量。在实验中，软截断可在CIFAR-10，Celeba，Celeba-HQ 256X256和STL-10数据集上实现最先进的性能。

去核扩散模型最近已成为强大的生成模型类别。它们提供最新的结果，不仅用于无条件模拟，而且还提供了解决在各种反问题中产生的条件模拟问题时。这些模型的一个局限性在于它们在生成时间上是计算密集型的，因为它们需要长期模拟扩散过程。进行无条件的模拟时，Schr \“生成建模的Odinger桥式公式会导致理论上接地的算法缩短生成时间，这与其他提出的加速技术互补。我们将Schr \'Edinger桥式桥式扩展到条件模拟。我们在各种应用程序上演示了这种新颖的方法，包括图像超分辨率，状态空间模型的最佳过滤以及预训练的网络的完善。我们的代码可以在https://github.com/vdeborto/cdsb上找到。

尽管存在扩散模型的各种变化，但将线性扩散扩散到非线性扩散过程中仅由几项作品研究。非线性效应几乎没有被理解，但是直觉上，将有更多有希望的扩散模式来最佳地训练生成分布向数据分布。本文介绍了基于分数扩散模型的数据自适应和非线性扩散过程。提出的隐式非线性扩散模型（INDM）通过结合归一化流量和扩散过程来学习非线性扩散过程。具体而言，INDM通过通过流网络利用\ textIt {litex {litex {littent Space}的线性扩散来隐式构建\ textIt {data Space}的非线性扩散。由于非线性完全取决于流网络，因此该流网络是形成非线性扩散的关键。这种灵活的非线性是针对DDPM ++的非MLE训练，将INDM的学习曲线提高到了几乎最大的似然估计（MLE）训练，事实证明，这是具有身份流量的INDM的特殊情况。同样，训练非线性扩散可以通过离散的步骤大小产生采样鲁棒性。在实验中，INDM实现了Celeba的最新FID。

In this work, we propose a novel framework for estimating the dimension of the data manifold using a trained diffusion model. A trained diffusion model approximates the gradient of the log density of a noise-corrupted version of the target distribution for varying levels of corruption. If the data concentrates around a manifold embedded in the high-dimensional ambient space, then as the level of corruption decreases, the score function points towards the manifold, as this direction becomes the direction of maximum likelihood increase. Therefore, for small levels of corruption, the diffusion model provides us with access to an approximation of the normal bundle of the data manifold. This allows us to estimate the dimension of the tangent space, thus, the intrinsic dimension of the data manifold. Our method outperforms linear methods for dimensionality detection such as PPCA in controlled experiments.

我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。

我们定义了更广泛的腐败过程，该过程概括了先前已知的扩散模型。为了扭转这些一般的扩散，我们提出了一个称为“软得分匹配”的新目标，可以证明可以学习任何线性腐败过程的得分功能，并为Celeba提供最先进的结果。软得分匹配结合了网络中的降解过程，并训练模型以预测腐败与扩散观察相匹配的干净图像。我们表明，我们的目标在适当的规律性条件下为腐败过程的家庭学习了可能性的梯度。我们进一步开发了一种原则性的方法，以选择一般扩散过程的损坏水平和一种我们称为动量采样器的新型抽样方法。我们评估了我们的框架，腐败是高斯模糊和低幅度添加噪声。我们的方法在Celeba-64上获得了最先进的FID得分$ 1.85 $，表现优于所有以前的线性扩散模型。与香草deno的扩散相比，我们还显示出显着的计算益处。

扩散模型显示出令人难以置信的能力作为生成模型。实际上，它们为文本条件形成的图像生成（例如Imagen和dall-e2）提供了当前最新模型的启动基于观点。我们首先推导了变异扩散模型（VDM）作为马尔可夫分层变异自动编码器的特殊情况，其中三个关键假设可实现ELBO的可拖动计算和可扩展的优化。然后，我们证明，优化VDM归结为学习神经网络以预测三个潜在目标之一：来自任何任意噪声的原始源输入，任何任意噪声输入的原始源噪声或噪声的得分函数输入任何任意噪声水平。然后，我们更深入地研究学习分数函数的含义，并将扩散模型的变异透视图与通过Tweedie的公式明确地与基于得分的生成建模的角度联系起来。最后，我们涵盖了如何通过指导使用扩散模型学习条件分布的方法。

逐步应用高斯噪声将复杂的数据分布转换为大约高斯。逆转此动态定义了一种生成模型。当前进通知过程由随机微分方程（SDE），Song等人提供。 （2021）证明可以使用分数匹配估计相关反向时间SDE的时间不均匀漂移。这种方法的限制是必须在最终分布到高斯的最终分布必须运行前进时间SDE。相反，解决Schr \“odinger桥问题（SB），即路径空间上的熵正常化的最佳运输问题，产生从有限时间内从数据分布产生样本的扩散。我们存在扩散SB（DSB），原始近似迭代比例拟合（IPF）程序来解决SB问题，并提供理论分析以及生成建模实验。第一个DSB迭代恢复Song等人提出的方法。（2021），使用较短时间的灵活性间隔，随后的DSB迭代减少了前进（RESP。后向）SDE的最终时间边际之间的差异，相对于先前（RESP。数据）分布。除了生成的建模之外，DSB提供了广泛适用的计算最优运输工具流行池算法的连续状态空间模拟（Cuturi，2013）。

基于分数的生成模型（SGMS）已经证明了显着的合成质量。 SGMS依赖于扩散过程，逐渐将数据逐渐渗透到贸易分布，而生成式模型则学会去噪。除了数据分布本身，这种去噪任务的复杂性是由扩散过程独特地确定的。我们认为当前的SGMS采用过于简单的扩散，导致不必要的复杂的去噪流程，限制了生成的建模性能。根据与统计力学的联系，我们提出了一种新型危及阻尼Langevin扩散（CLD），并表明基于CLD的SGMS实现了优异的性能。 CLD可以被解释为在扩展空间中运行关节扩散，其中辅助变量可以被视为耦合到数据变量的“速度”，如Hamiltonian动态。我们推导了一种用于CLD的小说得分匹配目标，并表明该模型仅需要了解给定数据的速度分布的条件分布的得分函数，而不是直接学习数据的分数。我们还导出了一种新的采样方案，用于从基于CLD的扩散模型有效合成。我们发现CLD在类似的网络架构和采样计算预算中优于综合质量的先前SGM。我们展示我们的CLD的新型采样器显着优于欧拉 - 玛雅山等求解器。我们的框架为基于刻痕的去噪扩散模型提供了新的见解，并且可以随时用于高分辨率图像合成。项目页面和代码：https：//nv-tlabs.github.io/cld-sgm。

基于分数的生成模型在发电质量和可能性方面具有出色的性能。他们通过将参数化的分数网络与一阶数据得分功能匹配来建模数据分布。分数网络可用于定义ODE（“基于得分的扩散ode”），以进行精确的似然评估。但是，颂歌的可能性与得分匹配目标之间的关系尚不清楚。在这项工作中，我们证明，匹配一阶得分不足以通过在最大可能性和分数匹配目标之间显示差距来最大化ode的可能性。为了填补这一空白，我们表明，可以通过控制第一，第二和三阶得分匹配错误来界定颂歌的负可能性；我们进一步提出了一种新型的高阶denoising评分匹配方法，以实现基于得分的扩散ODE的最大似然训练。我们的算法确保高阶匹配误差受训练错误和较低级错误的限制。我们从经验上观察到，通过高阶匹配，基于得分的扩散频率在合成数据和CIFAR-10上都具有更好的可能性，同时保留了高生成质量。

DeNoising扩散模型代表了计算机视觉中最新的主题，在生成建模领域表现出了显着的结果。扩散模型是一个基于两个阶段的深层生成模型，一个正向扩散阶段和反向扩散阶段。在正向扩散阶段，通过添加高斯噪声，输入数据在几个步骤中逐渐受到干扰。在反向阶段，模型的任务是通过学习逐步逆转扩散过程来恢复原始输入数据。尽管已知的计算负担，即由于采样过程中涉及的步骤数量，扩散模型对生成样品的质量和多样性得到了广泛赞赏。在这项调查中，我们对视觉中应用的denoising扩散模型的文章进行了全面综述，包括该领域的理论和实际贡献。首先，我们识别并介绍了三个通用扩散建模框架，这些框架基于扩散概率模型，噪声调节得分网络和随机微分方程。我们进一步讨论了扩散模型与其他深层生成模型之间的关系，包括变异自动编码器，生成对抗网络，基于能量的模型，自回归模型和正常流量。然后，我们介绍了计算机视觉中应用的扩散模型的多角度分类。最后，我们说明了扩散模型的当前局限性，并设想了一些有趣的未来研究方向。

过去十年已经开发了各种各样的深度生成模型。然而，这些模型通常同时努力解决三个关键要求，包括：高样本质量，模式覆盖和快速采样。我们称之为这些要求所征收的挑战是生成的学习Trielemma，因为现有模型经常为他人交易其中一些。特别是，去噪扩散模型表明了令人印象深刻的样本质量和多样性，但它们昂贵的采样尚未允许它们在许多现实世界应用中应用。在本文中，我们认为这些模型中的缓慢采样基本上归因于去噪步骤中的高斯假设，这些假设仅针对小型尺寸的尺寸。为了使得具有大步骤的去噪，从而减少去噪步骤的总数，我们建议使用复杂的多模态分布来模拟去噪分布。我们引入了去噪扩散生成的对抗网络（去噪扩散GANS），其使用多模式条件GaN模拟每个去噪步骤。通过广泛的评估，我们表明去噪扩散GAN获得原始扩散模型的样本质量和多样性，而在CIFAR-10数据集中是2000 $ \时代。与传统的GAN相比，我们的模型表现出更好的模式覆盖和样本多样性。据我们所知，去噪扩散GaN是第一模型，可在扩散模型中降低采样成本，以便允许它们廉价地应用于现实世界应用。项目页面和代码：https://nvlabs.github.io/denoising-diffusion-gan

由于其高质量的重建以及将现有迭代求解器结合起来的易于性，因此最近将扩散模型作为强大的生成反问题解决器研究。但是，大多数工作都专注于在无噪声设置中解决简单的线性逆问题，这显着不足以使实际问题的复杂性不足。在这项工作中，我们将扩散求解器扩展求解器，以通过后采样的拉普拉斯近似有效地处理一般噪声（非）线性反问题。有趣的是，所得的后验采样方案是扩散采样的混合版本，具有歧管约束梯度，而没有严格的测量一致性投影步骤，与先前的研究相比，在嘈杂的设置中产生了更可取的生成路径。我们的方法表明，扩散模型可以结合各种测量噪声统计量，例如高斯和泊松，并且还有效处理嘈杂的非线性反问题，例如傅立叶相检索和不均匀的脱毛。

我们为基于分数的生成模型（SGM）（例如Denoising扩散概率模型（DDPM））提供理论收敛保证，该模型构成了大型现实世界中生成模型的骨干，例如DALL $ \ cdot $ E2。我们的主要结果是，假设有准确的分数估计值，此类SGM可以从本质上有效地从任何现实的数据分布中进行采样。与先前的作品相反，我们的结果（1）以$ l^2 $准确的分数估算（而不是$ l^\ infty $ -CACCRATE）保持； （2）不需要限制性的功能不平等条件，而这些条件排除了实质性的非con虫； （3）在所有相关问题参数中刻度缩放； （4）匹配兰格文扩散离散的最新复杂性保证，前提是得分误差足够小。我们认为这是SGM的经验成功的强有力理论理由。我们还基于严重阻尼的Langevin扩散（CLD）检查SGM。与传统的观点相反，我们提供了证据，表明CLD的使用不会降低SGM的复杂性。

基于得分的扩散模型是一类生成模型，其动力学由将噪声映射到数据中的随机微分方程描述。尽管最近的作品已经开始为这些模型奠定理论基础，但仍缺乏对扩散时间t的作用的分析理解。当前的最佳实践提倡大型T，以确保正向动力学使扩散足够接近已知和简单的噪声分布。但是，对于更好的分数匹配目标和更高的计算效率，应优选较小的t值。从扩散模型的各种解释开始，在这项工作中，我们量化了这一权衡，并提出了一种新方法，通过采用较小的扩散时间来提高培训和采样的质量和效率。实际上，我们展示了如何使用辅助模型来弥合理想和模拟正向动力学之间的间隙，然后进行标准的反向扩散过程。经验结果支持我们的分析；对于图像数据，我们的方法是竞争性W.R.T.根据标准样本质量指标和对数可能的样本。

在这项工作中，我们引入了一种新的随机算法被称为剪辑，其从任何线性逆问题的后部分布绘制样品，其中假设观察被添加的白色高斯噪声污染。我们的解决方案包含Langevin Dynamics和Newton的方法的想法，并利用预训练的最小均方误差（MMSE）高斯丹麦置位。所提出的方法依赖于包括劣化运算符的奇异值分解（SVD）的后续函数的复杂衍生，以获得所需采样的易迭代算法。由于其瞬极性，算法可以为同样嘈杂的观察产生多个高感性质量样本。我们展示了拟议的图像去掩饰，超分辨率和压缩感测的范例的能力。我们表明所产生的样品是尖锐的，详细且与给定的测量结果一致，它们的多样性暴露了解决的逆问题中的固有不确定性。

由于其作为生成模型的强大表现，最近达到了社区内部的显着兴趣。此外，其对逆问题的应用已经证明了最先进的性能。不幸的是，扩散模型具有临界缺点 - 它们本质上是速度的速度，从而需要几千台迭代来产生来自纯高斯噪声的图像。在这项工作中，我们表明从高斯噪音开始是不必要的。相反，从具有更好初始化的单个向前扩散开始显着降低了反向条件扩散中的采样步骤的数量。这种现象是通过我们的条件扩散策略的随机差分方程的收缩理论正式解释 - 反向扩散的交替应用，然后是非膨胀性数据一致性步骤。新的采样策略被称为较近的漫射 - 更快（CCDF），还揭示了新的洞察，就如何对逆问题的方法如何协同组合扩散模型。具有超分辨率，图像染色和压缩传感MRI的实验结果表明，我们的方法可以在显着降低的采样步骤中实现最先进的重建性能。