现代监视系统使用基于深度学习的面部验证网络执行人员认可。大多数最先进的面部验证系统都是使用可见光谱图像训练的。但是，在弱光和夜间条件的情况下，在可见光谱中获取图像是不切实际的，并且通常在诸如热红外域之类的替代域中捕获图像。在检索相应的可见域图像后，通常在热图像中进行面部验证。这是一个公认的问题，通常称为热能（T2V）图像翻译。在本文中，我们建议针对面部图像的T2V翻译基于Denoising扩散概率模型（DDPM）解决方案。在训练过程中，该模型通过扩散过程了解了它们相应的热图像，可见面部图像的条件分布。在推断过程中，可见的域图像是通过从高斯噪声开始并反复执行的。 DDPM的现有推理过程是随机且耗时的。因此，我们提出了一种新颖的推理策略，以加快DDPM的推理时间，特别是用于T2V图像翻译问题。我们在多个数据集上实现了最新结果。代码和验证的模型可在http://github.com/nithin-gk/t2v-ddpm上公开获得

尽管许多远程成像系统旨在支持扩展视力应用，但由于大气湍流，其操作的自然障碍是退化。大气湍流通过引入模糊和几何变形而导致图像质量的显着降解。近年来，在文献中提出了各种基于深度学习的单图像缓解方法，包括基于CNN的基于CNN和基于GAN的反转方法，这些方法试图消除图像中的失真。但是，其中一些方法很难训练，并且通常无法重建面部特征并产生不切实际的结果，尤其是在高湍流的情况下。降级扩散概率模型（DDPM）最近由于其稳定的训练过程和产生高质量图像的能力而获得了一些吸引力。在本文中，我们提出了第一个基于DDPM的解决方案，用于缓解大气湍流问题。我们还提出了一种快速采样技术，用于减少条件DDPM的推理时间。对合成和现实世界数据进行了广泛的实验，以显示我们模型的重要性。为了促进进一步的研究，在审查过程之后，所有代码和验证的模型都将公开。

Conditional diffusion probabilistic models can model the distribution of natural images and can generate diverse and realistic samples based on given conditions. However, oftentimes their results can be unrealistic with observable color shifts and textures. We believe that this issue results from the divergence between the probabilistic distribution learned by the model and the distribution of natural images. The delicate conditions gradually enlarge the divergence during each sampling timestep. To address this issue, we introduce a new method that brings the predicted samples to the training data manifold using a pretrained unconditional diffusion model. The unconditional model acts as a regularizer and reduces the divergence introduced by the conditional model at each sampling step. We perform comprehensive experiments to demonstrate the effectiveness of our approach on super-resolution, colorization, turbulence removal, and image-deraining tasks. The improvements obtained by our method suggest that the priors can be incorporated as a general plugin for improving conditional diffusion models.

传播模型已被证明对各种应用程序有效，例如图像，音频和图形生成。其他重要的应用是图像超分辨率和逆问题的解决方案。最近，一些作品使用了随机微分方程（SDE）将扩散模型推广到连续时间。在这项工作中，我们介绍SDE来生成超分辨率的面部图像。据我们所知，这是SDE首次用于此类应用程序。所提出的方法比基于扩散模型的现有超级分辨率方法提供了改进的峰值信噪比（PSNR），结构相似性指数（SSIM）和一致性。特别是，我们还评估了该方法在面部识别任务中的潜在应用。通用面部特征提取器用于比较超分辨率图像与地面真相，并获得了与其他方法相比，获得了卓越的结果。我们的代码可在https://github.com/marcelowds/sr-sde上公开获取

Generating photos satisfying multiple constraints find broad utility in the content creation industry. A key hurdle to accomplishing this task is the need for paired data consisting of all modalities (i.e., constraints) and their corresponding output. Moreover, existing methods need retraining using paired data across all modalities to introduce a new condition. This paper proposes a solution to this problem based on denoising diffusion probabilistic models (DDPMs). Our motivation for choosing diffusion models over other generative models comes from the flexible internal structure of diffusion models. Since each sampling step in the DDPM follows a Gaussian distribution, we show that there exists a closed-form solution for generating an image given various constraints. Our method can unite multiple diffusion models trained on multiple sub-tasks and conquer the combined task through our proposed sampling strategy. We also introduce a novel reliability parameter that allows using different off-the-shelf diffusion models trained across various datasets during sampling time alone to guide it to the desired outcome satisfying multiple constraints. We perform experiments on various standard multimodal tasks to demonstrate the effectiveness of our approach. More details can be found in https://nithin-gk.github.io/projectpages/Multidiff/index.html

扩散模型已显示出令人印象深刻的图像产生性能，并已用于各种计算机视觉任务。不幸的是，使用扩散模型的图像生成非常耗时，因为它需要数千个采样步骤。为了解决这个问题，我们在这里提出了一种新型的金字塔扩散模型，以使用训练有位置嵌入的单个分数函数从更粗的分辨率图像开始生成高分辨率图像。这使图像生成的时间效率抽样可以解决，并在资源有限的训练时也可以解决低批量的大小问题。此外，我们表明，使用单个分数函数可以有效地用于多尺度的超分辨率问题。

在不利天气条件下的图像恢复对各种计算机视觉应用引起了重大兴趣。最近的成功方法取决于深度神经网络架构设计（例如，具有视觉变压器）的当前进展。由最新的条件生成模型取得的最新进展的动机，我们提出了一种基于贴片的图像恢复算法，基于脱氧扩散概率模型。我们的基于贴片的扩散建模方法可以通过使用指导的DeNoising过程进行尺寸 - 不足的图像恢复，并在推理过程中对重叠贴片进行平滑的噪声估计。我们在基准数据集上经验评估了我们的模型，以进行图像，混合的降低和飞行以及去除雨滴的去除。我们展示了我们在特定天气和多天气图像恢复上实现最先进的表演的方法，并在质量上表现出对现实世界测试图像的强烈概括。

While deep learning-based methods for blind face restoration have achieved unprecedented success, they still suffer from two major limitations. First, most of them deteriorate when facing complex degradations out of their training data. Second, these methods require multiple constraints, e.g., fidelity, perceptual, and adversarial losses, which require laborious hyper-parameter tuning to stabilize and balance their influences. In this work, we propose a novel method named DifFace that is capable of coping with unseen and complex degradations more gracefully without complicated loss designs. The key of our method is to establish a posterior distribution from the observed low-quality (LQ) image to its high-quality (HQ) counterpart. In particular, we design a transition distribution from the LQ image to the intermediate state of a pre-trained diffusion model and then gradually transmit from this intermediate state to the HQ target by recursively applying a pre-trained diffusion model. The transition distribution only relies on a restoration backbone that is trained with $L_2$ loss on some synthetic data, which favorably avoids the cumbersome training process in existing methods. Moreover, the transition distribution can contract the error of the restoration backbone and thus makes our method more robust to unknown degradations. Comprehensive experiments show that DifFace is superior to current state-of-the-art methods, especially in cases with severe degradations. Our code and model are available at https://github.com/zsyOAOA/DifFace.

自由格式介绍是在任意二进制掩码指定的区域中向图像中添加新内容的任务。大多数现有方法训练了一定的面具分布，这将其概括能力限制为看不见的掩模类型。此外，通过像素和知觉损失的训练通常会导致对缺失区域的简单质地扩展，而不是语义上有意义的一代。在这项工作中，我们提出重新启动：基于deno的扩散概率模型（DDPM）的内部介入方法，甚至适用于极端掩模。我们采用预定的无条件DDPM作为生成先验。为了调节生成过程，我们仅通过使用给定的图像信息对未掩盖的区域进行采样来改变反向扩散迭代。由于该技术不会修改或调节原始DDPM网络本身，因此该模型可为任何填充形式产生高质量和不同的输出图像。我们使用标准面具和极端口罩验证面部和通用图像的方法。重新粉刷优于最先进的自动回归，而GAN的方法至少在六个面具分布中进行了五个。 github存储库：git.io/repaint

Speckle是一种乘法噪声，它会影响所有连贯的成像方式，包括合成孔径雷达（SAR）图像。斑点的存在降低了图像质量和不利影响SAR图像理解应用程序的性能，例如自动目标识别和变更检测。因此，SAR Despeckling是遥感中的重要问题。在本文中，我们介绍了SAR-DDPM，这是SAR Despeckling的降解扩散概率模型。提出的方法包括马尔可夫链，该链通过反复添加随机噪声将干净的图像转换为白色高斯噪声。伪造的图像是通过反向过程恢复的，该过程迭代地使用噪声预测器在斑点图像上进行噪声预测。此外，我们提出了一种基于循环旋转的新推理策略，以提高选品的性能。我们对合成和真实SAR图像的实验表明，所提出的方法在定量和定性结果方面在最新的伪造方法上都取得了重大改进。

图像deBlurring是一种对给定输入图像的多种合理的解决方案是一个不适的问题。然而，大多数现有方法产生了清洁图像的确定性估计，并且训练以最小化像素级失真。已知这些指标与人类感知差，并且通常导致不切实际的重建。我们基于条件扩散模型介绍了盲脱模的替代框架。与现有技术不同，我们训练一个随机采样器，它改进了确定性预测器的输出，并且能够为给定输入产生多样化的合理重建。这导致跨多个标准基准的现有最先进方法的感知质量的显着提高。与典型的扩散模型相比，我们的预测和精致方法也能实现更有效的采样。结合仔细调整的网络架构和推理过程，我们的方法在PSNR等失真度量方面具有竞争力。这些结果表明了我们基于扩散和挑战的扩散和挑战的策略的显着优势，生产单一确定性重建的广泛使用策略。

多模式先验下的图像合成是一项有用且具有挑战性的任务，近年来受到了越来越多的关注。使用生成模型来完成此任务的一个主要挑战是缺乏包含所有模式（即先验）和相应输出的配对数据。在最近的工作中，对各种自动编码器（VAE）模型进行了弱监督的培训，以应对这一挑战。由于VAE的生成能力通常受到限制，因此该方法很难合成属于复杂分布的图像。为此，我们提出了一个基于脱氧扩散概率模型的解决方案，以在多模型先验下合成图像。基于以下事实：扩散模型中的每个时间步中的分布都是高斯，在这项工作中，我们表明对生成图像的封闭形式表达式对应于给定的模态。所提出的解决方案不需要所有模式的明确重试，并且可以根据不同的约束来利用单个模式的输出来生成逼真的图像。我们对两个现实世界数据集进行研究，以证明我们的方法的有效性

Font generation is a difficult and time-consuming task, especially in those languages using ideograms that have complicated structures with a large number of characters, such as Chinese. To solve this problem, few-shot font generation and even one-shot font generation have attracted a lot of attention. However, most existing font generation methods may still suffer from (i) large cross-font gap challenge; (ii) subtle cross-font variation problem; and (iii) incorrect generation of complicated characters. In this paper, we propose a novel one-shot font generation method based on a diffusion model, named Diff-Font, which can be stably trained on large datasets. The proposed model aims to generate the entire font library by giving only one sample as the reference. Specifically, a large stroke-wise dataset is constructed, and a stroke-wise diffusion model is proposed to preserve the structure and the completion of each generated character. To our best knowledge, the proposed Diff-Font is the first work that developed diffusion models to handle the font generation task. The well-trained Diff-Font is not only robust to font gap and font variation, but also achieved promising performance on difficult character generation. Compared to previous font generation methods, our model reaches state-of-the-art performance both qualitatively and quantitatively.

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

In this paper, we propose a diffusion-based face swapping framework for the first time, called DiffFace, composed of training ID conditional DDPM, sampling with facial guidance, and a target-preserving blending. In specific, in the training process, the ID conditional DDPM is trained to generate face images with the desired identity. In the sampling process, we use the off-the-shelf facial expert models to make the model transfer source identity while preserving target attributes faithfully. During this process, to preserve the background of the target image and obtain the desired face swapping result, we additionally propose a target-preserving blending strategy. It helps our model to keep the attributes of the target face from noise while transferring the source facial identity. In addition, without any re-training, our model can flexibly apply additional facial guidance and adaptively control the ID-attributes trade-off to achieve the desired results. To the best of our knowledge, this is the first approach that applies the diffusion model in face swapping task. Compared with previous GAN-based approaches, by taking advantage of the diffusion model for the face swapping task, DiffFace achieves better benefits such as training stability, high fidelity, diversity of the samples, and controllability. Extensive experiments show that our DiffFace is comparable or superior to the state-of-the-art methods on several standard face swapping benchmarks.

我们使用条件扩散模型介绍调色板，这是一种简单而一般的框架，可用于图像到图像到图像转换。在四个具有挑战性的图像到图像转换任务（着色，染色，un折叠和JPEG减压），调色板优于强大的GaN和回归基线，并建立了新的最新状态。这是在没有特定于任务特定的超参数调整，架构定制或任何辅助损耗的情况下实现的，展示了理想的一般性和灵活性。我们揭示了使用$ l_2 $与vs. $ l_1 $损失在样本多样性上的越来越多的影响，并通过经验架构研究表明自我关注的重要性。重要的是，我们倡导基于想象项目的统一评估协议，并报告包括预先训练的Reset-50的FID，成立得分，分类准确度的多个样本质量评分，以及针对各种基线的参考图像的感知距离。我们预计这一标准化评估协议在推进图像到图像翻译研究方面发挥着关键作用。最后，我们表明，在3个任务（着色，染色，JPEG减压）上培训的单个通用调色板模型也表现或优于特定于任务专家的专家对应物。

异质的面部识别（HFR）旨在匹配不同域（例如，可见到近红外图像）的面孔，该面孔已被广泛应用于身份验证和取证方案。但是，HFR是一个具有挑战性的问题，因为跨域差异很大，异质数据对有限和面部属性变化很大。为了应对这些挑战，我们从异质数据增强的角度提出了一种新的HFR方法，该方法称为面部合成，具有身份 - 属性分解（FSIAD）。首先，身份属性分解（IAD）将图像截取到与身份相关的表示和与身份无关的表示（称为属性）中，然后降低身份和属性之间的相关性。其次，我们设计了一个面部合成模块（FSM），以生成大量具有分离的身份和属性的随机组合的图像，以丰富合成图像的属性多样性。原始图像和合成图像均被用于训练HFR网络，以应对挑战并提高HFR的性能。在五个HFR数据库上进行的广泛实验验证了FSIAD的性能比以前的HFR方法更高。特别是，FSIAD以vr@far = 0.01%在LAMP-HQ上获得了4.8％的改善，这是迄今为止最大的HFR数据库。

深度卷积神经网络（DCNNS）的最新进展显示了热量的性能改进，可见的脸部合成和匹配问题。然而，当前的基于DCNN的合成模型在具有大姿势变化的热面上不太良好。为了处理该问题，需要异构面部额定化方法，其中模型采用热剖面图像并产生正面可见面。这是由于大域的一个极其困难的问题，以及两个模式之间的大姿态差异。尽管其在生物识别和监测中存在应用，但文献中的这种问题相对未探索。我们提出了一种域名不可知论的基于学习的生成对抗网络（DAL-GAN），其可以通过具有姿势变化的热面来合成可见域中的前视图。 Dal-GaN由具有辅助分类器的发电机和两个鉴别器，捕获局部和全局纹理鉴别以获得更好的合成。在双路径训练策略的帮助下，在发电机的潜在空间中强制实施对比度约束，这改善了特征向量辨别。最后，利用多功能损失函数来指导网络合成保存跨域累加的身份。广泛的实验结果表明，与其他基线方法相比，Dal-GaN可以产生更好的质量正面视图。

Near infrared (NIR) to Visible (VIS) face matching is challenging due to the significant domain gaps as well as a lack of sufficient data for cross-modality model training. To overcome this problem, we propose a novel method for paired NIR-VIS facial image generation. Specifically, we reconstruct 3D face shape and reflectance from a large 2D facial dataset and introduce a novel method of transforming the VIS reflectance to NIR reflectance. We then use a physically-based renderer to generate a vast, high-resolution and photorealistic dataset consisting of various poses and identities in the NIR and VIS spectra. Moreover, to facilitate the identity feature learning, we propose an IDentity-based Maximum Mean Discrepancy (ID-MMD) loss, which not only reduces the modality gap between NIR and VIS images at the domain level but encourages the network to focus on the identity features instead of facial details, such as poses and accessories. Extensive experiments conducted on four challenging NIR-VIS face recognition benchmarks demonstrate that the proposed method can achieve comparable performance with the state-of-the-art (SOTA) methods without requiring any existing NIR-VIS face recognition datasets. With slightly fine-tuning on the target NIR-VIS face recognition datasets, our method can significantly surpass the SOTA performance. Code and pretrained models are released under the insightface (https://github.com/deepinsight/insightface/tree/master/recognition).

扩散模型（DMS）显示出高质量图像合成的巨大潜力。但是，当涉及到具有复杂场景的图像时，如何正确描述图像全局结构和对象细节仍然是一项具有挑战性的任务。在本文中，我们提出了弗里多（Frido），这是一种特征金字塔扩散模型，该模型执行了图像合成的多尺度粗到1个降解过程。我们的模型将输入图像分解为依赖比例的矢量量化特征，然后是用于产生图像输出的粗到细门。在上述多尺度表示阶段，可以进一步利用文本，场景图或图像布局等其他输入条件。因此，还可以将弗里多应用于条件或跨模式图像合成。我们对各种无条件和有条件的图像生成任务进行了广泛的实验，从文本到图像综合，布局到图像，场景环形图像到标签形象。更具体地说，我们在五个基准测试中获得了最先进的FID分数，即可可和开阔图像的布局到图像，可可和视觉基因组的场景环形图像以及可可的标签对图像图像。 。代码可在https://github.com/davidhalladay/frido上找到。