图像质量评估（IQA）指标被广泛用于定量估计一些形成，恢复，转换或增强算法后图像降解的程度。我们提出了Pytorch图像质量（PIQ），这是一个以可用性为中心的库，其中包含最受欢迎的现代IQA算法，并保证根据其原始命题正确实现并进行了彻底验证。在本文中，我们详细介绍了图书馆基础背后的原则，描述了使其可靠的评估策略，提供了展示性能时间权衡的基准，并强调了GPU加速的好处Pytorch后端。Pytorch图像质量是一个开源软件：https：//github.com/photosynthesis-team/piq/。

Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1

图像质量评估（IQA）算法旨在再现人类对图像质量的看法。图像增强，生成和恢复模型的日益普及促使开发了许多方法来评估其性能。但是，大多数IQA解决方案旨在预测通用域中的图像质量，并适用于特定区域，例如医学成像，保持可疑。此外，对于特定任务的这些IQA指标的选择通常涉及故意引起的扭曲，例如手动添加噪声或人工模糊。然而，随后选择的指标被用来判断现实生活中计算机视觉模型的输出。在这项工作中，我们渴望通过对迄今为止的磁共振成像（MRI）进行最广泛的IQA评估研究来填补这些空白（14,700个主观得分）。我们使用经过培训的神经网络模型的输出，以解决与MRI相关的问题，包括扫描加速度，运动校正和DENOSISING中的图像重建。我们的重点是反映放射科医生对重建图像的看法，评估了MRI扫描质量的最具诊断性影响的标准：信噪比，对比度与噪声比率和人工制品的存在。七位训练有素的放射科医生评估了这些扭曲的图像，其判决随后与35个不同的图像质量指标（考虑到全参考，无参考和基于分布的指标）相关。对于所有被认为是解剖学和目标任务的三个拟议质量标准，发现最高的表现者 - DIST，HAARPSI，VSI和FID-VGG16 - 在三个提出的质量标准中都是有效的。

现有的基于深度学习的全参考IQA（FR-IQA）模型通常通过明确比较特征，以确定性的方式预测图像质量，从而衡量图像严重扭曲的图像是多远，相应的功能与参考的空间相对远。图片。本文中，我们从不同的角度看这个问题，并提议从统计分布的角度对知觉空间中的质量降解进行建模。因此，根据深度特征域中的Wasserstein距离来测量质量。更具体地说，根据执行最终质量评分，测量了预训练VGG网络的每个阶段的1Dwasserstein距离。 Deep Wasserstein距离（DEEPWSD）在神经网络的功能上执行的，可以更好地解释由各种扭曲引起的质量污染，并提出了高级质量预测能力。广泛的实验和理论分析表明，在质量预测和优化方面，提出的DEEPWSD的优越性。

在这项工作中，我们介绍了梯度暹罗网络（GSN）进行图像质量评估。所提出的方法熟练地捕获了全参考图像质量评估（IQA）任务中扭曲的图像和参考图像之间的梯度特征。我们利用中央微分卷积获得图像对中隐藏的语义特征和细节差异。此外，空间注意力指导网络专注于与图像细节相关的区域。对于网络提取的低级，中级和高级功能，我们创新设计了一种多级融合方法，以提高功能利用率的效率。除了常见的均方根错误监督外，我们还进一步考虑了批处理样本之间的相对距离，并成功地将KL差异丢失应用于图像质量评估任务。我们在几个公开可用的数据集上试验了提出的算法GSN，并证明了其出色的性能。我们的网络赢得了NTIRE 2022感知图像质量评估挑战赛1的第二名。

Deep learning-based full-reference image quality assessment (FR-IQA) models typically rely on the feature distance between the reference and distorted images. However, the underlying assumption of these models that the distance in the deep feature domain could quantify the quality degradation does not scientifically align with the invariant texture perception, especially when the images are generated artificially by neural networks. In this paper, we bring a radical shift in inferring the quality with learned features and propose the Deep Image Dependency (DID) based FR-IQA model. The feature dependency facilitates the comparisons of deep learning features in a high-order manner with Brownian distance covariance, which is characterized by the joint distribution of the features from reference and test images, as well as their marginal distributions. This enables the quantification of the feature dependency against nonlinear transformation, which is far beyond the computation of the numerical errors in the feature space. Experiments on image quality prediction, texture image similarity, and geometric invariance validate the superior performance of our proposed measure.

We propose a natural scene statistic-based distortion-generic blind/no-reference (NR) image quality assessment (IQA) model that operates in the spatial domain. The new model, dubbed blind/referenceless image spatial quality evaluator (BRISQUE) does not compute distortion-specific features, such as ringing, blur, or blocking, but instead uses scene statistics of locally normalized luminance coefficients to quantify possible losses of "naturalness" in the image due to the presence of distortions, thereby leading to a holistic measure of quality. The underlying features used derive from the empirical distribution of locally normalized luminances and products of locally normalized luminances under a spatial natural scene statistic model. No transformation to another coordinate frame (DCT, wavelet, etc.) is required, distinguishing it from prior NR IQA approaches. Despite its simplicity, we are able to show that BRISQUE is statistically better than the full-reference peak signal-tonoise ratio and the structural similarity index, and is highly competitive with respect to all present-day distortion-generic NR IQA algorithms. BRISQUE has very low computational complexity, making it well suited for real time applications. BRISQUE features may be used for distortion-identification as well. To illustrate a new practical application of BRISQUE, we describe how a nonblind image denoising algorithm can be augmented with BRISQUE in order to perform blind image denoising. Results show that BRISQUE augmentation leads to performance improvements over state-of-the-art methods. A software release of BRISQUE is available online: http:// live.ece.utexas.edu/ research/ quality/ BRISQUE_release.zip for public use and evaluation.

任意神经风格转移是一个重要的主题，具有研究价值和工业应用前景，该主题旨在使用另一个样式呈现一个图像的结构。最近的研究已致力于任意风格转移（AST）的任务，以提高风格化质量。但是，关于AST图像的质量评估的探索很少，即使它可以指导不同算法的设计。在本文中，我们首先构建了一个新的AST图像质量评估数据库（AST-IQAD），该数据库包括150个内容样式的图像对以及由八种典型AST算法产生的相应的1200个风格化图像。然后，在我们的AST-IQAD数据库上进行了一项主观研究，该研究获得了三种主观评估（即内容保存（CP），样式相似（SR）和整体视觉（OV），该数据库获得了所有风格化图像的主观评分评分。 。为了定量测量AST图像的质量，我们提出了一个新的基于稀疏表示的图像质量评估度量（SRQE），该指标（SRQE）使用稀疏特征相似性来计算质量。 AST-IQAD的实验结果证明了该方法的优越性。数据集和源代码将在https://github.com/hangwei-chen/ast-iqad-srqe上发布

图像超分辨率（SR）是重要的图像处理方法之一，可改善计算机视野领域的图像分辨率。在过去的二十年中，在超级分辨率领域取得了重大进展，尤其是通过使用深度学习方法。这项调查是为了在深度学习的角度进行详细的调查，对单像超分辨率的最新进展进行详细的调查，同时还将告知图像超分辨率的初始经典方法。该调查将图像SR方法分类为四个类别，即经典方法，基于学习的方法，无监督学习的方法和特定领域的SR方法。我们还介绍了SR的问题，以提供有关图像质量指标，可用参考数据集和SR挑战的直觉。使用参考数据集评估基于深度学习的方法。一些审查的最先进的图像SR方法包括增强的深SR网络（EDSR），周期循环gan（Cincgan），多尺度残留网络（MSRN），Meta残留密度网络（META-RDN） ，反复反射网络（RBPN），二阶注意网络（SAN），SR反馈网络（SRFBN）和基于小波的残留注意网络（WRAN）。最后，这项调查以研究人员将解决SR的未来方向和趋势和开放问题的未来方向和趋势。

随着深度学习（DL）的出现，超分辨率（SR）也已成为一个蓬勃发展的研究领域。然而，尽管结果有希望，但该领域仍然面临需要进一步研究的挑战，例如，允许灵活地采样，更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域，并检查最新模型，例如扩散（DDPM）和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论，并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展，例如不确定性驱动的损失，小波网络，神经体系结构搜索，新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化，以促进对该领域趋势的全球理解。最终，这篇综述旨在帮助研究人员推动DL应用于SR的界限。

Image quality assessment (IQA) forms a natural and often straightforward undertaking for humans, yet effective automation of the task remains highly challenging. Recent metrics from the deep learning community commonly compare image pairs during training to improve upon traditional metrics such as PSNR or SSIM. However, current comparisons ignore the fact that image content affects quality assessment as comparisons only occur between images of similar content. This restricts the diversity and number of image pairs that the model is exposed to during training. In this paper, we strive to enrich these comparisons with content diversity. Firstly, we relax comparison constraints, and compare pairs of images with differing content. This increases the variety of available comparisons. Secondly, we introduce listwise comparisons to provide a holistic view to the model. By including differentiable regularizers, derived from correlation coefficients, models can better adjust predicted scores relative to one another. Evaluation on multiple benchmarks, covering a wide range of distortions and image content, shows the effectiveness of our learning scheme for training image quality assessment models.

The structural similarity image quality paradigm is based on the assumption that the human visual system is highly adapted for extracting structural information from the scene, and therefore a measure of structural similarity can provide a good approximation to perceived image quality. This paper proposes a multi-scale structural similarity method, which supplies more flexibility than previous single-scale methods in incorporating the variations of viewing conditions. We develop an image synthesis method to calibrate the parameters that define the relative importance of different scales. Experimental comparisons demonstrate the effectiveness of the proposed method.

在过去的几十年中，盲目的图像质量评估（BIQA）旨在准确地预测图像质量而无需任何原始参考信息，但一直在广泛关注。特别是，在深层神经网络的帮助下，取得了巨大进展。但是，对于夜间图像（NTI）的BIQA的研究仍然较少，通常患有复杂的真实扭曲，例如可见性降低，低对比度，添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计，用于盲目NTI质量评估（NTIQE）。在本文中，我们提出了一个新颖的深层分解和双线性池网络（DDB-NET），以更好地解决此问题。 DDB-NET包含三个模块，即图像分解模块，一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论，并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后，编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后，通过将照明相关和与内容相关的降解作为两因素变化进行建模，将两个特征集组合在一起，将双线汇总在一起以形成统一的表示，以进行质量预测。在几个基准数据集上进行了广泛的实验，已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。

基于深度学习的立体图像超分辨率（StereOSR）的最新研究促进了Stereosr的发展。但是，现有的立体声模型主要集中于改善定量评估指标，并忽略了超级分辨立体图像的视觉质量。为了提高感知性能，本文提出了第一个面向感知的立体图像超分辨率方法，通过利用反馈，这是对立体声结果的感知质量的评估提供的。为了为StereOSR模型提供准确的指导，我们开发了第一个特殊的立体图像超分辨率质量评估（StereOSRQA）模型，并进一步构建了StereOSRQA数据库。广泛的实验表明，我们的Stereosr方法显着提高了感知质量，并提高了立体声图像的可靠性以进行差异估计。

图像质量评估（IQA）对基于图像的应用程序的重要性越来越重要。其目的是建立一种可以代替人类的模型，以准确评估图像质量。根据参考图像是否完整且可用，图像质量评估可分为三类：全引用（FR），减少参考（RR）和非参考（NR）图像质量评估。由于深度学习的蓬勃发展和研究人员的广泛关注，近年来提出了基于深度学习的几种非参考图像质量评估方法，其中一些已经超过了引人注目甚至全参考图像的性能质量评估模型。本文将审查图像质量评估的概念和指标以及视频质量评估，简要介绍了一些完整参考和半参考图像质量评估的方法，并专注于基于深度学习的非参考图像质量评估方法。然后介绍常用的合成数据库和现实世界数据库。最后，总结和呈现挑战。

在本文中，我们提出了通过特征级伪参考（PR）幻觉提出的无引用（NR）图像质量评估（IQA）方法。提出的质量评估框架基于自然图像统计行为的先前模型，并植根于以下观点，即可以很好地利用具有感知意义的特征来表征视觉质量。本文中，通过以原始参考为监督的相互学习方案学习了扭曲的图像中的PR特征，并通过三重态约束进一步确保PR特征的区分特性。给定质量推断的扭曲图像，特征水平的分离是用可逆神经层进行最终质量预测的，导致PR和相应的失真特征以进行比较。在四个流行的IQA数据库中证明了我们提出的方法的有效性，跨数据库评估的卓越性能也揭示了我们方法的高概括能力。我们的方法的实现可在https://github.com/baoliang93/fpr上公开获得。

Subjective image-quality measurement plays a critical role in the development of image-processing applications. The purpose of a visual-quality metric is to approximate the results of subjective assessment. In this regard, more and more metrics are under development, but little research has considered their limitations. This paper addresses that deficiency: we show how image preprocessing before compression can artificially increase the quality scores provided by the popular metrics DISTS, LPIPS, HaarPSI, and VIF as well as how these scores are inconsistent with subjective-quality scores. We propose a series of neural-network preprocessing models that increase DISTS by up to 34.5%, LPIPS by up to 36.8%, VIF by up to 98.0%, and HaarPSI by up to 22.6% in the case of JPEG-compressed images. A subjective comparison of preprocessed images showed that for most of the metrics we examined, visual quality drops or stays unchanged, limiting the applicability of these metrics.

近年来，图像存储和传输系统的快速发展，其中图像压缩起着重要作用。一般而言，开发图像压缩算法是为了确保以有限的比特速率确保良好的视觉质量。但是，由于采用不同的压缩优化方法，压缩图像可能具有不同的质量水平，需要对其进行定量评估。如今，主流全参考度量（FR）指标可有效预测在粗粒水平下压缩图像的质量（压缩图像的比特速率差异很明显），但是，它们对于细粒度的压缩图像的性能可能很差比特率差异非常微妙。因此，为了更好地提高经验质量（QOE）并为压缩算法提供有用的指导，我们提出了一种全参考图像质量评估（FR-IQA）方法，以针对细粒度的压缩图像进行压缩图像。具体而言，首先将参考图像和压缩图像转换为$ ycbcr $颜色空间。梯度特征是从对压缩伪像敏感的区域中提取的。然后，我们采用对数 - 盖尔转换来进一步分析纹理差异。最后，将获得的功能融合为质量分数。提出的方法在细粒度的压缩图像质量评估（FGIQA）数据库中进行了验证，该数据库尤其是用于评估具有亲密比特率的压缩图像质量的构建。实验结果表明，我们的公制优于FGIQA数据库上的主流FR-IQA指标。我们还在其他常用的压缩IQA数据库上测试我们的方法，结果表明，我们的方法在粗粒度压缩IQA数据库上也获得了竞争性能。

由于存在于视觉信号采集，压缩，传输和显示的各个阶段的质量降级，图像质量评估（IQA）在基于图像的应用中起着重要作用。根据参考图像是否完整且可用，图像质量评估可分为三类：全引用（FR），减少参考（RR）和非引用（NR）。本文将审查最先进的图像质量评估算法。