Compressed videos often exhibit visually annoying artifacts, known as Perceivable Encoding Artifacts (PEAs), which dramatically degrade video visual quality. Subjective and objective measures capable of identifying and quantifying various types of PEAs are critical in improving visual quality. In this paper, we investigate the influence of four spatial PEAs (i.e. blurring, blocking, bleeding, and ringing) and two temporal PEAs (i.e. flickering and floating) on video quality. For spatial artifacts, we propose a visual saliency model with a low computational cost and higher consistency with human visual perception. In terms of temporal artifacts, self-attention based TimeSFormer is improved to detect temporal artifacts. Based on the six types of PEAs, a quality metric called Saliency-Aware Spatio-Temporal Artifacts Measurement (SSTAM) is proposed. Experimental results demonstrate that the proposed method outperforms state-of-the-art metrics. We believe that SSTAM will be beneficial for optimizing video coding techniques.
translated by 谷歌翻译
视频预测模型的研究被认为是对视频学习的基本方法。虽然存在用于预测过去几帧的未来帧像素值的多种生成模型，但已经发现预测帧的定量评估非常具有挑战性。在这种情况下，我们研究了预测视频的质量评估问题。我们创建了印度科学研究所预测视频质量评估（IISC PVQA）数据库，该数据库由300个视频组成，通过在不同的数据集上应用不同的预测模型，并伴随着人类观察分数。我们收集了这些视频的50名人类参与者的主观评级。我们的主观研究表明，人类观察者在预测视频的质量判断中非常一致。我们基准评估视频预测的几种普遍使用的措施，并表明它们与这些主观评分没有充分相关。我们介绍了两个新功能，以有效地捕获预测视频的质量，具有过去的帧的预测帧的深度特征的运动补偿余弦相似之处，以及从重新置于帧差异中提取的深度特征。我们表明，我们的特色设计导致了根据ISC PVQA数据库的人类判断的艺术质量预测的状态。数据库和代码在我们的项目网站上公开提供：https://nagabhushansn95.github.io/publications/2020/pvqa
translated by 谷歌翻译
视频质量评估（VQA）仍然是一个重要而挑战性的问题，影响了最广泛的尺度的许多应用程序。移动设备和云计算技术的最新进展使得可以捕获，处理和共度高分辨率，高分辨率（HFR）视频几乎瞬间。能够监控和控制这些流式视频的质量可以使得能够提供更令人愉快的内容和感知的优化速率控制。因此，需要一种强迫需要开发可以在巨大尺度部署的VQA模型。虽然最近的一些效果已应用于可变帧速率和HFR视频质量的全参考（FR）分析，但是没有研究帧速率变化的无引用（NR）VQA算法的开发。在这里，我们提出了一种用于评估HFR视频的一级盲VQA模型，我们将其配给了帧群感知视频评估程序W / O参考（Faver）。 Faver使用扩展模型的空间自然场景统计数据，即包括节省空间小波分解的视频信号，进行有效的帧速率敏感质量预测。我们对几个HFR视频质量数据集的广泛实验表明，PEVER以合理的计算成本优于其他盲VQA算法。为了便于可重复的研究和公共评估，在线可以在线进行狂热的实施：\ url {https://github.com/uniqzheng/hfr-bvqa}。
translated by 谷歌翻译
360 {\ TextDegree}视频的盲目视觉质量评估（BVQA）在优化沉浸式多媒体系统中起着关键作用。在评估360 {\ TextDegree}视频的质量时，人类倾向于从每个球形帧的基于视口的空间失真来识别其在相邻帧中的运动伪影，以视频级质量分数为止，即渐进性质量评估范式。然而，现有的BVQA方法对于360 {\ TextDegree}视频忽略了这条范式。在本文中，我们考虑了人类对球面视频质量的逐步范例，因此提出了一种新颖的BVQA方法（即ProvQA），通过逐步学习从像素，帧和视频中逐步学习。对应于像素，帧和视频的渐进学习，三个子网被设计为我们的PROPQA方法，即球形感知感知质量预测（SPAQ），运动感知感知质量预测（MPAQ）和多帧时间非本地（MFTN）子网。 SPAQ子网首先模拟基于人的球面感知机制的空间质量下降。然后，通过跨越相邻帧的运动提示，MPAQ子网适当地结合了在360 {\ TextDegree}视频上的质量评估的运动上下文信息。最后，MFTN子网聚集多帧质量劣化，通过探索来自多个帧的长期质量相关性来产生最终质量分数。实验验证了我们的方法在两个数据集中的360 {\ TextDegree}视频上显着提高了最先进的BVQA性能，该代码是公共\ url {https://github.com/yanglixiaoshen/的代码Provqa。}
translated by 谷歌翻译
感知视频质量评估（VQA）是许多流和视频共享平台的组成部分。在这里，我们以自我监督的方式考虑学习具有感知相关的视频质量表示的问题。失真类型的识别和降解水平确定被用作辅助任务，以训练一个深度学习模型，该模型包含深度卷积神经网络（CNN），该模型提取了空间特征，以及捕获时间信息的复发单元。该模型是使用对比度损失训练的，因此我们将此训练框架和结果模型称为对比度质量估计器（Conviqt）。在测试过程中，训练有素的模型的权重被冷冻，并且线性回归器将学习的功能映射到No-Reference（NR）设置中的质量得分。我们通过分析模型预测与地面真相质量评级之间的相关性，并与最先进的NR-VQA模型相比，我们对多个VQA数据库进行了全面评估，并实现竞争性能在这些数据库上进行了培训。我们的消融实验表明，学到的表示形式非常强大，并且在合成和现实的扭曲中很好地概括了。我们的结果表明，可以使用自我监督的学习来获得具有感知轴承的引人注目的表示。这项工作中使用的实现已在https://github.com/pavancm/conviqt上提供。
translated by 谷歌翻译
用户生成的内容（UGC）的盲或禁区视频质量评估已成为趋势，具有挑战性，迄今未解决的问题。因此，适用于该内容的准确和高效的视频质量预测因素都需要实现更智能的分析和处理UGC视频的需求。以前的研究表明，自然场景统计和深度学习特征既足以捕获空间扭曲，这有助于UGC视频质量问题的重要方面。然而，这些模型无法对实际应用中预测复杂和不同的UGC视频的质量无能为力或效率低。在这里，我们为UGC含量介绍了一种有效且高效的视频质量模型，我们将我们展示快速准确的视频质量评估员（Rapique），我们展示了与最先进的（SOTA）模型相对表现，而是具有订单-magnitude更快的运行时。 Rapique结合并利用了质量意识的现场统计特征和语义知识的深度卷积功能的优势，使我们能够设计用于视频质量建模的第一通用和有效的空间和时间（时空）带通统计模型。我们对最近的大型UGC视频质量数据库的实验结果表明，Rapique以相当更低的计算费用提供所有数据集的顶级表现。我们希望这项工作促进并激发进一步努力实现潜在的实时和低延迟应用程序的视频质量问题的实际建模。为促进公共用途，在线进行了求助的实施：\ url {https://github.com/vztu/rapique}。
translated by 谷歌翻译
Point Cloud是3D内容使用最广泛使用的数字表示格式之一，其视觉质量可能会在生产过程中遇到噪声和几何变化，以及在传输过程中的压缩和压缩采样。为了应对点云质量评估（PCQA）的挑战，已经提出了许多PCQA方法来评估点云的视觉质量水平，以评估渲染的静态2D投影。尽管这种基于投影的PCQA方法在成熟图像质量评估（IQA）方法的帮助下实现了竞争性能，但它们忽略了动态质量感知信息，这与观察者倾向于通过两种静态感知点云的事实完全不符和动态视图。因此，在本文中，我们将点云视为移动相机视频，并通过使用视频质量评估（VQA）方法（NR）方式探索处理PCQA任务的方式。首先，我们通过四个圆形路径将相机围绕点云旋转来生成捕获的视频。然后，我们分别使用可训练的2D-CNN和预训练的3D-CNN模型从所选的关键帧和视频剪辑中提取空间和时间质量感知功能。最后，点云的视觉质量由回归的视频质量值表示。实验结果表明，所提出的方法可有效预测点云的视觉质量水平，甚至可以使用全参考（FR）PCQA方法竞争。消融研究进一步验证了提出的框架的合理性，并确认了从动态视图中提取的质量感知特征所做的贡献。
translated by 谷歌翻译
近年来，图像存储和传输系统的快速发展，其中图像压缩起着重要作用。一般而言，开发图像压缩算法是为了确保以有限的比特速率确保良好的视觉质量。但是，由于采用不同的压缩优化方法，压缩图像可能具有不同的质量水平，需要对其进行定量评估。如今，主流全参考度量（FR）指标可有效预测在粗粒水平下压缩图像的质量（压缩图像的比特速率差异很明显），但是，它们对于细粒度的压缩图像的性能可能很差比特率差异非常微妙。因此，为了更好地提高经验质量（QOE）并为压缩算法提供有用的指导，我们提出了一种全参考图像质量评估（FR-IQA）方法，以针对细粒度的压缩图像进行压缩图像。具体而言，首先将参考图像和压缩图像转换为$ ycbcr $颜色空间。梯度特征是从对压缩伪像敏感的区域中提取的。然后，我们采用对数 - 盖尔转换来进一步分析纹理差异。最后，将获得的功能融合为质量分数。提出的方法在细粒度的压缩图像质量评估（FGIQA）数据库中进行了验证，该数据库尤其是用于评估具有亲密比特率的压缩图像质量的构建。实验结果表明，我们的公制优于FGIQA数据库上的主流FR-IQA指标。我们还在其他常用的压缩IQA数据库上测试我们的方法，结果表明，我们的方法在粗粒度压缩IQA数据库上也获得了竞争性能。
translated by 谷歌翻译
虚拟现实（VR）视频（通常以360美元$^\ Circ $视频形式）由于VR技术的快速开发以及消费级360 $^\ Circ $摄像机和显示器的显着普及而引起了人们的关注。因此，了解人们如何看待用户生成的VR视频，这些视频可能会受到混乱的真实扭曲，通常是在时空和时间上局部的。在本文中，我们建立了最大的360美元$^\ Circ $视频数据库之一，其中包含502个用户生成的视频，内容丰富和失真多样性。我们捕获了139位用户的观看行为（即扫描路径），并在四个不同的观看条件下（两个起点$ \ times $ $ $ $ $两个探索时间）收集了他们的意见分数。我们对记录的数据提供了详尽的统计分析，从而产生了一些有趣的观察结果，例如观看条件对观看行为和感知质量的重大影响。此外，我们还探讨了我们的数据和分析的其他用法，包括评估360 $^\ CIRC $视频的质量评估和显着性检测的计算模型。我们已经在https://github.com/yao-yiru/vr-video-database上提供了数据集和代码。
translated by 谷歌翻译
视觉（图像，视频）质量评估可以通过不同域中的视觉特征来建模，例如空间，频率和时间域。人类视觉系统（HVS）中的感知机制在质量感知的产生中起着至关重要的作用。本文提出了使用有效的窗口变压器体系结构进行无引用视觉质量评估的一般框架。用于多阶段通道注意的轻量级模块集成到SWIN（移位窗口）变压器中。这样的模块可以在图像质量评估（IQA）中代表适当的感知机制，以构建准确的IQA模型。同时，在空间和频域中图像质量感知的代表性特征也可以从IQA模型中得出，然后将其馈入另一个窗户的变压器体系结构进行视频质量评估（VQA）。 VQA模型有效地重复了整个本地窗口的注意力信息，以解决原始变压器的昂贵时间和记忆复杂性的问题。大规模IQA和VQA数据库的实验结果表明，所提出的质量评估模型优于大幅度的其他最先进模型。完整的源代码将在GitHub上发布。
translated by 谷歌翻译
基于3DCNN，ConvlSTM或光流的先前方法在视频显着对象检测（VSOD）方面取得了巨大成功。但是，它们仍然遭受高计算成本或产生的显着图质量较差的困扰。为了解决这些问题，我们设计了一个基于时空存储器（STM）网络，该网络从相邻帧中提取当前帧的有用时间信息作为VSOD的时间分支。此外，以前的方法仅考虑无时间关联的单帧预测。结果，模型可能无法充分关注时间信息。因此，我们最初将框架间的对象运动预测引入VSOD。我们的模型遵循标准编码器 - 编码器体系结构。在编码阶段，我们通过使用电流及其相邻帧的高级功能来生成高级的时间特征。这种方法比基于光流的方法更有效。在解码阶段，我们提出了一种有效的空间和时间分支融合策略。高级特征的语义信息用于融合低级特征中的对象细节，然后逐步获得时空特征以重建显着性图。此外，受图像显着对象检测（ISOD）中常用的边界监督的启发，我们设计了一种运动感知损失，用于预测对象边界运动，并同时对VSOD和对象运动预测执行多任务学习，这可以进一步促进模型以提取提取的模型时空特征准确并保持对象完整性。在几个数据集上进行的广泛实验证明了我们方法的有效性，并且可以在某些数据集上实现最新指标。所提出的模型不需要光流或其他预处理，并且在推理过程中可以达到近100 fps的速度。
translated by 谷歌翻译
在这项工作中，我们为图像和视频的感知质量评估提供了一个简单而有效的统一模型。与通常由复杂的网络架构组成的现有模型或依赖于多个分支的串联，我们的模型通过仅介绍从骨干网的一个全局特征（即呈现的工作中的Resnet18）来实现相当的性能。结合一些培训技巧，所提出的模型超越了公共和私有数据集的SOTA模型的当前基线。基于建议的架构，我们释放了三个常见的真实情景训练硕士学位：UGC视频在野外，PGC视频中的压缩，带有压缩的游戏视频。这三种预先训练的型号可以直接申请质量评估，或者进一步微调以获取更多定制的用途。所有代码，SDK和所提出的模型的预先训练的权重在HTTPS://github.com/tencent/censeoqoe上公开使用。
translated by 谷歌翻译
由于空间分辨率的巨大改进，4K内容可以为消费者提供更严肃的视觉体验。但是，由于分辨率扩大和特定的扭曲，现有的盲图质量评估（BIQA）方法不适合原始和升级的4K内容物。在本文中，我们提出了一个针对4K内容的深度学习的BIQA模型，一方面可以识别True和pseudo 4K内容，另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征，我们首先提出了基于灰色级别的共发生矩阵（GLCM）的纹理复杂度度量，以从4K图像中选择三个代表性图像贴片，这可以减少计算复杂性，被证明对通过实验的总体质量预测非常有效。然后，我们从卷积神经网络（CNN）的中间层中提取不同种类的视觉特征，并将它们集成到质量感知的特征表示中。最后，使用两个多层感知（MLP）网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练，我们引入了不确定性原理，以平衡分类和回归任务的损失。实验结果表明，所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。
translated by 谷歌翻译
在本文中，我们提出了一个生成的对抗网络（GAN）框架，以增强压缩视频的感知质量。我们的框架包括单个模型中对不同量化参数（QP）的注意和适应。注意模块利用了可以捕获和对齐连续框架之间的远程相关性的全球接收场，这可能有益于提高视频感知质量。要增强的框架与其相邻的框架一起馈入深网，并在第一阶段的特征中提取不同深度的特征。然后提取的特征被馈入注意力块以探索全局的时间相关性，然后进行一系列上采样和卷积层。最后，通过利用相应的QP信息的QP条件适应模块处理所得的功能。这样，单个模型可用于增强对各种QP的适应性，而无需针对每个QP值的多个模型，同时具有相似的性能。实验结果表明，与最先进的压缩视频质量增强算法相比，所提出的PEQUENET的表现出色。
translated by 谷歌翻译
随着非专家们拍摄的野外视频的快速增长，盲目视频质量评估（VQA）已成为一个具有挑战性且苛刻的问题。尽管已经做出了许多努力来解决这个问题，但尚不清楚人类视觉系统（HVS）与视频的时间质量有何关系。同时，最近的工作发现，自然视频的框架变成了HV的感知领域，往往会形成表示形式的直线轨迹。通过获得的洞察力，即失真会损害感知的视频质量并导致感知表示的弯曲轨迹，我们提出了一个时间感知质量指数（TPQI），以通过描述表示形式的图形形态来测量时间失真。具体而言，我们首先从HVS的横向基因核（LGN）和主要视觉区域（V1）中提取视频感知表示，然后测量其轨迹的直率和紧凑性，以量化视频的自然性和内容连续性的降解。实验表明，HVS中的感知表示是一种预测主观时间质量的有效方法，因此TPQI首次可以实现与空间质量度量的可比性能，并且在评估具有较大时间变化的视频方面更加有效。我们进一步证明，通过与NIQE（空间质量指标）结合使用，TPQI可以在流行的野外视频数据集中实现最佳性能。更重要的是，除了要评估的视频之外，TPQI不需要任何其他信息，因此可以将其应用于任何数据集，而无需参数调整。源代码可在https://github.com/uolmm/tpqi-vqa上找到。
translated by 谷歌翻译
视频编码技术已不断改进，以更高的分辨率以更高的压缩比。但是，最先进的视频编码标准（例如H.265/HEVC和多功能视频编码）仍在设计中，该假设将被人类观看。随着深度神经网络在解决计算机视觉任务方面的巨大进步和成熟，越来越多的视频通过无人参与的深度神经网络直接分析。当计算机视觉应用程序使用压缩视频时，这种传统的视频编码标准设计并不是最佳的。尽管人类视觉系统对具有高对比度的内容一直敏感，但像素对计算机视觉算法的影响是由特定的计算机视觉任务驱动的。在本文中，我们探索并总结了计算机视觉任务的视频编码和新兴视频编码标准，机器的视频编码。
translated by 谷歌翻译
360 $^\ circ $视频显着性检测是360 $^\ circ $视频理解的具有挑战性的基准之一，因为不可忽略的失真和不连续性发生在任何格式的360 $^\ circ $视频中，并捕获 - 并捕获 - 在全向球体中，值得的观点本质上是模棱两可的。我们提出了一个名为Panoramic Vision Transformer（摊铺机）的新框架。我们使用具有可变形卷积的Vision Transformer设计编码器，这不仅使我们不仅可以将正常视频介绍的模型插入我们的体系结构中，而无需其他模块或填充，而且只能执行一次几何近似，这与以前的基于CNN的深入基于CNN的方法不同。多亏了其功能强大的编码器，摊铺机可以通过本地补丁功能之间的三个简单相对关系来学习显着性，在没有监督或辅助信息（例如类激活）的情况下，通过大幅度的大幅度优于Wild360基准的最先进模型。我们通过VQA-ODV中的全向视频质量评估任务来证明我们的显着性预测模型的实用性，在这里，我们始终在没有任何形式的监督（包括头部运动）的情况下提高性能。
translated by 谷歌翻译
在现有作品中，框架及其对视频质量评估（VQA）的影响之间的时间关系仍然不足。这些关系导致视频质量的两种重要效果类型。首先，某些时间变化（例如摇动，闪烁和突然的场景过渡）会导致时间扭曲并导致额外的质量降解，而其他变化（例如，与有意义的事件相关的变化）却没有。其次，人类视觉系统通常对具有不同内容的框架有不同的关注，从而导致其对整体视频质量的重要性不同。基于变压器的突出时间序列建模能力，我们提出了一种新颖有效的基于变压器的VQA方法来解决这两个问题。为了更好地区分时间变化，从而捕获了时间变形，我们设计了一个基于变压器的时空扭曲提取（STDE）模块。为了解决时间质量的关注，我们提出了类似编码器的时间含量变压器（TCT）。我们还介绍了功能上的时间抽样，以减少TCT的输入长度，以提高该模块的学习效率和效率。由STDE和TCT组成，用于视频质量评估（DISCOVQA）的拟议的时间失真符合变压器（DISCOVQA）在几个VQA基准上达到了最新的性能，而无需任何额外的预训练数据集，多达10％的概括能力提高了10％比现有方法。我们还进行了广泛的消融实验，以证明我们提出的模型中每个部分的有效性，并提供可视化以证明所提出的模块实现了我们对这些时间问题进行建模的意图。我们将在以后发布我们的代码和预算权重。
translated by 谷歌翻译
包括视频和音频内容在内的视频会议已导致互联网流量的急剧增加，因为COVID-19大流行迫使数百万人在家中工作和学习。由于这种情况，需要进行高效且准确的视频质量工具，以监视和感知优化通过Zoom，Webex，Meet等进行了优化的远程息息流量，因此，全球视频会议的全球互联网流量已大大增加，因此，现有模型在Multi上的预测能力受到限制。 - 模式，实时流媒体介绍内容。在这里，我们通过多种方式解决了远程敏感视频质量评估（TVQA）的重大挑战。首先，我们通过收集来自不同国家 /地区的〜2k触觉视频来减轻主观标记的数据的缺乏，我们挤在了〜80k的主观质量标签上。使用此新资源，我们使用带有单独途径的多模式学习框架创建了一个在线视频质量预测框架，用于实时流媒体，以计算视觉和音频质量预测。我们的多合一模型能够在贴片，框架，剪辑和视听水平上提供准确的质量预测。我们的模型在现有质量数据库和新的TVQA数据库上都达到了最新的性能，计算费用降低，使其成为移动和嵌入式系统的有吸引力的解决方案。
translated by 谷歌翻译
图像质量评估（IQA）对基于图像的应用程序的重要性越来越重要。其目的是建立一种可以代替人类的模型，以准确评估图像质量。根据参考图像是否完整且可用，图像质量评估可分为三类：全引用（FR），减少参考（RR）和非参考（NR）图像质量评估。由于深度学习的蓬勃发展和研究人员的广泛关注，近年来提出了基于深度学习的几种非参考图像质量评估方法，其中一些已经超过了引人注目甚至全参考图像的性能质量评估模型。本文将审查图像质量评估的概念和指标以及视频质量评估，简要介绍了一些完整参考和半参考图像质量评估的方法，并专注于基于深度学习的非参考图像质量评估方法。然后介绍常用的合成数据库和现实世界数据库。最后，总结和呈现挑战。
translated by 谷歌翻译