最近，深层神经网络（DNNS）用于减少带宽并提高互联网视频交付的质量。现有的方法训练服务器上每个视频块的相应内容超级分辨率（SR）模型，并将低分辨率（LR）视频块以及SR模型一起流到客户端。尽管他们取得了令人鼓舞的结果，但网络培训的巨大计算成本限制了其实际应用。在本文中，我们提出了一种名为有效元调整（EMT）的方法，以降低计算成本。 EMT没有从头开始训练，而是将元学习的模型适应了输入视频的第一部分。至于以下块，它通过以前的改编模型的梯度掩盖选择了部分参数。为了实现EMT的进一步加速，我们提出了一种新颖的抽样策略，以从视频帧中提取最具挑战性的补丁。拟议的策略高效，带来了可忽略的额外成本。我们的方法大大降低了计算成本并取得更好的性能，为将神经视频传递技术应用于实际应用铺平了道路。我们基于各种有效的SR架构进行了广泛的实验，包括ESPCN，SRCNN，FSRCNN和EDSR-1，证明了我们工作的概括能力。该代码通过\ url {https://github.com/neural-video-delivery/emt-pytorch-eccv2022}发布。

随着深度神经网络（DNN）的发展，已经提出了用于单图像超分辨率（SISR）的基于DNN的大量方法。然而，现有方法主要在均匀采样的LR-HR补丁对上培训DNN，这使得它们无法在图像中完全利用信息贴片。在本文中，我们提出了一种简单而有效的数据增强方法。我们首先设计启发式指标来评估每个补丁对的信息性重要性。为了降低所有补丁对的计算成本，我们进一步建议通过积分图像来优化我们的度量计算，从而实现大约两个数量级加速。训练补丁对根据他们的方法对我们的方法进行了抽样。广泛的实验表明，我们的采样增强可以一致地提高收敛性，并提高各种SISR架构的性能，包括跨不同缩放因子（X2，X3，X4）的EDSR，RCAN，RDN，SRCNN和ESPCN。代码可在https://github.com/littlepure2333/samplingaug上获得

由于计算的未来是异质的，因此可伸缩性是单图超分辨率的关键问题。最近的工作尝试训练一个网络，该网络可以部署在具有不同能力的平台上。但是，他们依靠像素稀疏卷积，这不是硬件友好，并且实现了有限的实际加速。由于可以将图像分为各种恢复困难的斑块，因此我们提出了一种基于自适应贴片（APE）的可扩展方法，以实现更实用的加速。具体而言，我们建议训练回归器，以预测贴片每一层的增量能力。一旦增量容量低于阈值，贴片就可以在特定层中退出。我们的方法可以通过改变增量容量的阈值来轻松调整性能和效率之间的权衡。此外，我们提出了一种新的策略，以实现我们方法的网络培训。我们在各种骨架，数据集和缩放因素上进行了广泛的实验，以证明我们方法的优势。代码可从https://github.com/littlepure2333/ape获得

现有视频超分辨率（VSR）算法的成功主要是从相邻框架中利用时间信息。但是，这些方法都没有讨论带有固定物体和背景的贴片中时间冗余的影响，并且通常使用相邻框架中的所有信息而没有任何歧视。在本文中，我们观察到时间冗余将对信息传播产生不利影响，这限制了最现有的VSR方法的性能。在这一观察结果的推动下，我们旨在通过以优化的方式处理时间冗余贴片来改善现有的VSR算法。我们开发了两种简单但有效的插件方法，以提高广泛使用的公共视频中现有的本地和非本地传播算法的性能。为了更全面地评估现有VSR算法的鲁棒性和性能，我们还收集了一个新数据集，其中包含各种公共视频作为测试集。广泛的评估表明，所提出的方法可以显着提高野生场景中收集的视频的现有VSR方法的性能，同时保持其在现有常用数据集上的性能。该代码可在https://github.com/hyhsimon/boosted-vsr上找到。

基于深度学习的超分辨率（SR）近年来由于其高图像质量性能和广泛的应用方案而获得了极大的知名度。但是，先前的方法通常会遭受大量计算和巨大的功耗，这会导致实时推断的困难，尤其是在资源有限的平台（例如移动设备）上。为了减轻这种情况，我们建议使用自适应SR块进行深度搜索和每层宽度搜索，以进行深度搜索和每层宽度搜索。推理速度与SR损失一起直接将其带入具有高图像质量的SR模型，同​​时满足实时推理需求。借用了与编译器优化的速度模型在搜索过程中每次迭代中的移动设备上的速度，以预测具有各种宽度配置的SR块的推理潜伏期，以更快地收敛。通过提出的框架，我们在移动平台的GPU/DSP上实现了实时SR推断，以实现具有竞争性SR性能的720p分辨率（三星Galaxy S21）。

Real-world image super-resolution (RISR) has received increased focus for improving the quality of SR images under unknown complex degradation. Existing methods rely on the heavy SR models to enhance low-resolution (LR) images of different degradation levels, which significantly restricts their practical deployments on resource-limited devices. In this paper, we propose a novel Dynamic Channel Splitting scheme for efficient Real-world Image Super-Resolution, termed DCS-RISR. Specifically, we first introduce the light degradation prediction network to regress the degradation vector to simulate the real-world degradations, upon which the channel splitting vector is generated as the input for an efficient SR model. Then, a learnable octave convolution block is proposed to adaptively decide the channel splitting scale for low- and high-frequency features at each block, reducing computation overhead and memory cost by offering the large scale to low-frequency features and the small scale to the high ones. To further improve the RISR performance, Non-local regularization is employed to supplement the knowledge of patches from LR and HR subspace with free-computation inference. Extensive experiments demonstrate the effectiveness of DCS-RISR on different benchmark datasets. Our DCS-RISR not only achieves the best trade-off between computation/parameter and PSNR/SSIM metric, and also effectively handles real-world images with different degradation levels.

本文研究了动画视频的现实世界视频超分辨率（VSR）的问题，并揭示了实用动画VSR的三个关键改进。首先，最近的现实世界超分辨率方法通常依赖于使用基本运算符的降解模拟，而没有任何学习能力，例如模糊，噪声和压缩。在这项工作中，我们建议从真正的低质量动画视频中学习此类基本操作员，并将学习的操作员纳入降级生成管道中。这样的基于神经网络的基本操作员可以帮助更好地捕获实际降解的分布。其次，大规模的高质量动画视频数据集AVC构建，以促进动画VSR的全面培训和评估。第三，我们进一步研究了有效的多尺度网络结构。它利用单向复发网络的效率以及基于滑动窗口的方法的有效性。多亏了上述精致的设计，我们的方法Animesr能够有效，有效地恢复现实世界中的低质量动画视频，从而实现优于以前的最先进方法。

本文提出了一种任何时间的超分辨率方法（ARM），以解决过度参数化的单图像超分辨率（SISR）模型。我们的手臂是由三个观察结果激励的：（1）不同图像贴片的性能随不同大小的SISR网络而变化。 （2）计算开销与重建图像的性能之间存在权衡。 （3）给定输入图像，其边缘信息可以是估计其PSNR的有效选择。随后，我们训练包含不同尺寸的SISR子网的手臂超网，以处理各种复杂性的图像斑块。为此，我们构建了一个边缘到PSNR查找表，该表将图像补丁的边缘分数映射到每个子网的PSNR性能，以及子网的一组计算成本。在推论中，图像贴片单独分配给不同的子网，以获得更好的计算绩效折衷。此外，每个SISR子网都共享手臂超网的权重，因此不引入额外的参数。多个子网的设置可以很好地使SISR模型的计算成本适应动态可用的硬件资源，从而可以随时使用SISR任务。对不同大小的分辨率数据集的广泛实验和流行的SISR网络作为骨架验证了我们的手臂的有效性和多功能性。源代码可在https://github.com/chenbong/arm-net上找到。

本文提出了解码器 - 侧交叉分辨率合成（CRS）模块，以追求更好的压缩效率超出最新的通用视频编码（VVC），在那里我们在原始高分辨率（HR）处编码帧内帧，以较低的分辨率压缩帧帧间（ LR），然后通过在先前的HR帧内和相邻的LR帧间帧内解解码LR帧间帧间帧帧。对于LR帧间帧，设计运动对准和聚合网络（MAN）以产生时间汇总的运动表示，以最佳保证时间平滑度;使用另一个纹理补偿网络（TCN）来生成从解码的HR帧内帧的纹理表示，以便更好地增强空间细节;最后，相似性驱动的融合引擎将运动和纹理表示合成为Upscale LR帧帧，以便去除压缩和分辨率重新采样噪声。我们使用所提出的CRS增强VVC，显示平均为8.76％和11.93％BJ {\ O} NTEGAARD Delta率（BD速率）分别在随机接入（RA）和低延延迟P（LDP）设置中的最新VVC锚点。此外，对基于最先进的超分辨率（SR）的VVC增强方法和消融研究的实验比较，进一步报告了所提出的算法的卓越效率和泛化。所有材料都将在HTTPS://njuvision.github.io /crs上公开进行可重复的研究。

Video super-resolution (VSR) aiming to reconstruct a high-resolution (HR) video from its low-resolution (LR) counterpart has made tremendous progress in recent years. However, it remains challenging to deploy existing VSR methods to real-world data with complex degradations. On the one hand, there are few well-aligned real-world VSR datasets, especially with large super-resolution scale factors, which limits the development of real-world VSR tasks. On the other hand, alignment algorithms in existing VSR methods perform poorly for real-world videos, leading to unsatisfactory results. As an attempt to address the aforementioned issues, we build a real-world 4 VSR dataset, namely MVSR4$\times$, where low- and high-resolution videos are captured with different focal length lenses of a smartphone, respectively. Moreover, we propose an effective alignment method for real-world VSR, namely EAVSR. EAVSR takes the proposed multi-layer adaptive spatial transform network (MultiAdaSTN) to refine the offsets provided by the pre-trained optical flow estimation network. Experimental results on RealVSR and MVSR4$\times$ datasets show the effectiveness and practicality of our method, and we achieve state-of-the-art performance in real-world VSR task. The dataset and code will be publicly available.

虽然单图像超分辨率（SISR）方法在单次降级方面取得了巨大成功，但它们仍然在实际情况下具有多重降低效果的性能下降。最近，已经探索了一些盲人和非盲模范，已经探讨了多重降级。然而，这些方法通常在训练和测试数据之间的分布换档方面显着降低。为此，我们第一次提出了一个条件元网络框架（命名CMDSR），这有助于SR框架了解如何适应输入分布的变化。我们使用所提出的ConditionNet在任务级别提取劣化，该条件将用于调整基本SR网络（BaseNet）的参数。具体而言，我们的框架的ConditionNet首先从支撑集中学习劣化，该支持集由来自相同任务的一系列劣化图像补丁组成。然后，Adaptive BaseNet根据条件特征迅速移动其参数。此外，为了更好地提取劣化，我们提出了一个任务对比损失，以减少内部任务距离，并增加任务级别功能之间的交叉任务距离。在没有预定义的降级地图，我们的盲框可以进行一个参数更新，以产生相当大的SR结果。广泛的实验证明了CMDSR在各种盲，甚至是非盲方法上的有效性。柔性基座结构还揭示了CMDSR可以是大系列SISR模型的一般框架。

随着移动设备的普及，例如智能手机和可穿戴设备，更轻，更快的型号对于应用视频超级分辨率至关重要。但是，大多数以前的轻型模型倾向于集中于减少台式GPU模型推断的范围，这在当前的移动设备中可能不会节能。在本文中，我们提出了极端低功率超级分辨率（ELSR）网络，该网络仅在移动设备中消耗少量的能量。采用预训练和填充方法来提高极小模型的性能。广泛的实验表明，我们的方法在恢复质量和功耗之间取得了良好的平衡。最后，我们在目标总经理Dimenty 9000 PlantForm上，PSNR 27.34 dB和功率为0.09 w/30fps的竞争分数为90.9，在移动AI＆AIM 2022实时视频超级分辨率挑战中排名第一。

本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率，轨迹〜2靶向压缩视频的超分辨率。在轨道1中，我们使用流行的数据集DIV2K作为培训，验证和测试集。在轨道2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个其他视频。在这一挑战中，有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。

如今，由于屏幕共享，远程合作和在线教育的广泛应用，屏幕内容存在爆炸性增长。为了匹配有限终端带宽，可以缩小高分辨率（HR）屏幕内容并压缩。在接收器侧，低分辨率（LR）屏幕内容图像（SCI）的超分辨率（SR）由HR显示器或用户缩小以供详细观察。然而，由于图像特性非常不同的图像特性以及在任意尺度下浏览的SCI浏览要求，图像SR方法主要针对自然图像设计不概括SCI。为此，我们为SCISR提出了一种新颖的隐式变压器超分辨率网络（ITSRN）。对于任意比率的高质量连续SR，通过所提出的隐式变压器从密钥坐标处的图像特征推断出查询坐标处的像素值，并且提出了隐式位置编码方案来聚合与查询相似的相邻像素值。使用LR和HR SCI对构建基准SCI1K和SCI1K压缩数据集。广泛的实验表明，提出的ITSRN显着优于压缩和未压缩的SCI的几种竞争连续和离散SR方法。

Recent image degradation estimation methods have enabled single-image super-resolution (SR) approaches to better upsample real-world images. Among these methods, explicit kernel estimation approaches have demonstrated unprecedented performance at handling unknown degradations. Nonetheless, a number of limitations constrain their efficacy when used by downstream SR models. Specifically, this family of methods yields i) excessive inference time due to long per-image adaptation times and ii) inferior image fidelity due to kernel mismatch. In this work, we introduce a learning-to-learn approach that meta-learns from the information contained in a distribution of images, thereby enabling significantly faster adaptation to new images with substantially improved performance in both kernel estimation and image fidelity. Specifically, we meta-train a kernel-generating GAN, named MetaKernelGAN, on a range of tasks, such that when a new image is presented, the generator starts from an informed kernel estimate and the discriminator starts with a strong capability to distinguish between patch distributions. Compared with state-of-the-art methods, our experiments show that MetaKernelGAN better estimates the magnitude and covariance of the kernel, leading to state-of-the-art blind SR results within a similar computational regime when combined with a non-blind SR model. Through supervised learning of an unsupervised learner, our method maintains the generalizability of the unsupervised learner, improves the optimization stability of kernel estimation, and hence image adaptation, and leads to a faster inference with a speedup between 14.24 to 102.1x over existing methods.

远程时间对齐至关重要，但对视频恢复任务有挑战性。最近，一些作品试图将远程对齐分成几个子对齐并逐步处理它们。虽然该操作有助于建模遥控对应关系，但由于传播机制，误差累积是不可避免的。在这项工作中，我们提出了一种新颖的通用迭代对准模块，其采用逐渐改进方案进行子对准，产生更准确的运动补偿。为了进一步提高对准精度和时间一致性，我们开发了一种非参数重新加权方法，其中每个相邻帧的重要性以用于聚合的空间方式自适应地评估。凭借拟议的策略，我们的模型在一系列视频恢复任务中实现了多个基准测试的最先进的性能，包括视频超分辨率，去噪和去束性。我们的项目可用于\ url {https:/github.com/redrock303/revisiting-temporal-alignment-for-video-Restion.git}。

Convolutional neural networks have recently demonstrated high-quality reconstruction for single-image superresolution. In this paper, we propose the Laplacian Pyramid Super-Resolution Network (LapSRN) to progressively reconstruct the sub-band residuals of high-resolution images. At each pyramid level, our model takes coarse-resolution feature maps as input, predicts the high-frequency residuals, and uses transposed convolutions for upsampling to the finer level. Our method does not require the bicubic interpolation as the pre-processing step and thus dramatically reduces the computational complexity. We train the proposed LapSRN with deep supervision using a robust Charbonnier loss function and achieve high-quality reconstruction. Furthermore, our network generates multi-scale predictions in one feed-forward pass through the progressive reconstruction, thereby facilitates resource-aware applications. Extensive quantitative and qualitative evaluations on benchmark datasets show that the proposed algorithm performs favorably against the state-of-the-art methods in terms of speed and accuracy.

近年来，基于深度学习的模型在视频超分辨率（VSR）方面取得了显着性能，但是这些模型中的大多数不适用于在线视频应用程序。这些方法仅考虑失真质量，而忽略了在线应用程序的关键要求，例如低延迟和模型较低的复杂性。在本文中，我们专注于在线视频传输，其中需要VSR算法来实时生成高分辨率的视频序列。为了应对此类挑战，我们提出了一种基于一种新的内核知识转移方法，称为卷积核旁路移植物（CKBG）。首先，我们设计了一个轻巧的网络结构，该结构不需要将来的帧作为输入，并节省了缓存这些帧的额外时间成本。然后，我们提出的CKBG方法通过用``核移植物）''绕过原始网络来增强这种轻巧的基础模型，这些网络是包含外部预验证图像SR模型的先验知识的额外卷积内核。在测试阶段，我们通过将其转换为简单的单路结构来进一步加速移植的多支球网络。实验结果表明，我们提出的方法可以处理高达110 fps的在线视频序列，并且模型复杂性非常低和竞争性SR性能。

当网络条件恶化时，视频会议系统的用户体验差，因为当前的视频编解码器根本无法在极低的比特率下运行。最近，已经提出了几种神经替代方案，可以使用每个框架的稀疏表示，例如面部地标信息，以非常低的比特率重建说话的头视频。但是，这些方法在通话过程中具有重大运动或遮挡的情况下会产生不良的重建，并且不会扩展到更高的分辨率。我们设计了Gemino，这是一种基于新型高频条件超分辨率管道的新型神经压缩系统，用于视频会议。 Gemino根据从单个高分辨率参考图像中提取的信息来增强高频细节（例如，皮肤纹理，头发等），为每个目标框架的一个非常低分辨率的版本（例如，皮肤纹理，头发等）。我们使用多尺度体系结构，该体系结构在不同的分辨率下运行模型的不同组件，从而使其扩展到可与720p相当的分辨率，并且我们个性化模型以学习每个人的特定细节，在低比特率上实现了更好的保真度。我们在AIORTC上实施了Gemino，这是WEBRTC的开源Python实现，并表明它在A100 GPU上实时在1024x1024视频上运行，比比特率的比特率低于传统的视频Codecs，以相同的感知质量。

视频通常将流和连续的视觉数据记录为离散的连续帧。由于存储成本对于高保真度的视频来说是昂贵的，因此大多数存储以相对较低的分辨率和帧速率存储。最新的时空视频超分辨率（STVSR）的工作是开发出来的，以将时间插值和空间超分辨率纳入统一框架。但是，其中大多数仅支持固定的上采样量表，这限制了其灵活性和应用。在这项工作中，我们没有遵循离散表示，我们提出了视频隐式神经表示（videoinr），并显示了其对STVSR的应用。学到的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，Videoinr在常见的上采样量表上使用最先进的STVSR方法实现了竞争性能，并且在连续和训练的分布量表上显着优于先前的作品。我们的项目页面位于http://zeyuan-chen.com/videoinr/。