大多数计算机视觉系统将无失真的图像作为输入。但是，当摄像机和对象在捕获过程中进行运动时，使用广泛使用的滚动器（RS）图像传感器会遭受几何变形。已经对纠正RS扭曲进行了广泛的研究。但是，大多数现有作品都严重依赖场景或动作的先前假设。此外，由于流动翘曲，运动估计步骤要么过于简单或计算效率低下，从而限制了它们的适用性。在本文中，我们使用全局重置功能（RSGR）使用滚动快门来恢复清洁全局快门（GS）视频。此功能使我们能够将纠正问题变成类似Deblur的问题，从而摆脱了不准确且昂贵的明确运动估计。首先，我们构建了一个捕获配对的RSGR/GS视频的光学系统。其次，我们开发了一种新型算法，该算法结合了空间和时间设计，以纠正空间变化的RSGR失真。第三，我们证明了现有的图像到图像翻译算法可以从变形的RSGR输入中恢复清洁的GS视频，但是我们的算法通过特定的设计实现了最佳性能。我们的渲染结果不仅在视觉上吸引人，而且对下游任务也有益。与最先进的RS解决方案相比，我们的RSGR解决方案在有效性和效率方面均优异。考虑到在不更改硬件的情况下很容易实现，我们相信我们的RSGR解决方案可以潜在地替代RS解决方案，以使用低噪音和低预算的无失真视频。

滚动快门（RS）失真可以解释为在RS摄像机曝光期间，随着时间的推移从瞬时全局快门（GS）框架中挑选一排像素。这意味着每个即时GS帧的信息部分，依次是嵌入到行依赖性失真中。受到这一事实的启发，我们解决了扭转这一过程的挑战性任务，即从rs失真中的图像中提取未变形的GS框架。但是，由于RS失真与其他因素相结合，例如读数设置以及场景元素与相机的相对速度，因此仅利用临时相邻图像之间的几何相关性的型号，在处理数据中，具有不同的读数设置和动态场景的数据中遭受了不良的通用性。带有相机运动和物体运动。在本文中，我们建议使用双重RS摄像机捕获的一对图像，而不是连续的框架，而RS摄像机则具有相反的RS方向，以完成这项极具挑战性的任务。基于双重反转失真的对称和互补性，我们开发了一种新型的端到端模型，即IFED，以通过卢比时间对速度场的迭代学习来生成双重光流序列。广泛的实验结果表明，IFED优于天真的级联方案，以及利用相邻RS图像的最新艺术品。最重要的是，尽管它在合成数据集上进行了训练，但显示出在从现实世界中的RS扭曲的动态场景图像中检索GS框架序列有效。代码可在https://github.com/zzh-tech/dual-versed-rs上找到。

Motion blur from camera shake is a major problem in videos captured by hand-held devices. Unlike single-image deblurring, video-based approaches can take advantage of the abundant information that exists across neighboring frames. As a result the best performing methods rely on the alignment of nearby frames. However, aligning images is a computationally expensive and fragile procedure, and methods that aggregate information must therefore be able to identify which regions have been accurately aligned and which have not, a task that requires high level scene understanding. In this work, we introduce a deep learning solution to video deblurring, where a CNN is trained end-toend to learn how to accumulate information across frames. To train this network, we collected a dataset of real videos recorded with a high frame rate camera, which we use to generate synthetic motion blur for supervision. We show that the features learned from this dataset extend to deblurring motion blur that arises due to camera shake in a wide range of videos, and compare the quality of results to a number of other baselines 1 .

高动态范围（HDR）成像是一种允许广泛的动态曝光范围的技术，这在图像处理，计算机图形和计算机视觉中很重要。近年来，使用深度学习（DL），HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上，将现有的深层HDR成像方法基于（1）输入曝光的数量/域，（2）学习任务数，（3）新传感器数据，（4）新的学习策略，（5）应用程序。重要的是，我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外，我们审查了深度HDR成像的一些关键方面，例如数据集和评估指标。最后，我们突出了一些打开的问题，并指出了未来的研究方向。

视频框架插值（VFI）实现了许多可能涉及时间域的重要应用程序，例如慢运动播放或空间域，例如停止运动序列。我们专注于以前的任务，其中关键挑战之一是在存在复杂运动的情况下处理高动态范围（HDR）场景。为此，我们探索了双曝光传感器的可能优势，这些传感器很容易提供尖锐的短而模糊的长曝光，这些曝光是空间注册并在时间上对齐的两端。这样，运动模糊会在场景运动上暂时连续的信息，这些信息与尖锐的参考结合在一起，可以在单个相机拍摄中进行更精确的运动采样。我们证明，这促进了VFI任务中更复杂的运动重建以及HDR框架重建，迄今为止仅考虑到最初被捕获的框架，而不是插值之间的框架。我们设计了一个在这些任务中训练的神经网络，这些神经网络明显优于现有解决方案。我们还提出了一个场景运动复杂性的度量，该指标在测试时间提供了对VFI方法的性能的重要见解。

本文旨在探讨如何合成对其进行训练的现有视频脱毛模型的近距离模糊，可以很好地推广到现实世界中的模糊视频。近年来，基于深度学习的方法已在视频Deblurring任务上取得了希望的成功。但是，对现有合成数据集培训的模型仍然遭受了与现实世界中的模糊场景的概括问题。造成故障的因素仍然未知。因此，我们重新审视经典的模糊综合管道，并找出可能的原因，包括拍摄参数，模糊形成空间和图像信号处理器〜（ISP）。为了分析这些潜在因素的效果，我们首先收集一个超高帧速率（940 fps）原始视频数据集作为数据基础，以综合各种模糊。然后，我们提出了一种新颖的现实模糊合成管道，该管道通过利用模糊形成线索称为原始爆炸。通过大量实验，我们证明了在原始空间中的合成模糊并采用与现实世界测试数据相同的ISP可以有效消除合成数据的负面影响。此外，合成的模糊视频的拍摄参数，例如，曝光时间和框架速率在改善脱毛模型的性能中起着重要作用。令人印象深刻的是，与在现有合成模糊数据集中训练的训练的模型合成的模糊数据训练的模型可以获得超过5DB PSNR的增益。我们认为，新颖的现实合成管道和相应的原始视频数据集可以帮助社区轻松构建自定义的Blur数据集，以改善现实世界的视频DeBlurring性能，而不是费力地收集真实的数据对。

视频去抑制是一种高度均不存在的问题，因为模糊劣化过程中的运动信息丢失。由于事件相机可以通过高时分辨率捕获表观运动，因此多次尝试探索了引导视频去纹的事件的潜力。这些方法通常认为曝光时间与视频帧速率的倒数相同。然而，在实际情况下，这不是真的，并且曝光时间可能是未知的并且根据视频拍摄环境（例如，照明条件）动态地变化。在本文中，假设基于帧的相机的动态可变未知的曝光时间来解决事件引导视频去纹。为此，我们首先通过考虑视频帧采集过程中的曝光和读出时间来推导出事件引导视频去掩模的新配方。然后，我们提出了一种用于事件引导视频去纹的新的结束终端学习框架。特别地，我们设计了一种新的基于曝光时间的事件选择（ETES）模块，以通过估计来自模糊帧和事件的特征之间的跨模型相关来选择性地使用事件特征。此外，我们提出了一种特征融合模块，以有效地熔断来自事件和模糊帧的所选功能。我们对各种数据集进行广泛的实验，并证明我们的方法实现了最先进的性能。我们的项目代码和预付费型号将可用。

由于大气湍流的扭曲而恢复图像是一个长期存在的问题，这是由于变形的空间变化，图像形成过程的非线性以及训练和测试数据的稀缺性。现有方法通常在失真模型上具有强大的统计假设，在许多情况下，由于没有概括，因此在现实世界中的性能有限。为了克服挑战，本文提出了一种端到端物理驱动的方法，该方法有效，可以推广到现实世界的湍流。在数据合成方面，我们通过通过宽sense式的平稳性近似随机场来显着增加SOTA湍流模拟器可以处理的图像分辨率。新的数据合成过程使大规模的多级湍流和训练的地面真相对产生。在网络设计方面，我们提出了湍流缓解变压器（TMT），这是一个两级U-NET形状的多帧恢复网络，该网络具有Noval有效的自发机制，称为暂时通道关节关注（TCJA）。我们还引入了一种新的培训方案，该方案由新的模拟器启用，并设计新的变压器单元以减少内存消耗。在静态场景和动态场景上的实验结果是有希望的，包括各种真实的湍流场景。

的状态的最先进的视频去模糊方法的成功主要源于潜伏视频恢复相邻帧之间的对准隐式或显式的估计。然而，由于模糊效果的影响，估计从所述模糊的相邻帧的对准信息是不是一个简单的任务。不准确的估计将干扰随后的帧的恢复。相反，估计比对信息，我们提出了一个简单而有效的深层递归神经网络与多尺度双向传播（RNN-MBP），有效传播和收集未对齐的相邻帧的信息，更好的视频去模糊。具体来说，我们建立与这可以通过在不同的尺度整合他们直接利用从非对齐相邻隐藏状态帧间信息的两个U形网RNN细胞多尺度双向传播〜（MBP）模块。此外，为了更好地评估算法和国家的最先进的存在于现实世界的模糊场景的方法，我们也通过一个精心设计的数字视频采集系统创建一个真实世界的模糊视频数据集（RBVD）（的DVA）并把它作为训练和评估数据集。大量的实验结果表明，该RBVD数据集有效地提高了对现实世界的模糊的视频现有算法的性能，并且算法进行从优对三个典型基准的国家的最先进的方法。该代码可在https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP。

现有的视频denoising方法通常假设嘈杂的视频通过添加高斯噪声从干净的视频中降低。但是，经过这种降解假设训练的深层模型将不可避免地导致由于退化不匹配而导致的真实视频的性能差。尽管一些研究试图在摄像机捕获的嘈杂和无噪声视频对上训练深层模型，但此类模型只能对特定的相机很好地工作，并且对其他视频的推广不佳。在本文中，我们建议提高此限制，并专注于一般真实视频的问题，目的是在看不见的现实世界视频上概括。我们首先调查视频噪音的共同行为来解决这个问题，并观察两个重要特征：1）缩减有助于降低空间空间中的噪声水平； 2）来自相邻框架的信息有助于消除时间上的当前框架的噪声空间。在这两个观察结果的推动下，我们通过充分利用上述两个特征提出了多尺度的复发架构。其次，我们通过随机调整不同的噪声类型来训练Denoising模型来提出合成真实的噪声降解模型。借助合成和丰富的降解空间，我们的退化模型可以帮助弥合训练数据和现实世界数据之间的分布差距。广泛的实验表明，与现有方法相比，我们所提出的方法实现了最先进的性能和更好的概括能力，而在合成高斯denoising和实用的真实视频denoisising方面都具有现有方法。

为了促进视频降解研究，我们构建了一个引人注目的数据集，即“实用的视频Denoising DataSet”（PVDD），其中包含200个SRGB和RAW格式的嘈杂清洁动态视频对。与由有限运动信息组成的现有数据集相比，PVDD涵盖了具有变化和自然运动的动态场景。与使用主要高斯或泊松分布的数据集不同，以合成SRGB域中的噪声，PVDD通过具有物理意义的传感器噪声模型，然后进行ISP处理，将原始域中的现实噪声合成现实的噪声。此外，基于此数据集，我们提出了一个基于洗牌的实用降解模型，以增强现实世界中SRGB视频的视频DeNoising网络的性能。广泛的实验表明，接受PVDD培训的模型在许多具有挑战性的现实视频上实现了优越的DeNo绩效，而不是在其他现有数据集中训练的模型上。

使用现代智能手机摄像机的夜成像由于光子计数低和成像系统中不可避免的噪声而变得麻烦。直接调整曝光时间和ISO等级在弱光条件下无法同时获得锋利和无噪声图像。尽管已经提出了许多方法来增强嘈杂或模糊的夜晚图像，但由于两个主要原因，它们在现实世界中的照片仍然不令人满意：1）单个图像中的信息有限和2）合成训练图像和真实图像之间的域间隙 - 世界照片（例如，模糊区域和分辨率的差异）。为了利用连续的长期和短曝光图像中的信息，我们提出了一条基于学习的管道来融合它们。开发了D2HNET框架，以通过在短期曝光图像的指导下脱毛和增强长期暴露图像来恢复高质量的图像。为了缩小域间隙，我们利用了两相deblernet-enhancenet架构，该体系结构在固定的低分辨率上执行准确的模糊去除，以便能够在不同的分辨率输入中处理大范围模糊。此外，我们从HD视频中合成了D2数据，并在其上进行了实验。验证集和真实照片的结果表明，我们的方法获得了更好的视觉质量和最先进的定量分数。可以在https://github.com/zhaoyuzhi/d2hnet上找到D2HNET代码，模型和D2-DATASET。

在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了，太吵了，这使得传统的增强技术几乎不可能申请。最近，基于学习的方法已经为此任务显示了非常有希望的结果，因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励，在本文中，我们的目标是利用爆破摄影来提高性能，并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构，逐步产生高质量的输出。粗略网络预测了低分辨率，去噪的原始图像，然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度，我们将该网络扩展到置换不变结构，使得它作为输入突发为低光图像，并在特征级别地合并来自多个图像的信息。我们的实验表明，我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。

来自单个运动模糊图像的视频重建是一个具有挑战性的问题，可以增强现有的相机的能力。最近，几种作品使用传统的成像和深度学习解决了这项任务。然而，由于方向模糊和噪声灵敏度，这种纯粹 - 数字方法本质上是有限的。一些作品提出使用非传统图像传感器解决这些限制，然而，这种传感器非常罕见和昂贵。为了使这些限制具有更简单的方法，我们提出了一种用于视频重建的混合光学 - 数字方法，其仅需要对现有光学系统的简单修改。在图像采集期间，在镜头孔径中使用学习的动态相位编码以对运动轨迹进行编码，该运动轨迹用作视频重建过程的先前信息。使用图像到视频卷积神经网络，所提出的计算相机以各种编码运动模糊图像的各种帧速率产生锐帧帧突发。与现有方法相比，我们使用模拟和现实世界的相机原型表现了优势和改进的性能。

低光图像增强（LLIE）旨在提高在环境中捕获的图像的感知或解释性，较差的照明。该领域的最新进展由基于深度学习的解决方案为主，其中许多学习策略，网络结构，丢失功能，培训数据等已被采用。在本文中，我们提供了全面的调查，以涵盖从算法分类到开放问题的各个方面。为了检查现有方法的概括，我们提出了一个低光图像和视频数据集，其中图像和视频是在不同的照明条件下的不同移动电话的相机拍摄的。除此之外，我们首次提供统一的在线平台，涵盖许多流行的LLIE方法，其中结果可以通过用户友好的Web界面生产。除了在公开和我们拟议的数据集上对现有方法的定性和定量评估外，我们还验证了他们在黑暗中的脸部检测中的表现。这项调查与拟议的数据集和在线平台一起作为未来研究的参考来源和促进该研究领域的发展。拟议的平台和数据集以及收集的方法，数据集和评估指标是公开可用的，并将经常更新。

在本文中，我们研究了实用的时空视频超分辨率（STVSR）问题，该问题旨在从低型低分辨率的低分辨率模糊视频中生成高富含高分辨率的夏普视频。当使用低填充和低分辨率摄像头记录快速动态事件时，通常会发生这种问题，而被捕获的视频将遭受三个典型问题：i）运动模糊发生是由于曝光时间内的对象/摄像机运动而发生的； ii）当事件时间频率超过时间采样的奈奎斯特极限时，运动异叠是不可避免的； iii）由于空间采样率低，因此丢失了高频细节。这些问题可以通过三个单独的子任务的级联来缓解，包括视频脱张，框架插值和超分辨率，但是，这些问题将无法捕获视频序列之间的空间和时间相关性。为了解决这个问题，我们通过利用基于模型的方法和基于学习的方法来提出一个可解释的STVSR框架。具体而言，我们将STVSR作为联合视频脱张，框架插值和超分辨率问题，并以另一种方式将其作为两个子问题解决。对于第一个子问题，我们得出了可解释的分析解决方案，并将其用作傅立叶数据变换层。然后，我们为第二个子问题提出了一个反复的视频增强层，以进一步恢复高频细节。广泛的实验证明了我们方法在定量指标和视觉质量方面的优势。

视频帧插值，旨在在视频序列中合成不存在中间帧，是计算机视觉中的重要研究主题。现有的视频帧插值方法在特定假设下实现了显着的结果，例如瞬间或已知的曝光时间。然而，在复杂的真实情况下，视频的时间前锋，即每秒帧（FPS）和帧曝光时间，可能与不同的相机传感器不同。当在从训练中的不同曝光设置下进行测试视频时，内插帧将遭受显着的错位问题。在这项工作中，我们在一般情况下解决了视频帧插值问题，其中可以在不确定的曝光（和间隔）时间下获取输入帧。与以前可以应用于特定时间的方法的方法不同，我们从四个连续的尖锐帧或两个连续的模糊帧中导出一般的曲线运动轨迹公式，没有时间前导者。此外，利用相邻运动轨迹内的约束，我们设计了一种新的光学流细化策略，以获得更好的插值结果。最后，实验表明，一个训练有素的模型足以在复杂的真实情况下合成高质量的慢动作视频。代码可在https://github.com/yjzhang96/uti-vfi上使用。

快速移动受试者的运动模糊是摄影中的一个长期问题，由于收集效率有限，尤其是在弱光条件下，在手机上非常常见。尽管近年来我们目睹了图像脱毛的巨大进展，但大多数方法都需要显着的计算能力，并且在处理高分辨率照片的情况下具有严重的局部动作。为此，我们根据手机的双摄像头融合技术开发了一种新颖的面部脱毛系统。该系统检测到主题运动以动态启用参考摄像头，例如，最近在高级手机上通常可用的Ultrawide Angle摄像机，并捕获带有更快快门设置的辅助照片。虽然主镜头是低噪音但模糊的，但参考镜头却很锋利，但嘈杂。我们学习ML模型，以对齐和融合这两张镜头，并在没有运动模糊的情况下输出清晰的照片。我们的算法在Google Pixel 6上有效运行，每次拍摄需要463毫秒的开销。我们的实验证明了系统对替代单片，多帧，面部特异性和视频脱张算法以及商业产品的优势和鲁棒性。据我们所知，我们的工作是第一个用于面部运动脱毛的移动解决方案，在各种运动和照明条件下，在数千个图像中可靠地工作。

使用致动万向节的机械图像稳定使得能够捕获长曝光镜头而不会因相机运动而遭受模糊。然而，这些装置通常是物理上繁琐和昂贵的，限制了他们广泛的使用。在这项工作中，我们建议通过输入快速未稳定的相机的输入来数字化地模拟机械稳定的系统。在短曝光的长曝光和低SNR处开发运动模糊之间的折衷，我们通过聚集由未知运动相关的嘈杂短曝光框架来培训估计尖锐的高SNR图像的CNN。我们进一步建议以端到端的方式学习突发的曝光时间，从而平衡噪声和模糊穿过框架。我们展示了这种方法，通过传统的去掩盖单个图像或在合成和实际数据上去除固定曝光突发的传统方法的优势。

高动态范围（HDR）视频提供比标准低动态范围（LDR）视频更具视觉上的体验。尽管HDR成像具有重要进展，但仍有一个具有挑战性的任务，可以使用传统的现成摄像头捕获高质量的HDR视频。现有方法完全依赖于在相邻的LDR序列之间使用致密光流来重建HDR帧。然而，当用嘈杂的框架应用于交替的曝光时，它们会导致颜色和暴露的曝光不一致。在本文中，我们提出了一种从LDR序列与交替曝光的LDR序列的HDR视频重建的端到端GAN框架。我们首先从Noisy LDR视频中提取清洁LDR帧，并具有在自我监督设置中培训的去噪网络的交替曝光。然后，我们将相邻的交流帧与参考帧对齐，然后在完全的对手设置中重建高质量的HDR帧。为了进一步提高所产生帧的鲁棒性和质量，我们在培训过程中将时间稳定性的正则化术语与成本函数的内容和风格的损耗一起融合。实验结果表明，我们的框架实现了最先进的性能，并通过现有方法生成视频的优质HDR帧。