我们提出了一种运动分割引导的卷积神经网络(CNN)方法,以进行高动态范围(HDR)图像磁化。首先,我们使用CNN分段输入序列中的移动区域。然后,我们将静态区域和移动区域分别与不同的融合网络合并,并结合融合功能以生成最终的无幽灵HDR图像。我们的运动分割引导的HDR融合方法比现有的HDR脱胶方法具有显着优势。首先,通过将输入序列分割为静态和移动区域,我们提出的方法可以为各种具有挑战性的饱和度和运动类型学习有效的融合规则。其次,我们引入了一个新颖的存储网络,该网络积累了在饱和区域中生成合理细节所需的必要功能。所提出的方法在两个公开可用的数据集上优于九种现有的最新方法,并生成视觉上令人愉悦的无幽灵HDR结果。我们还提供了3683个不同暴露图像的大规模运动细分数据集,以使研究社区受益。
translated by 谷歌翻译
我们提出了一种新型的基于网络的基于网络的HDR Duthosting方法,用于融合任意长度的动态序列。所提出的方法使用卷积和经常性架构来产生视觉上令人愉悦的重影的HDR图像。我们介绍了一个新的反复间谍架构,即自动门控内存(SGM)单元格,这胜过标准LSTM单元格,同时包含更少的参数并具有更快的运行时间。在SGM小区中,通过将门的输出乘以自身的函数来控制通过门的信息流。此外,我们在双向设置中使用两个SGM单元来提高输出质量。该方法的方法与现有的HDR Deghosting方法定量跨三个公共数据集相比,实现了最先进的性能,同时同时实现熔断器可变长度输入顺序的可扩展性而不需要重新训练。通过广泛的消融,我们证明了各个组件以拟议方法的重要性。该代码可在https://val.cds.iisc.ac.in.in/hdr/hdrrn/index.html中获得。
translated by 谷歌翻译
从一组多曝光图像中重建无精神的高动态范围(HDR)图像是一项具有挑战性的任务,尤其是在大型对象运动和闭塞的情况下,使用现有方法导致可见的伪影。为了解决这个问题,我们提出了一个深层网络,该网络试图学习以正规损失为指导的多尺度特征流。它首先提取多尺度功能,然后对非参考图像的特征对齐。对齐后,我们使用残留的通道注意块将不同图像的特征合并。广泛的定性和定量比较表明,我们的方法可实现最新的性能,并在颜色伪像和几何变形大大减少的情况下产生出色的结果。
translated by 谷歌翻译
高动态范围(HDR)成像在现代数字摄影管道中具有根本重要性,并且尽管在图像上变化照明,但仍用于生产具有良好暴露区域的高质量照片。这通常通过在不同曝光时拍摄多个低动态范围(LDR)图像来实现。然而,由于补偿不良的运动导致人工制品如重影,过度暴露的地区和未对准误差。在本文中,我们提出了一种新的HDR成像技术,可以专门模拟对准和曝光不确定性以产生高质量的HDR结果。我们介绍了一种使用HDR感知的HDR感知的不确定性驱动的注意力映射来联合对齐和评估对齐和曝光可靠性的策略,该注意力映像鲁棒地将帧合并为单个高质量的HDR图像。此外,我们介绍了一种渐进式多级图像融合方法,可以以置换不变的方式灵活地合并任何数量的LDR图像。实验结果表明,我们的方法可以为最先进的高达0.8dB的PSNR改进,以及更好的细节,颜色和更少人工制品的主观改进。
translated by 谷歌翻译
本文提出了一种有效融合多暴露输入并使用未配对数据集生成高质量的高动态范围(HDR)图像的方法。基于深度学习的HDR图像生成方法在很大程度上依赖于配对的数据集。地面真相图像在生成合理的HDR图像中起着领导作用。没有地面真理的数据集很难应用于训练深层神经网络。最近,在没有配对示例的情况下,生成对抗网络(GAN)证明了它们将图像从源域X转换为目标域y的潜力。在本文中,我们提出了一个基于GAN的网络,用于解决此类问题,同时产生愉快的HDR结果,名为Uphdr-Gan。提出的方法放松了配对数据集的约束,并了解了从LDR域到HDR域的映射。尽管丢失了这些对数据,但UPHDR-GAN可以借助修改后的GAN丢失,改进的歧视器网络和有用的初始化阶段正确处理由移动对象或未对准引起的幽灵伪像。所提出的方法保留了重要区域的细节并提高了总图像感知质量。与代表性方法的定性和定量比较证明了拟议的UPHDR-GAN的优越性。
translated by 谷歌翻译
高动态范围(HDR)成像是图像处理中的一个基本问题,即使在场景中存在不同的照明的情况下,它旨在产生暴露良好的图像。近年来,多曝光融合方法已取得了显着的结果,该方法合并了多个具有不同暴露的动态范围(LDR)图像,以生成相应的HDR图像。但是,在动态场景中综合HDR图像仍然具有挑战性,并且需求量很高。生产HDR图像有两个挑战:1)。 LDR图像之间的对象运动很容易在生成的结果中引起不良的幽灵伪像。 2)。由于在合并阶段对这些区域的补偿不足,因此下区域和过度曝光的区域通常包含扭曲的图像含量。在本文中,我们提出了一个多尺度采样和聚合网络,用于在动态场景中进行HDR成像。为了有效地减轻小动作和大型动作引起的问题,我们的方法通过以粗到精细的方式对LDR图像进行了暗中对齐LDR图像。此外,我们提出了一个基于离散小波转换的密集连接的网络,以改善性能,该网络将输入分解为几个非重叠频率子带,并在小波域中自适应地执行补偿。实验表明,与其他有希望的HDR成像方法相比,我们提出的方法可以在不同场景下实现最新的性能。此外,由我们的方法生成的HDR图像包含清洁剂和更详细的内容,扭曲较少,从而带来更好的视觉质量。
translated by 谷歌翻译
在极低光线条件下捕获图像会对标准相机管道带来重大挑战。图像变得太黑了,太吵了,这使得传统的增强技术几乎不可能申请。最近,基于学习的方法已经为此任务显示了非常有希望的结果,因为它们具有更大的表现力能力来允许提高质量。这些研究中的激励,在本文中,我们的目标是利用爆破摄影来提高性能,并从极端暗的原始图像获得更加锐利和更准确的RGB图像。我们提出的框架的骨干是一种新颖的粗良好网络架构,逐步产生高质量的输出。粗略网络预测了低分辨率,去噪的原始图像,然后将其馈送到精细网络以恢复微尺的细节和逼真的纹理。为了进一步降低噪声水平并提高颜色精度,我们将该网络扩展到置换不变结构,使得它作为输入突发为低光图像,并在特征级别地合并来自多个图像的信息。我们的实验表明,我们的方法通过生产更详细和相当更高的质量的图像来引起比最先进的方法更令人愉悦的结果。
translated by 谷歌翻译
高动态范围(HDR)视频提供比标准低动态范围(LDR)视频更具视觉上的体验。尽管HDR成像具有重要进展,但仍有一个具有挑战性的任务,可以使用传统的现成摄像头捕获高质量的HDR视频。现有方法完全依赖于在相邻的LDR序列之间使用致密光流来重建HDR帧。然而,当用嘈杂的框架应用于交替的曝光时,它们会导致颜色和暴露的曝光不一致。在本文中,我们提出了一种从LDR序列与交替曝光的LDR序列的HDR视频重建的端到端GAN框架。我们首先从Noisy LDR视频中提取清洁LDR帧,并具有在自我监督设置中培训的去噪网络的交替曝光。然后,我们将相邻的交流帧与参考帧对齐,然后在完全的对手设置中重建高质量的HDR帧。为了进一步提高所产生帧的鲁棒性和质量,我们在培训过程中将时间稳定性的正则化术语与成本函数的内容和风格的损耗一起融合。实验结果表明,我们的框架实现了最先进的性能,并通过现有方法生成视频的优质HDR帧。
translated by 谷歌翻译
高动态范围(HDR)成像是一种允许广泛的动态曝光范围的技术,这在图像处理,计算机图形和计算机视觉中很重要。近年来,使用深度学习(DL),HDR成像有重大进展。本研究对深层HDR成像方法的最新发展进行了综合和富有洞察力的调查和分析。在分层和结构上,将现有的深层HDR成像方法基于(1)输入曝光的数量/域,(2)学习任务数,(3)新传感器数据,(4)新的学习策略,(5)应用程序。重要的是,我们对关于其潜在和挑战的每个类别提供建设性的讨论。此外,我们审查了深度HDR成像的一些关键方面,例如数据集和评估指标。最后,我们突出了一些打开的问题,并指出了未来的研究方向。
translated by 谷歌翻译
Eliminating ghosting artifacts due to moving objects is a challenging problem in high dynamic range (HDR) imaging. In this letter, we present a hybrid model consisting of a convolutional encoder and a Transformer decoder to generate ghost-free HDR images. In the encoder, a context aggregation network and non-local attention block are adopted to optimize multi-scale features and capture both global and local dependencies of multiple low dynamic range (LDR) images. The decoder based on Swin Transformer is utilized to improve the reconstruction capability of the proposed model. Motivated by the phenomenal difference between the presence and absence of artifacts under the field of structure tensor (ST), we integrate the ST information of LDR images as auxiliary inputs of the network and use ST loss to further constrain artifacts. Different from previous approaches, our network is capable of processing an arbitrary number of input LDR images. Qualitative and quantitative experiments demonstrate the effectiveness of the proposed method by comparing it with existing state-of-the-art HDR deghosting models. Codes are available at https://github.com/pandayuanyu/HSTHdr.
translated by 谷歌翻译
在高光中,幽灵伪像,运动模糊和低忠诚度是来自多个低动态范围(LDR)图像的高动态范围(HDR)成像的主要挑战。这些问题来自使用中等暴露图像作为先前方法中的参考框架。为了应对它们,我们建议使用暴露不足的图像作为避免这些问题的参考。但是,暴露不足图像的黑暗区域中的沉重噪音成为一个新问题。因此,我们提出了一个关节HDR和Denoising管道,其中包含两个子网络:(i)通过利用暴露先验来适应性的denoise输入LDR; (ii)金字塔级联融合网络(PCFNET),以多尺度的方式引入了注意机制和级联结构。为了进一步利用这两个范式,我们提出了一个选择性和联合HDR和DeNoising(SJ-HD $^2 $ R)成像框架,利用特定方案的先验来进行路径选择,准确性超过93.3 $ \%$ $ 。我们创建了第一个关节HDR和Denoising基准数据集,该数据集包含各种具有挑战性的HDR和DeNoising场景,并支持参考图像的切换。广泛的实验结果表明,我们的方法实现了与以前的方法相比的卓越性能。
translated by 谷歌翻译
快速移动受试者的运动模糊是摄影中的一个长期问题,由于收集效率有限,尤其是在弱光条件下,在手机上非常常见。尽管近年来我们目睹了图像脱毛的巨大进展,但大多数方法都需要显着的计算能力,并且在处理高分辨率照片的情况下具有严重的局部动作。为此,我们根据手机的双摄像头融合技术开发了一种新颖的面部脱毛系统。该系统检测到主题运动以动态启用参考摄像头,例如,最近在高级手机上通常可用的Ultrawide Angle摄像机,并捕获带有更快快门设置的辅助照片。虽然主镜头是低噪音但模糊的,但参考镜头却很锋利,但嘈杂。我们学习ML模型,以对齐和融合这两张镜头,并在没有运动模糊的情况下输出清晰的照片。我们的算法在Google Pixel 6上有效运行,每次拍摄需要463毫秒的开销。我们的实验证明了系统对替代单片,多帧,面部特异性和视频脱张算法以及商业产品的优势和鲁棒性。据我们所知,我们的工作是第一个用于面部运动脱毛的移动解决方案,在各种运动和照明条件下,在数千个图像中可靠地工作。
translated by 谷歌翻译
Motion blur from camera shake is a major problem in videos captured by hand-held devices. Unlike single-image deblurring, video-based approaches can take advantage of the abundant information that exists across neighboring frames. As a result the best performing methods rely on the alignment of nearby frames. However, aligning images is a computationally expensive and fragile procedure, and methods that aggregate information must therefore be able to identify which regions have been accurately aligned and which have not, a task that requires high level scene understanding. In this work, we introduce a deep learning solution to video deblurring, where a CNN is trained end-toend to learn how to accumulate information across frames. To train this network, we collected a dataset of real videos recorded with a high frame rate camera, which we use to generate synthetic motion blur for supervision. We show that the features learned from this dataset extend to deblurring motion blur that arises due to camera shake in a wide range of videos, and compare the quality of results to a number of other baselines 1 .
translated by 谷歌翻译
空间变化暴露(SVE)是高动态(HDR)成像(HDRI)的有希望的选择。被称为单射HDRI的SVE的HDRI是一种有效的解决方案,以避免重影文物。然而,恢复从真实世界的图像与SVE恢复全分辨率的HDR图像是非常具有挑战性的,因为:a)在拜耳图案中,通过相机捕获具有不同曝光的三分之一的像素,B)捕获的一些捕获像素过于和暴露。对于以前的挑战,设计了一种空间变化的卷积(SVC)来设计以改变曝光的携带携带的拜耳图像。对于后者,提出了一种曝光 - 引导方法,以防止来自暴露和暴露的像素的干扰。最后,联合去脱模和HDRI深度学习框架被形式化以包括两种新型组件,并实现端到端的单次HDRI。实验表明,所提出的端到端框架避免了累积误差问题并超越了相关的最先进的方法。
translated by 谷歌翻译
深度卷积神经网络(DCNN)辅助高动态范围(HDR)成像最近接受了很多关注。 DCNN生成的HDR图像的质量过于传统的对应物。然而,DCNN容易被计算密集和富力耗电。为了解决挑战,我们提出了用于极端双曝光图像融合的轻质CNN的基于轻型CNN的算法,这可以在具有有限的电力和硬件资源的各种嵌入式计算平台上实现。使用两个子网络:GlobalNet(g)和detailnet(d)。 G的目标是学习关于空间维度的全局信息,而D旨在增强通道维度的本地细节。 G和D都仅基于深度卷积(D CONC)和何时卷积(P CONV),以减少所需的参数和计算。实验结果显示所提出的技术可以在极其暴露的区域中产生具有合理细节的HDR图像。我们的模型超过了其他最先进的方法0.7至8.5,至于PSNR得分,并与其他方式达到7,675至463,385参数减少
translated by 谷歌翻译
Images with haze of different varieties often pose a significant challenge to dehazing. Therefore, guidance by estimates of haze parameters related to the variety would be beneficial and their progressive update jointly with haze reduction will allow effective dehazing. To this end, we propose a multi-network dehazing framework containing novel interdependent dehazing and haze parameter updater networks that operate in a progressive manner. The haze parameters, transmission map and atmospheric light, are first estimated using specific convolutional networks allowing color-cast handling. The estimated parameters are then used to guide our dehazing module, where the estimates are progressively updated by novel convolutional networks. The updating takes place jointly with progressive dehazing by a convolutional network that invokes inter-step dependencies. The joint progressive updating and dehazing gradually modify the haze parameter estimates toward achieving effective dehazing. Through different studies, our dehazing framework is shown to be more effective than image-to-image mapping or predefined haze formation model based dehazing. Our dehazing framework is qualitatively and quantitatively found to outperform the state-of-the-art on synthetic and real-world hazy images of several datasets with varied haze conditions.
translated by 谷歌翻译
高动态范围(HDR)DEGHOSTING算法旨在生成具有现实细节的无幽灵HDR图像。受到接收场的局部性的限制,现有的基于CNN的方法通常容易产生大型运动和严重饱和的情况下产生鬼影和强度扭曲。在本文中,我们提出了一种新颖的背景感知视觉变压器(CA-VIT),用于无幽灵的高动态范围成像。 CA-VIT被设计为双分支结构,可以共同捕获全球和本地依赖性。具体而言,全球分支采用基于窗口的变压器编码器来建模远程对象运动和强度变化以解决hosting。对于本地分支,我们设计了局部上下文提取器(LCE)来捕获短范围的图像特征,并使用频道注意机制在提取的功能上选择信息丰富的本地详细信息,以补充全局分支。通过将CA-VIT作为基本组件纳入基本组件,我们进一步构建了HDR-Transformer,这是一个分层网络,以重建高质量的无幽灵HDR图像。在三个基准数据集上进行的广泛实验表明,我们的方法在定性和定量上优于最先进的方法,而计算预算大大降低。代码可从https://github.com/megvii-research/hdr-transformer获得
translated by 谷歌翻译
在低动态范围(LDR)图像中存在阴影和突出显示区域,其从高动态范围(HDR)场景捕获。恢复LDR图像的饱和区域是一个不成不良的问题。在本文中,通过融合模型和数据驱动的方法来恢复LDR图像的饱和区域。利用这种神经增强,首先通过基于模型的方法从底层LDR图像生成两个合成的LDR图像。一个比输入图像更亮,以恢复阴影区域,另一个比输入图像更暗,以恢复高光区域。然后通过新颖的曝光感知饱和度恢复网络(EASRN)改进了两个合成图像。最后,两个合成图像和输入图像通过HDR合成算法或多尺度曝光融合算法组合在一起。所提出的算法可以嵌入任何智能手机或数码相机,以产生信息丰富的LDR图像。
translated by 谷歌翻译
这些年来,展示技术已经发展。开发实用的HDR捕获,处理和显示解决方案以将3D技术提升到一个新的水平至关重要。多曝光立体声图像序列的深度估计是开发成本效益3D HDR视频内容的重要任务。在本文中,我们开发了一种新颖的深度体系结构,以进行多曝光立体声深度估计。拟议的建筑有两个新颖的组成部分。首先,对传统立体声深度估计中使用的立体声匹配技术进行了修改。对于我们体系结构的立体深度估计部分,部署了单一到stereo转移学习方法。拟议的配方规避了成本量构造的要求,该要求由基于重新编码的单码编码器CNN取代,具有不同的重量以进行功能融合。基于有效网络的块用于学习差异。其次,我们使用强大的视差特征融合方法组合了从不同暴露水平上从立体声图像获得的差异图。使用针对不同质量度量计算的重量图合并在不同暴露下获得的差异图。获得的最终预测差异图更强大,并保留保留深度不连续性的最佳功能。提出的CNN具有使用标准动态范围立体声数据或具有多曝光低动态范围立体序列的训练的灵活性。在性能方面,所提出的模型超过了最新的单眼和立体声深度估计方法,无论是定量还是质量地,在具有挑战性的场景流以及暴露的Middlebury立体声数据集上。该体系结构在复杂的自然场景中表现出色,证明了其对不同3D HDR应用的有用性。
translated by 谷歌翻译
由智能手机和中端相机捕获的照片的空间分辨率和动态范围有限,在饱和区域中未充满刺激的区域和颜色人工制品中的嘈杂响应。本文介绍了第一种方法(据我们所知),以重建高分辨率,高动态范围的颜色图像,这些颜色来自带有曝光括号的手持相机捕获的原始照相爆发。该方法使用图像形成的物理精确模型来结合迭代优化算法,用于求解相应的逆问题和学习的图像表示,以进行健壮的比对,并以前的自然图像。所提出的算法很快,与基于最新的学习图像恢复方法相比,内存需求较低,并且从合成但逼真的数据终止学习的特征。广泛的实验证明了其出色的性能,具有最多$ \ times 4 $的超分辨率因子在野外拍摄的带有手持相机的真实照片,以及对低光条件,噪音,摄像机摇动和中等物体运动的高度鲁棒性。
translated by 谷歌翻译