基于传感器的相机识别(SCI)方法的性能严重依赖于估计光响应非均匀性(PRNU)的去噪滤波器。鉴于各种对提高提取的PRNU质量的尝试,它仍然存在于低分辨率图像和高计算需求中的不令人满意的性能。利用PRNU估计和图像去噪的相似性,利用了基于PRNU提取的卷积神经网络(CNN)的最新成就。本文在公共“德累斯顿图像数据库”上对SCI性能进行了对比较评估。我们的研究结果是两倍。从一个方面,来自图像内容的PRNU提取和图像去噪分开噪声。因此,如果仔细培训,SCI可以从最近的CNN Denoisers受益。从另一方面,PRNU提取和图像去噪的目标和场景是不同的,因为一个优化噪声质量和另一个优化图像质量。当CNN Denoisers用于PRNU估计时,需要精心定制的培训。理论上和实际评估培训数据准备和损失功能设计的替代策略。我们指出,用图像 - PRNU对喂养CNN,并以基于相关的损耗函数训练它们导致最好的PRNU估计性能。为了便于对SCI的进一步研究,我们还提出了一种最小损失相机指纹量化方案,我们使用该量化方案将指纹保存为PNG格式的图像文件。此外,我们从“德累斯顿图像数据库”公开可用的相机的量化指纹。
translated by 谷歌翻译
Discriminative model learning for image denoising has been recently attracting considerable attentions due to its favorable denoising performance. In this paper, we take one step forward by investigating the construction of feed-forward denoising convolutional neural networks (DnCNNs) to embrace the progress in very deep architecture, learning algorithm, and regularization method into image denoising. Specifically, residual learning and batch normalization are utilized to speed up the training process as well as boost the denoising performance. Different from the existing discriminative denoising models which usually train a specific model for additive white Gaussian noise (AWGN) at a certain noise level, our DnCNN model is able to handle Gaussian denoising with unknown noise level (i.e., blind Gaussian denoising). With the residual learning strategy, DnCNN implicitly removes the latent clean image in the hidden layers. This property motivates us to train a single DnCNN model to tackle with several general image denoising tasks such as Gaussian denoising, single image super-resolution and JPEG image deblocking. Our extensive experiments demonstrate that our DnCNN model can not only exhibit high effectiveness in several general image denoising tasks, but also be efficiently implemented by benefiting from GPU computing.
translated by 谷歌翻译
源相机识别工具辅助图像法医调查人员将讨论的图像与可疑摄像机相关联。已经基于在获取期间图像中留下的微妙迹线的分析来开发了各种技术。由传感器缺陷引起的照片响应非均匀性(PRNU)噪声模式已被证明是识别源相机的有效方法。现有文献表明,PRNU是唯一是特定于设备的指纹,并且能够识别确切的源设备。然而,PRNU易受相机设置,图像内容,图像处理操作和反务攻击的影响。法医调查员不知道反务攻击​​或附带图像操纵有误导的风险。两个PRNU匹配期间的空间同步要求也代表了PRNU的一个主要限制。近年来,基于深度学习的方法在识别源相机模型方面取得了成功。然而,通过这些数据驱动方法识别相同模型的各个摄像机仍然不令人满意。在本文中,我们可以在数字图像中阐明能够识别相同模型的各个摄像机的数字图像中的新的强大数据驱动设备特定指纹。发现新设备指纹是独立于无关的,随机性的,全局可用,解决空间同步问题。与驻留在高频带中的PRNU不同,从低频和中频频带提取新的设备指纹,这解析了PRNU无法抗争的脆弱问题。我们对各种数据集的实验表明,新的指纹对图像操纵具有高度弹性,例如旋转,伽马校正和侵略性JPEG压缩。
translated by 谷歌翻译
移动设备上的低光成像通常是由于不足的孔径穿过相对较小的孔径而挑战,导致信噪比较低。以前的大多数关于低光图像处理的作品仅关注单个任务,例如照明调整,颜色增强或删除噪声;或在密切依赖于从特定的摄像机模型中收集的长时间曝光图像对的关节照明调整和降解任务上,因此,这些方法在需要摄像机特定的关节增强和恢复的现实环境中不太实用且可推广。为了解决这个问题,在本文中,我们提出了一个低光图像处理框架,该框架可以执行关节照明调整,增强色彩和降解性。考虑到模型特异性数据收集的难度和捕获图像的超高定义,我们设计了两个分支:系数估计分支以及关节增强和denoising分支。系数估计分支在低分辨率空间中起作用,并预测通过双边学习增强的系数,而关节增强和去核分支在全分辨率空间中工作,并逐步执行关节增强和脱氧。与现有方法相反,我们的框架在适应另一个摄像机模型时不需要回忆大量数据,这大大减少了微调我们用于实际使用方法所需的努力。通过广泛的实验,与当前的最新方法相比,我们在现实世界中的低光成像应用中证明了它的巨大潜力。
translated by 谷歌翻译
指纹证据在识别个人的刑事调查中起着重要作用。尽管已经提出了各种指纹分类和特征提取的技术,但指纹的自动指纹识别仍处于最早的阶段。传统\ textIt {自动指纹识别系统}(AFIS)的性能取决于有效的小小的点,并且仍然需要人类的专家协助在功能提取和识别阶段。基于这种动机,我们提出了一种基于生成对抗网络和一声学习技术(FIGO)的指纹识别方法。我们的解决方案包含两个组件:指纹增强层和指纹识别层。首先,我们提出了一个PIX2PIX模型,将低质量的指纹图像转换为直接在指纹增强层中的Pixel的高水平的指纹图像像素。通过提出的增强算法,指纹识别模型的性能得到了显着提高。此外,我们通过观察指纹设备的识别精度来开发基于Gabor过滤器的另一种现有解决方案,作为与建议模型进行比较的基准。实验结果表明,我们提出的PIX2PIX模型比指纹识别的基线方法具有更好的支持。其次,我们使用单次学习方法在指纹识别过程中构建一个完全自动化的指纹特征提取模型。两个具有共享权重和参数的双卷积神经网络(CNN)用于在此过程中获得特征向量。使用提出的方法,我们证明只能以高精度从一个培训样本中学习必要的信息。
translated by 谷歌翻译
作为混合成像技术,光声显微镜(PAM)成像由于激光强度的最大允许暴露,组织中超声波的衰减以及换能器的固有噪声而受到噪声。去噪是降低噪声的后处理方法,并且可以恢复PAM图像质量。然而,之前的去噪技术通常严重依赖于数学前导者以及手动选择的参数,导致对不同噪声图像的不令人满意和慢的去噪能,这极大地阻碍了实用和临床应用。在这项工作中,我们提出了一种基于深度学习的方法,可以从PAM图像中除去复杂的噪声,没有数学前导者,并手动选择不同输入图像的设置。注意增强的生成对抗性网络用于提取图像特征并去除各种噪声。在合成和实际数据集上证明了所提出的方法,包括幻影(叶静脉)和体内(小鼠耳血管和斑马鱼颜料)实验。结果表明,与先前的PAM去噪方法相比,我们的方法在定性和定量上恢复图像时表现出良好的性能。此外,为256次\ times256 $像素的图像实现了0.016 s的去噪速度。我们的方法对于PAM图像的去噪有效和实用。
translated by 谷歌翻译
由于攻击材料的多样性,指纹识别系统(AFRSS)容易受到恶意攻击的影响。为AFRSS的安全性和可靠性提出有效的指纹介绍攻击检测(PAD)方法是非常重要的。然而,当前焊盘方法通常在新攻击材料或传感器设置下具有差的鲁棒性。因此,本文通过考虑处理先前作品中忽略的冗余“噪声”信息,提出了一种新的通道 - 方向特征去噪焊盘(CFD-PAD)方法。所提出的方法通过加权每个信道的重要性并找到这些鉴别性信道和“噪声”通道来学习指纹图像的重要特征。然后,在特征图中抑制了“噪声”通道的传播以减少干扰。具体地,设计了PA-Adaption损耗来限制特征分布,以使实时指纹的特征分布更具聚合和欺骗指纹更多的分散。我们在Livdet 2017上评估的实验结果表明,当假检出率等于1.0%(TDR @FDR = 1%)时,我们所提出的CFD-PAD可以达到2.53%的ace和93.83%的真实检测率,并且优于基于最佳的单一模型在ACE(2.53%与4.56%)和TDR @FDR方面的方法明显显着(93.83%,93.83%\%),这证明了该方法的有效性。虽然我们已经实现了与最先进的基于多模型的方法相比的可比结果,但是通过我们的方法仍然可以实现TDR @ FDR增加到91.19%的1%至93.83%。此外,与基于多模型的多模型的方法相比,我们的模型更简单,更轻,更高效,更高效地实现了74.76%的耗时减少。代码将公开。
translated by 谷歌翻译
合成孔径雷达(SAR)图像是各种任务的有价值资产。在过去的几年里,许多网站以易于管理产品的形式免费提供它们,倾向于在S​​AR领域的广泛扩散和研究工作。这些机会的缺点是,这些图像可能会被恶意用户暴露于伪造和操纵,提高对他们的诚信和可信度的新担忧。到目前为止,多媒体取证文献提出了各种技术来定位自然照片中的操纵,但从未调查过SAR图像的完整性评估。此任务构成了新的挑战,因为SAR图像是由处理链完全不同于自然照片的图像。这意味着对于自然图像开发的许多取证方法不保证成功。在本文中,我们研究了SAR图像拼接定位问题的问题。我们的目标是本地化已经复制和粘贴了从另一个图像复制和粘贴的幅度SAR图像的区域,可能正在进行该过程中的某种编辑。为此,我们利用卷积神经网络(CNN)来提取在分析的输入的处理迹线中突出的指纹突出显示。然后,我们检查该指纹以产生二进制篡改掩模,指示拼接攻击下的像素区域。结果表明,我们提出的方法,针对SAR信号的性质量身定制,提供比为自然图像开发的最先进的法医工具更好的表现。
translated by 谷歌翻译
随着深度学习(DL)的出现,超分辨率(SR)也已成为一个蓬勃发展的研究领域。然而,尽管结果有希望,但该领域仍然面临需要进一步研究的挑战,例如,允许灵活地采样,更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域,并检查最新模型,例如扩散(DDPM)和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论,并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展,例如不确定性驱动的损失,小波网络,神经体系结构搜索,新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化,以促进对该领域趋势的全球理解。最终,这篇综述旨在帮助研究人员推动DL应用于SR的界限。
translated by 谷歌翻译
Music discovery services let users identify songs from short mobile recordings. These solutions are often based on Audio Fingerprinting, and rely more specifically on the extraction of spectral peaks in order to be robust to a number of distortions. Few works have been done to study the robustness of these algorithms to background noise captured in real environments. In particular, AFP systems still struggle when the signal to noise ratio is low, i.e when the background noise is strong. In this project, we tackle this problematic with Deep Learning. We test a new hybrid strategy which consists of inserting a denoising DL model in front of a peak-based AFP algorithm. We simulate noisy music recordings using a realistic data augmentation pipeline, and train a DL model to denoise them. The denoising model limits the impact of background noise on the AFP system's extracted peaks, improving its robustness to noise. We further propose a novel loss function to adapt the DL model to the considered AFP system, increasing its precision in terms of retrieved spectral peaks. To the best of our knowledge, this hybrid strategy has not been tested before.
translated by 谷歌翻译
在弱光环境下,手持式摄影在长时间的曝光设置下遭受了严重的相机震动。尽管现有的Deblurry算法在暴露良好的模糊图像上表现出了令人鼓舞的性能,但它们仍然无法应对低光快照。在实用的低光脱毛中,复杂的噪声和饱和区是两个主导挑战。在这项工作中,我们提出了一种称为图像的新型非盲脱毛方法,并具有特征空间Wiener Deonervolution网络(Infwide),以系统地解决这些问题。在算法设计方面,Infwide提出了一个两分支的架构,该体系结构明确消除了噪声并幻觉,使图像空间中的饱和区域抑制了特征空间中的响起文物,并将两个互补输出与一个微妙的多尺度融合网络集成在一起高质量的夜间照片浮雕。为了进行有效的网络培训,我们设计了一组损失功能,集成了前向成像模型和向后重建,以形成近环的正则化,以确保深神经网络的良好收敛性。此外,为了优化Infwide在实际弱光条件下的适用性,采用基于物理过程的低光噪声模型来合成现实的嘈杂夜间照片进行模型训练。利用传统的Wiener Deonervolution算法的身体驱动的特征并引起了深层神经网络的表示能力,Infwide可以恢复细节,同时抑制在脱毛期间的不愉快的人工制品。关于合成数据和实际数据的广泛实验证明了所提出的方法的出色性能。
translated by 谷歌翻译
本文提出了图像恢复的新变异推理框架和一个卷积神经网络(CNN)结构,该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上,具有非盲方案,其中已知或假定降解模型。为了更接近现实世界的应用程序,CNN还接受了整个数据集的盲目培训,包括各种降解。然而,给定有多样化的图像的高质量图像的条件分布太复杂了,无法通过单个CNN学习。因此,也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同,我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言,我们的方法放松了原始的后推理问题,以更好地管理子问题,因此表现得像分裂和互动方案。结果,与以前的框架相比,提出的框架提高了几个恢复问题的性能。具体而言,我们的方法在高斯denoising,现实世界中的降噪,盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。
translated by 谷歌翻译
X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.
translated by 谷歌翻译
第五代(5G)网络和超越设想巨大的东西互联网(物联网)推出,以支持延长现实(XR),增强/虚拟现实(AR / VR),工业自动化,自主驾驶和智能所有带来的破坏性应用一起占用射频(RF)频谱的大规模和多样化的IOT设备。随着频谱嘎嘎和吞吐量挑战,这种大规模的无线设备暴露了前所未有的威胁表面。 RF指纹识别是预约的作为候选技术,可以与加密和零信任安全措施相结合,以确保无线网络中的数据隐私,机密性和完整性。在未来的通信网络中,在这项工作中,在未来的通信网络中的相关性,我们对RF指纹识别方法进行了全面的调查,从传统观点到最近的基于深度学习(DL)的算法。现有的调查大多专注于无线指纹方法的受限制呈现,然而,许多方面仍然是不可能的。然而,在这项工作中,我们通过解决信号智能(SIGINT),应用程序,相关DL算法,RF指纹技术的系统文献综述来缓解这一点,跨越过去二十年的RF指纹技术的系统文献综述,对数据集和潜在研究途径的讨论 - 必须以百科全书的方式阐明读者的必要条件。
translated by 谷歌翻译
深卷积神经网络(CNN)用于图像通过自动挖掘精确的结构信息进行图像。但是,大多数现有的CNN依赖于扩大设计网络的深度以获得更好的降级性能,这可能会导致训练难度。在本文中,我们通过三个阶段(即动态卷积块(DCB),两个级联的小波变换和增强块(网络)和残留块(RB)(RB)(RB)(RB),提出了带有小波变换(MWDCNN)的多阶段图像。 。 DCB使用动态卷积来动态调整几次卷积的参数,以在降级性能和计算成本之间做出权衡。 Web使用信号处理技术(即小波转换)和判别性学习的组合来抑制噪声,以恢复图像Denoising中更详细的信息。为了进一步删除冗余功能,RB用于完善获得的功能,以改善通过改进残留密度架构来重建清洁图像的特征。实验结果表明,在定量和定性分析方面,提出的MWDCNN优于一些流行的非授权方法。代码可在https://github.com/hellloxiaotian/mwdcnn上找到。
translated by 谷歌翻译
在许多图像处理任务中,深度学习方法的成功,最近还将深度学习方法引入了阶段检索问题。这些方法与传统的迭代优化方法不同,因为它们通常只需要一个强度测量,并且可以实时重建相位图像。但是,由于巨大的领域差异,这些方法给出的重建图像的质量仍然有很大的改进空间来满足一般应用要求。在本文中,我们设计了一种新型的深神经网络结构,名为Sisprnet,以基于单个傅立叶强度测量值进行相检索。为了有效利用测量的光谱信息,我们建议使用多层感知器(MLP)作为前端提出一个新的特征提取单元。它允许将输入强度图像的所有像素一起考虑,以探索其全局表示。 MLP的大小经过精心设计,以促进代表性特征的提取,同时减少噪音和异常值。辍学层还可以减轻训练MLP的过度拟合问题。为了促进重建图像中的全局相关性,将自我注意力的机制引入了提议的Sisprnet的上采样和重建(UR)块。这些UR块被插入残留的学习结构中,以防止由于其复杂的层结构而导致的较弱的信息流和消失的梯度问题。使用线性相关幅度和相位的仅相位图像和图像的不同测试数据集对所提出的模型进行了广泛的评估。在光学实验平台上进行了实验,以了解在实用环境中工作时不同深度学习方法的性能。
translated by 谷歌翻译
One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .
translated by 谷歌翻译
像指纹一样的生物识别验证已成为用户身份验证和验证现代技术不可或缺的一部分。它在我们大多数人所意识到的更多方面普遍存在。但是,如果手指脏,湿,受伤或传感器故障时,这些指纹图像的质量会恶化。因此,通过去除噪声并将其重组以重组图像对于其身份验证至关重要,从而解除原始指纹。因此,本文提出了一种深入学习方法,以使用生成(GAN)和细分模型来解决这些问题。在Pix2Pixgan和Cyclean(生成模型)以及U-NET(分割模型)之间进行了定性和定量比较。为了训练该模型,我们创建了自己的数据集NFD-精心设计的嘈杂的指纹数据集,具有不同的背景以及某些图像中的划痕,以使其更现实和强大。在我们的研究中,U-NET模型的性能比GAN网络更好
translated by 谷歌翻译
经典图像去噪方法利用非本地自相似原理来有效地从嘈杂的图像中恢复图像内容。目前的最先进的方法使用深卷积神经网络(CNNS),以有效地学习从嘈杂到清洁图像的映射。深度去噪CNNS表现出高学习能力,并集成了由于大量隐藏层所产生的大型接收领域而整合非本地信息。然而,深网络也是计算复杂的并且需要大数据进行培训。为了解决这些问题,本研究旨在通过一种新的神经元模型赋予自组织的操作神经网络(自我onns)的重点,该模型可以通过紧凑且浅的模型实现类似或更好的去噪性能。最近,已经引入了超神经元的概念,其通过利用未局限性的内核位置来增强生成神经元的非线性变换,以获得增强的接受场大小。这是赋予深度网络配置需求的关键成就。由于已知非本地信息的整合受益于去噪,在这项工作中,我们研究了超神经元对合成和现实世界图像去噪的使用。我们还讨论了在GPU上实施超神经元模型的实际问题,并提出了非本地化操作的异质性与计算复杂性之间的权衡。我们的结果表明,具有相同的宽度和深度,具有超级神经元的自动onn,具有对具有生成和卷积神经元的网络的去噪性能,为脱结任务提供了显着的促进。此外,结果表明,具有超神经元的自串,可以分别为合成和真实世界的众所周知的众所周知的深层CNN去噪者达到竞争和优越的合成表演。
translated by 谷歌翻译
成像传感器在10-12位的动态范围内将传入场景光数字化(即1024--4096色调值)。然后将传感器图像加工在相机上,最后量化为仅8位(即256个音调值),以符合普遍的编码标准。有许多重要的应用程序,例如高位深度显示和照片编辑,有利于恢复丢失的位深度。深度神经网络在该位深度重建任务中是有效的。给定量化的低位深度图像作为输入,现有的深度学习方法采用单次方法,该方法尝试直接估计高位深度图像,或(2)直接估计高的剩余物 - 和低位深度图像。相比之下,我们提出了一种培训和推理策略,可以恢复剩余图像位平平面。我们的BitPlane-Wise学习框架具有允许在训练期间进行多级监督的优势,并且能够使用简单的网络架构获得最先进的结果。我们在多个图像数据集上广泛地测试了我们提出的方法,并在以前的方法上证明了0.5db至2.3db psnr的改进,这取决于量化水平。
translated by 谷歌翻译