最近,隐写术领域经历了基于深度学习(DL)的快速发展。基于DL的隐写术在封面图像的所有可用位分发了秘密信息,从而在使用传统的隐分方法来检测,提取或删除隐藏秘密图像的困难。但是,我们提出的框架是第一个有效禁用使用基于DL的隐写术的秘密通信和事务。我们提出了一种基于DL的隐分技术,其通过恢复原始图像的分布而有效地去除秘密图像。我们通过使用深神经网络利用复杂的像素分布和图像的边缘分布来制定问题并解决它。根据给定的信息,我们在像素级别删除隐藏的秘密信息。我们通过使用三个公共基准与传统的隐草方法进行比较来评估我们的技术。由于基于DL的隐写的解码方法是近似的(损失)并且与传统隐写术的解码方法不同,我们还引入了一种称为破坏率(DT)的新的定量度量。实验结果表明,在解码速率和DT中表现出10-20%的性能提高。
translated by 谷歌翻译
数字图像水印寻求保护数字媒体信息免受未经授权的访问,其中消息被嵌入到数字图像中并从中提取,甚至在各种数据处理下应用一些噪声或失真,包括有损图像压缩和交互式内容编辑。在用一些事先约束时,传统图像水印解决方案容易受到鲁棒性,而最近的基于深度学习的水印方法无法在特征编码器和解码器的各种单独管道下进行良好的信息丢失问题。在本文中,我们提出了一种新的数字图像水印解决方案,具有一个小巧的神经网络,名为可逆的水印网络(IWN)。我们的IWN架构基于单个可逆的神经网络(INN),这种双翼飞变传播框架使我们能够通过将它们作为彼此的一对逆问题同时解决信息嵌入和提取的挑战,并学习稳定的可逆性映射。为了增强我们的水印解决方案的稳健性,我们具体地引入了一个简单但有效的位消息归一化模块,以冷凝要嵌入的位消息,并且噪声层旨在模拟我们的iWN框架下的各种实际攻击。广泛的实验表明了我们在各种扭曲下的解决方案的优越性。
translated by 谷歌翻译
无监督的深度学习最近证明了生产高质量样本的希望。尽管它具有促进图像着色任务的巨大潜力,但由于数据歧管和模型能力的高维度,性能受到限制。这项研究提出了一种新的方案,该方案利用小波域中的基于得分的生成模型来解决这些问题。通过利用通过小波变换来利用多尺度和多渠道表示,该模型可以共同有效地从堆叠的粗糙小波系数组件中了解较富裕的先验。该策略还降低了原始歧管的维度,并减轻了维度的诅咒,这对估计和采样有益。此外,设计了小波域中的双重一致性项,即数据一致性和结构一致性,以更好地利用着色任务。具体而言,在训练阶段,一组由小波系数组成的多通道张量被用作训练网络以denoising得分匹配的输入。在推论阶段,样品是通过具有数据和结构一致性的退火Langevin动力学迭代生成的。实验证明了所提出的方法在发电和着色质量方面的显着改善,尤其是在着色鲁棒性和多样性方面。
translated by 谷歌翻译
盲图修复(IR)是计算机视觉中常见但充满挑战的问题。基于经典模型的方法和最新的深度学习(DL)方法代表了有关此问题的两种不同方法,每种方法都有自己的优点和缺点。在本文中,我们提出了一种新颖的盲图恢复方法,旨在整合它们的两种优势。具体而言,我们为盲IR构建了一个普通的贝叶斯生成模型,该模型明确描绘了降解过程。在此提出的模型中,PICEL的非I.I.D。高斯分布用于适合图像噪声。它的灵活性比简单的I.I.D。在大多数常规方法中采用的高斯或拉普拉斯分布,以处理图像降解中包含的更复杂的噪声类型。为了解决该模型,我们设计了一个变异推理算法,其中所有预期的后验分布都被参数化为深神经网络,以提高其模型能力。值得注意的是,这种推论算法诱导统一的框架共同处理退化估计和图像恢复的任务。此外,利用了前一种任务中估计的降解信息来指导后一种红外过程。对两项典型的盲型IR任务进行实验,即图像降解和超分辨率,表明所提出的方法比当前最新的方法实现了卓越的性能。
translated by 谷歌翻译
基于深度学习的彩色图像隐写术是彩色图像中隐藏信息的艺术。其中,近年来,图像隐藏的隐藏隐身(躲藏图像)近年来引起了很多关注,因为它的书签容量很大。然而,由图像隐藏的隐藏术产生的图像可以显示一些明显的颜色失真或人为纹理迹线。我们提出了一种基于频率子带选择的彩色图像隐写模型,以解决上述问题。首先,我们讨论了不同颜色空间/频率子带的特征与所生成的图像质量之间的关系。然后,我们选择RGB图像的B沟道作为嵌入信道和高频子频带作为嵌入域。 DWT(离散小波变换)将B信道信息和秘密灰度图像变换为频域信息,然后嵌入秘密图像并在频域中提取。综合实验表明,我们的模型产生的图像具有更好的图像质量,并且难以察觉率显着增加。
translated by 谷歌翻译
最近的研究表明,深层神经网络容易受到不同类型的攻击,例如对抗性攻击,数据中毒攻击和后门攻击。其中,后门攻击是最狡猾的攻击,几乎可以在深度学习管道的每个阶段发生。因此,后门攻击吸引了学术界和行业的许多兴趣。但是,大多数现有的后门攻击方法对于某些轻松的预处理(例如常见数据转换)都是可见的或脆弱的。为了解决这些限制,我们提出了一种强大而无形的后门攻击,称为“毒药”。具体而言,我们首先利用图像结构作为目标中毒区域,并用毒药(信息)填充它们以生成触发图案。由于图像结构可以在数据转换期间保持其语义含义,因此这种触发模式对数据转换本质上是强大的。然后,我们利用深度注射网络将这种触发模式嵌入封面图像中,以达到隐身性。与现有流行的后门攻击方法相比,毒药的墨水在隐形和健壮性方面都优于表现。通过广泛的实验,我们证明了毒药不仅是不同数据集和网络体系结构的一般性,而且对于不同的攻击场景也很灵活。此外,它对许多最先进的防御技术也具有非常强烈的抵抗力。
translated by 谷歌翻译
Objective methods for assessing perceptual image quality have traditionally attempted to quantify the visibility of errors between a distorted image and a reference image using a variety of known properties of the human visual system. Under the assumption that human visual perception is highly adapted for extracting structural information from a scene, we introduce an alternative framework for quality assessment based on the degradation of structural information. As a specific example of this concept, we develop a Structural Similarity Index and demonstrate its promise through a set of intuitive examples, as well as comparison to both subjective ratings and state-of-the-art objective methods on a database of images compressed with JPEG and JPEG2000. 1
translated by 谷歌翻译
Along with the springing up of semantics-empowered communication (SemCom) researches, it is now witnessing an unprecedentedly growing interest towards a wide range of aspects (e.g., theories, applications, metrics and implementations) in both academia and industry. In this work, we primarily aim to provide a comprehensive survey on both the background and research taxonomy, as well as a detailed technical tutorial. Specifically, we start by reviewing the literature and answering the "what" and "why" questions in semantic transmissions. Afterwards, we present corresponding ecosystems, including theories, metrics, datasets and toolkits, on top of which the taxonomy for research directions is presented. Furthermore, we propose to categorize the critical enabling techniques by explicit and implicit reasoning-based methods, and elaborate on how they evolve and contribute to modern content \& channel semantics-empowered communications. Besides reviewing and summarizing the latest efforts in SemCom, we discuss the relations with other communication levels (e.g., reliable and goal-oriented communications) from a holistic and unified viewpoint. Subsequently, in order to facilitate the future developments and industrial applications, we also highlight advanced practical techniques for boosting semantic accuracy, robustness, and large-scale scalability, just to mention a few. Finally, we discuss the technical challenges that shed light on future research opportunities.
translated by 谷歌翻译
本文提出了图像恢复的新变异推理框架和一个卷积神经网络(CNN)结构,该结构可以解决所提出的框架所描述的恢复问题。较早的基于CNN的图像恢复方法主要集中在网络体系结构设计或培训策略上,具有非盲方案,其中已知或假定降解模型。为了更接近现实世界的应用程序,CNN还接受了整个数据集的盲目培训,包括各种降解。然而,给定有多样化的图像的高质量图像的条件分布太复杂了,无法通过单个CNN学习。因此,也有一些方法可以提供其他先验信息来培训CNN。与以前的方法不同,我们更多地专注于基于贝叶斯观点以及如何重新重新重构目标的恢复目标。具体而言,我们的方法放松了原始的后推理问题,以更好地管理子问题,因此表现得像分裂和互动方案。结果,与以前的框架相比,提出的框架提高了几个恢复问题的性能。具体而言,我们的方法在高斯denoising,现实世界中的降噪,盲图超级分辨率和JPEG压缩伪像减少方面提供了最先进的性能。
translated by 谷歌翻译
在水下活动期间获得的图像遭受了水的环境特性,例如浊度和衰减。这些现象会导致颜色失真,模糊和对比度减少。另外,不规则的环境光分布会导致色道不平衡和具有高强度像素的区域。最近的作品与水下图像增强有关,并基于深度学习方法,解决了缺乏生成合成基地真相的配对数据集。在本文中,我们提出了一种基于深度学习的水下图像增强的自我监督学习方法,不需要配对的数据集。提出的方法估计了水下图像中存在的降解。此外,自动编码器重建此图像,并使用估计的降解信息降解其输出图像。因此,该策略在训练阶段的损失函数中用降级版本代替了输出图像。此过程\ textIt {Misleads}学会补偿其他降解的神经网络。结果,重建的图像是输入图像的增强版本。此外,该算法还提出了一个注意模块,以减少通过颜色通道不平衡和异常区域在增强图像中产生的高强度区域。此外,提出的方法不需要基本真实。此外,仅使用真实的水下图像来训练神经网络,结果表明该方法在颜色保存,颜色铸造降低和对比度改进方面的有效性。
translated by 谷歌翻译
在本文中,我们解决了逆转图像滤波器效果的新问题,该图像过滤器可以是线性的或非线性的。假设是滤波器的算法未知,滤波器可作为黑框。我们为最小化本地补丁的成本函数和使用总衍生物来近似于梯度下降以解决问题的渐变来制定该逆问题。我们分析影响傅里叶域中输出的收敛和质量的因素。我们还研究加速梯度下降算法在三个无梯度的反向滤波器中的应用,包括本文提出的较方案。我们提出了广泛的实验结果,以评估所提出的算法的复杂性和有效性。结果表明,所提出的算法优于现有技术(1),它与最快的反向滤波器的复杂程度相同,但它可以反转更多数量的滤波器,并且(2)它可以反转与非常复杂的反滤波器的过滤器相同的滤波器列表,但其复杂性要小得多。
translated by 谷歌翻译
With the development of convolutional neural networks, hundreds of deep learning based dehazing methods have been proposed. In this paper, we provide a comprehensive survey on supervised, semi-supervised, and unsupervised single image dehazing. We first discuss the physical model, datasets, network modules, loss functions, and evaluation metrics that are commonly used. Then, the main contributions of various dehazing algorithms are categorized and summarized. Further, quantitative and qualitative experiments of various baseline methods are carried out. Finally, the unsolved issues and challenges that can inspire the future research are pointed out. A collection of useful dehazing materials is available at \url{https://github.com/Xiaofeng-life/AwesomeDehazing}.
translated by 谷歌翻译
Deconvolution is a widely used strategy to mitigate the blurring and noisy degradation of hyperspectral images~(HSI) generated by the acquisition devices. This issue is usually addressed by solving an ill-posed inverse problem. While investigating proper image priors can enhance the deconvolution performance, it is not trivial to handcraft a powerful regularizer and to set the regularization parameters. To address these issues, in this paper we introduce a tuning-free Plug-and-Play (PnP) algorithm for HSI deconvolution. Specifically, we use the alternating direction method of multipliers (ADMM) to decompose the optimization problem into two iterative sub-problems. A flexible blind 3D denoising network (B3DDN) is designed to learn deep priors and to solve the denoising sub-problem with different noise levels. A measure of 3D residual whiteness is then investigated to adjust the penalty parameters when solving the quadratic sub-problems, as well as a stopping criterion. Experimental results on both simulated and real-world data with ground-truth demonstrate the superiority of the proposed method.
translated by 谷歌翻译
在光子 - 稀缺情况下的成像引入了许多应用的挑战,因为捕获的图像具有低信噪比和较差的亮度。在本文中,我们通过模拟量子图像传感器(QIS)的成像来研究低光子计数条件下的原始图像恢复。我们开发了一个轻量级框架,由多级金字塔去噪网络(MPDNET)和亮度调整(LA)模块组成,以实现单独的去噪和亮度增强。我们框架的主要组成部分是多跳过的剩余块(MARB),其集成了多尺度特征融合和注意机制,以实现更好的特征表示。我们的MPDNET采用拉普拉斯金字塔的想法,以了解不同级别的小规模噪声图和大规模的高频细节,在多尺度输入图像上进行特征提取,以编码更丰富的上下文信息。我们的LA模块通过估计其照明来增强去噪图像的亮度,这可以更好地避免颜色变形。广泛的实验结果表明,通过抑制噪声并有效地恢复亮度和颜色,我们的图像恢复器可以在具有各种光子水平的具有各种光子水平的降解图像上实现优异的性能。
translated by 谷歌翻译
随着深度学习(DL)的出现,超分辨率(SR)也已成为一个蓬勃发展的研究领域。然而,尽管结果有希望,但该领域仍然面临需要进一步研究的挑战,例如,允许灵活地采样,更有效的损失功能和更好的评估指标。我们根据最近的进步来回顾SR的域,并检查最新模型,例如扩散(DDPM)和基于变压器的SR模型。我们对SR中使用的当代策略进行了批判性讨论,并确定了有前途但未开发的研究方向。我们通过纳入该领域的最新发展,例如不确定性驱动的损失,小波网络,神经体系结构搜索,新颖的归一化方法和最新评估技术来补充先前的调查。我们还为整章中的模型和方法提供了几种可视化,以促进对该领域趋势的全球理解。最终,这篇综述旨在帮助研究人员推动DL应用于SR的界限。
translated by 谷歌翻译
Although deep neural networks (DNNs) have achieved great success in many tasks, they can often be fooled by adversarial examples that are generated by adding small but purposeful distortions to natural examples. Previous studies to defend against adversarial examples mostly focused on refining the DNN models, but have either shown limited success or required expensive computation. We propose a new strategy, feature squeezing, that can be used to harden DNN models by detecting adversarial examples. Feature squeezing reduces the search space available to an adversary by coalescing samples that correspond to many different feature vectors in the original space into a single sample. By comparing a DNN model's prediction on the original input with that on squeezed inputs, feature squeezing detects adversarial examples with high accuracy and few false positives.This paper explores two feature squeezing methods: reducing the color bit depth of each pixel and spatial smoothing. These simple strategies are inexpensive and complementary to other defenses, and can be combined in a joint detection framework to achieve high detection rates against state-of-the-art attacks.
translated by 谷歌翻译
如今,广泛使用了数字化文件,如科学文章,税务表,发票,合同文件和历史文本。由于各种原因,这些图像可能会劣化或损坏,包括捕获图像时的差的情况,阴影,扫描它们时,噪音和模糊,老化,墨水染色,通过,水印,印模等。文档图像增强和恢复在许多自动文档分析和识别任务中发挥至关重要的作用,例如使用光学字符识别(OCR)的内容提取。随着最近深入学习的进步,提出了许多方法来提高这些文档图像的质量。在本文中,我们审查了基于深入的学习方法,数据集和指标,用于不同的文档图像增强问题。我们提供全面概述六种不同文档图像增强任务的基于深度学习的方法,包括二值化,脱落,去噪,偏差,水印去除和暗影去除。我们总结了每个任务的主要最先进的工作,并讨论其特征,挑战和局限性。我们介绍了多个文件图像增强任务,这些任务不仅仅是注意力,包括在曝光和暴露校正和漏洞中,并识别未来研究的其他一些有前途的研究方向和机会。
translated by 谷歌翻译
迄今为止,通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计,这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是,下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外,可以使这些系统了解进行交流交流的环境,从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力,从早期改编,语义意识和以任务为导向的通信开始,涵盖了基础,算法和潜在的实现。重点是利用信息理论提供基础的方法,以及学习在语义和任务感知通信中的重要作用。
translated by 谷歌翻译
受监管的基于学习的方法屈服于强大的去噪结果,但它们本质上受到大规模清洁/嘈杂配对数据集的需要。另一方面,使用无监督的脱言机需要更详细地了解潜在的图像统计数据。特别是,众所周知,在高频频带上,清洁和嘈杂的图像之间的表观差异是最突出的,证明使用低通滤波器作为传统图像预处理步骤的一部分。然而,基于大多数基于学习的去噪方法在不考虑频域信息的情况下仅利用来自空间域的片面信息。为了解决这一限制,在本研究中,我们提出了一种频率敏感的无监督去噪方法。为此,使用生成的对抗性网络(GaN)作为基础结构。随后,我们包括光谱鉴别器和频率重建损失,以将频率知识传输到发电机中。使用自然和合成数据集的结果表明,我们无监督的学习方法增强了频率信息,实现了最先进的去噪能力,表明频域信息可能是提高无监督基于学习的方法的整体性能的可行因素。
translated by 谷歌翻译
One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .
translated by 谷歌翻译