我们提出了一种用于在仅在解码器处作为侧面信息可用时压缩图像的新型神经网络（DNN）架构。该问题在信息理论中称为分布式源编码（DSC）。特别地，我们考虑一对立体图像，其由于视野的重叠场而通常彼此具有高相关，并且假设要压缩和发送该对的一个图像，而另一个图像仅在解码器。在所提出的架构中，编码器将输入图像映射到潜像，量化潜在表示，并使用熵编码压缩它。训练解码器以仅使用后者使用后者提取输入图像和相关图像之间的公共信息。接收的潜在表示和本地生成的公共信息通过解码器网络来获得增强的输入图像的增强重建。公共信息提供了ReceIver上相关信息的简洁表示。我们训练并展示所提出的方法对立体声图像对的拟议方法的有效性。我们的结果表明，该建筑的架构能够利用仅解码器的侧面信息，并且在使用解码器侧信息的情况下优于立体图像压缩的先前工作。

我们提出了一种新型的深神经网络（DNN）体系结构，以在仅在解码器侧作为侧面信息可用时，以压缩图像，这是一个著名且经过深入研究的分布式源编码（DSC）问题的特殊情况。特别是，我们考虑了一对立体声图像，它们具有重叠的视野，由同步和校准的摄像机捕获。因此，高度相关。我们假设该对的一个图像要被压缩和传输，而另一个图像仅在解码器上可用。在提出的体系结构中，编码器使用DNN将输入图像映射到潜在空间，量化潜在表示，并使用熵编码无损地压缩了它。所提出的解码器提取了仅从可用侧面信息的图像之间的有用信息，以及侧面信息的潜在表示。然后，这两个图像的潜在表示，一个是从编码器中接收的，另一个从本地提取，以及本地生成的共同信息，将其馈送到两个图像的各个解码器中。我们采用交叉意见模块（CAM）来对齐两个图像的各个解码器的中间层中获得的特征图，从而可以更好地利用侧面信息。我们训练并演示了拟议算法对各种现实设置的有效性，例如立体声图像对的Kitti和CityScape数据集。我们的结果表明，所提出的体系结构能够以更有效的方式利用仅解码器的侧面信息，因为它表现优于先前的工作。我们还表明，即使在未校准和未同步的相机阵列用例的情况下，提出的方法也能够提供显着的收益。

We describe an end-to-end trainable model for image compression based on variational autoencoders. The model incorporates a hyperprior to effectively capture spatial dependencies in the latent representation. This hyperprior relates to side information, a concept universal to virtually all modern image codecs, but largely unexplored in image compression using artificial neural networks (ANNs). Unlike existing autoencoder compression methods, our model trains a complex prior jointly with the underlying autoencoder. We demonstrate that this model leads to state-of-the-art image compression when measuring visual quality using the popular MS-SSIM index, and yields rate-distortion performance surpassing published ANN-based methods when evaluated using a more traditional metric based on squared error (PSNR). Furthermore, we provide a qualitative comparison of models trained for different distortion metrics.

在本文中，我们提出了一类新的高效的深源通道编码方法，可以在非线性变换下的源分布下，可以在名称非线性变换源通道编码（NTSCC）下收集。在所考虑的模型中，发射器首先了解非线性分析变换以将源数据映射到潜伏空间中，然后通过深关节源通道编码将潜在的表示发送到接收器。我们的模型在有效提取源语义特征并提供源通道编码的侧面信息之前，我们的模型包括强度。与现有的传统深度联合源通道编码方法不同，所提出的NTSCC基本上学习源潜像和熵模型，作为先前的潜在表示。因此，开发了新的自适应速率传输和高辅助辅助编解码器改进机制以升级深关节源通道编码。整个系统设计被制定为优化问题，其目标是最小化建立感知质量指标下的端到端传输率失真性能。在简单的示例源和测试图像源上，我们发现所提出的NTSCC传输方法通常优于使用标准的深关节源通道编码和基于经典分离的数字传输的模拟传输。值得注意的是，由于其剧烈的内容感知能力，所提出的NTSCC方法可能会支持未来的语义通信。

最近的工作表明，变异自动编码器（VAE）与速率失真理论之间有着密切的理论联系。由此激发，我们从生成建模的角度考虑了有损图像压缩的问题。从最初是为数据（图像）分布建模设计的Resnet VAE开始，我们使用量化意识的后验和先验重新设计其潜在变量模型，从而实现易于量化和熵编码的图像压缩。除了改进的神经网络块外，我们还提出了一类强大而有效的有损图像编码器类别，超过了自然图像（有损）压缩的先前方法。我们的模型以粗略的方式压缩图像，并支持并行编码和解码，从而在GPU上快速执行。

Recent models for learned image compression are based on autoencoders, learning approximately invertible mappings from pixels to a quantized latent representation. These are combined with an entropy model, a prior on the latent representation that can be used with standard arithmetic coding algorithms to yield a compressed bitstream. Recently, hierarchical entropy models have been introduced as a way to exploit more structure in the latents than simple fully factorized priors, improving compression performance while maintaining end-to-end optimization. Inspired by the success of autoregressive priors in probabilistic generative models, we examine autoregressive, hierarchical, as well as combined priors as alternatives, weighing their costs and benefits in the context of image compression. While it is well known that autoregressive models come with a significant computational penalty, we find that in terms of compression performance, autoregressive and hierarchical priors are complementary and, together, exploit the probabilistic structure in the latents better than all previous learned models. The combined model yields state-of-the-art rate-distortion performance, providing a 15.8% average reduction in file size over the previous state-of-the-art method based on deep learning, which corresponds to a 59.8% size reduction over JPEG, more than 35% reduction compared to WebP and JPEG2000, and bitstreams 8.4% smaller than BPG, the current state-of-the-art image codec. To the best of our knowledge, our model is the first learning-based method to outperform BPG on both PSNR and MS-SSIM distortion metrics.32nd Conference on Neural Information Processing Systems (NIPS 2018),

最近的工作表明，学习的图像压缩策略可以倾销标准的手工制作压缩算法，这些压缩算法已经开发了几十年的速率 - 失真折衷的研究。随着计算机视觉的不断增长的应用，来自可压缩表示的高质量图像重建通常是次要目标。压缩，可确保计算机视觉任务等高精度，例如图像分割，分类和检测，因此具有跨各种设置的显着影响的可能性。在这项工作中，我们开发了一个框架，它产生适合人类感知和机器感知的压缩格式。我们表明可以了解到表示，同时优化核心视觉任务的压缩和性能。我们的方法允许直接从压缩表示培训模型，并且这种方法会产生新任务和低拍学习设置的性能。我们呈现出与标准高质量JPG相比细分和检测性能提高的结果，但是在每像素的比特方面，表示表示的表示性比率为4至10倍。此外，与天真的压缩方法不同，在比标准JEPG的十倍小的级别，我们格式培训的分段和检测模型仅在性能下遭受轻微的降级。

端到端优化的神经图像压缩（NIC）最近获得了优异的损耗压缩性能。在本文中，我们考虑了NIC率的速率变形（R-D）特征分析和建模问题。我们努力制定使用深网络描述NIC的R-D行为的基本数学函数。因此，通过通过单个培训的网络利用这种模型可以典范地实现任意比特率点。我们提出了一个插件模块，以了解自动编码器的潜变量的目标比特率和二进制表示之间的关系。该方案解决了培训明显模型的问题，以达到R-D空间中不同的点。此外，我们分别模拟NIC的速率和失真特性分别为编码参数$ \ lambda $的函数。我们的实验表明，我们的提出方法易于采用，实现了最先进的连续比特率编码性能，这意味着我们的方法将有利于NIC的实际部署。

在近期深度图像压缩神经网络中，熵模型在估计深度图像编码的先前分配时起着重要作用。现有方法将HydupRior与熵估计功能中的本地上下文组合。由于没有全球愿景，这大大限制了他们的表现。在这项工作中，我们提出了一种新的全局参考模型，用于图像压缩，以有效地利用本地和全局上下文信息，导致增强的压缩率。所提出的方法扫描解码的潜伏，然后找到最相关的潜伏，以帮助分布估计当前潜伏。这项工作的副产品是一种平均转换GDN模块的创新，进一步提高了性能。实验结果表明，所提出的模型优于行业中大多数最先进方法的速率变形性能。

上下文自适应熵模型的应用显着提高了速率 - 渗透率（R-D）的性能，在该表现中，超级培训和自回归模型被共同利用来有效捕获潜在表示的空间冗余。但是，潜在表示仍然包含一些空间相关性。此外，这些基于上下文自适应熵模型的方法在解码过程中无法通过并行计算设备，例如FPGA或GPU。为了减轻这些局限性，我们提出了一个学识渊博的多分辨率图像压缩框架，该框架利用了最近开发的八度卷积，以将潜在表示形式分配到高分辨率（HR）和低分辨率（LR）部分，类似于小波变换，这进一步改善了R-D性能。为了加快解码的速度，我们的方案不使用上下文自适应熵模型。取而代之的是，我们利用一个额外的超层，包括超级编码器和超级解码器，以进一步删除潜在表示的空间冗余。此外，将跨分辨率参数估计（CRPE）引入提出的框架中，以增强信息流并进一步改善速率延伸性能。提出了对总损耗函数提出的其他信息损失，以调整LR部分对最终位流的贡献。实验结果表明，与最先进的学术图像压缩方法相比，我们的方法分别将解码时间减少了约73.35％和93.44％，R-D性能仍然优于H.266/VVC（4：4：：4：： 2：0）以及对PSNR和MS-SSIM指标的一些基于学习的方法。

最近的作品表明，现代机器学习技术可以为长期存在的联合源通道编码（JSCC）问题提供另一种方法。非常有希望的初始结果，优于使用单独的源代码和通道代码的流行数字方案，已被证明用于使用深神经网络（DNNS）的无线图像和视频传输。但是，此类方案的端到端培训需要可区分的通道输入表示。因此，先前的工作假设可以通过通道传输任何复杂值。这可以防止在硬件或协议只能接收数字星座规定的某些频道输入集的情况下应用这些代码。本文中，我们建议使用有限通道输入字母的端到端优化的JSCC解决方案DeepJSCC-Q。我们表明，DEEPJSCC-Q可以实现与允许任何复杂的有价值通道输入的先前作品相似的性能，尤其是在可用的高调制订单时，并且在调制顺序增加的情况下，性能渐近接近无约束通道输入的情况。重要的是，DEEPJSCC-Q保留了不可预测的渠道条件下图像质量的优雅降级，这是在频道迅速变化的移动系统中部署的理想属性。

Recent neural compression methods have been based on the popular hyperprior framework. It relies on Scalar Quantization and offers a very strong compression performance. This contrasts from recent advances in image generation and representation learning, where Vector Quantization is more commonly employed. In this work, we attempt to bring these lines of research closer by revisiting vector quantization for image compression. We build upon the VQ-VAE framework and introduce several modifications. First, we replace the vanilla vector quantizer by a product quantizer. This intermediate solution between vector and scalar quantization allows for a much wider set of rate-distortion points: It implicitly defines high-quality quantizers that would otherwise require intractably large codebooks. Second, inspired by the success of Masked Image Modeling (MIM) in the context of self-supervised learning and generative image models, we propose a novel conditional entropy model which improves entropy coding by modelling the co-dependencies of the quantized latent codes. The resulting PQ-MIM model is surprisingly effective: its compression performance on par with recent hyperprior methods. It also outperforms HiFiC in terms of FID and KID metrics when optimized with perceptual losses (e.g. adversarial). Finally, since PQ-MIM is compatible with image generation frameworks, we show qualitatively that it can operate under a hybrid mode between compression and generation, with no further training or finetuning. As a result, we explore the extreme compression regime where an image is compressed into 200 bytes, i.e., less than a tweet.

Image compression is a fundamental research field and many well-known compression standards have been developed for many decades. Recently, learned compression methods exhibit a fast development trend with promising results. However, there is still a performance gap between learned compression algorithms and reigning compression standards, especially in terms of widely used PSNR metric. In this paper, we explore the remaining redundancy of recent learned compression algorithms. We have found accurate entropy models for rate estimation largely affect the optimization of network parameters and thus affect the rate-distortion performance. Therefore, in this paper, we propose to use discretized Gaussian Mixture Likelihoods to parameterize the distributions of latent codes, which can achieve a more accurate and flexible entropy model. Besides, we take advantage of recent attention modules and incorporate them into network architecture to enhance the performance. Experimental results demonstrate our proposed method achieves a state-of-the-art performance compared to existing learned compression methods on both Kodak and high-resolution datasets. To our knowledge our approach is the first work to achieve comparable performance with latest compression standard Versatile Video Coding (VVC) regarding PSNR. More importantly, our approach generates more visually pleasant results when optimized by MS-SSIM. The project page is at https://github.com/ZhengxueCheng/ Learned-Image-Compression-with-GMM-and-Attention.

In recent years, neural image compression (NIC) algorithms have shown powerful coding performance. However, most of them are not adaptive to the image content. Although several content adaptive methods have been proposed by updating the encoder-side components, the adaptability of both latents and the decoder is not well exploited. In this work, we propose a new NIC framework that improves the content adaptability on both latents and the decoder. Specifically, to remove redundancy in the latents, our content adaptive channel dropping (CACD) method automatically selects the optimal quality levels for the latents spatially and drops the redundant channels. Additionally, we propose the content adaptive feature transformation (CAFT) method to improve decoder-side content adaptability by extracting the characteristic information of the image content, which is then used to transform the features in the decoder side. Experimental results demonstrate that our proposed methods with the encoder-side updating algorithm achieve the state-of-the-art performance.

迄今为止，通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计，这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是，下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外，可以使这些系统了解进行交流交流的环境，从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力，从早期改编，语义意识和以任务为导向的通信开始，涵盖了基础，算法和潜在的实现。重点是利用信息理论提供基础的方法，以及学习在语义和任务感知通信中的重要作用。

最近，学到的图像压缩方法优于传统手工制作的方法，包括BPG。该成功的关键之一是学习的熵模型，该模型估计了量化潜在表示的概率分布。与其他视觉任务一样，最近学习的熵模型基于卷积神经网络（CNN）。但是，CNN由于局部连接性的性质而在建模长期依赖性方面有限制，这在图像压缩中可能是一个重要的瓶颈，其中降低空间冗余是一个关键点。为了克服这个问题，我们提出了一个名为Informand Transformer（Informer）的新型熵模型，该模型使用注意机制以内容依赖性方式利用全球和局部信息。我们的实验表明，告密者可以提高利率 - 对柯达和Tecnick数据集的最先进方法的延伸性能，而没有二次计算复杂性问题。我们的源代码可在https://github.com/naver-ai/informer上获得。

我们使用氚（DPICT）算法提出了深度渐进的图像压缩，该算法是支持细粒度可扩展性（FGS）的第一学习的编解码器。首先，我们使用分析网络将图像转换为潜在的张量。然后，我们代表三元数字中的潜在张量（氚），并通过氚平面将其以减少的意义顺序编码为压缩比特流慢平面。此外，在每个氚平面内，我们根据其速率失真优先级对速度进行排序，并首先传输更重要的信息。由于压缩网络对使用更少的氚平面的情况较少优化，因此我们开发了用于以低速率精炼重建图像的后处理网络。实验结果表明，DPICT显着优于传统的渐进式编解码器，同时实现FGS传输。

最近，基于深度学习的图像压缩已取得了显着的进步，并且在主观度量和更具挑战性的客观指标中，与最新的传统方法H.266/vvc相比，取得了更好的评分（R-D）性能。但是，一个主要问题是，许多领先的学识渊博的方案无法保持绩效和复杂性之间的良好权衡。在本文中，我们提出了一个效率和有效的图像编码框架，该框架的复杂性比最高的状态具有相似的R-D性能。首先，我们开发了改进的多尺度残差块（MSRB），该块可以扩展容纳长石，并且更容易获得全球信息。它可以进一步捕获和减少潜在表示的空间相关性。其次，引入了更高级的重要性图网络，以自适应地分配位置到图像的不同区域。第三，我们应用2D定量后flter（PQF）来减少视频编码中样本自适应偏移量（SAO）flter的动机。此外，我们认为编码器和解码器的复杂性对图像压缩性能有不同的影响。基于这一观察结果，我们设计了一个不对称范式，其中编码器采用三个阶段的MSRB来提高学习能力，而解码器只需要一个srb的一个阶段就可以产生令人满意的重建，从而在不牺牲性能的情况下降低了解码的复杂性。实验结果表明，与最先进的方法相比，所提出方法的编码和解码时间速度约为17倍，而R-D性能仅在Kodak和Tecnick数据集中降低了1％，而R-D性能仅少于1％。它仍然比H.266/VVC（4：4：4）和其他基于学习的方法更好。我们的源代码可在https://github.com/fengyurenpingsheng上公开获得。

我们在本文中提出了一个新的面部视频压缩范式。我们利用诸如stylegan之类的gan的生成能力来表示和压缩视频，包括内部和间压缩。每个帧都在StyleGAN的潜在空间中倒置，从中学习了最佳压缩。为此，使用归一化流量模型学习了差异潜在表示，可以在其中优化熵模型以用于图像编码。此外，我们提出了一种新的感知损失，比其他同行更有效。最后，在先前构造的潜在表示中还学习了用于视频间编码的熵模型。我们的方法（SGANC）很简单，训练的速度更快，并且与最新的编解码器（例如VTM，AV1和最近的深度学习技术）相比，为图像和视频编码提供了更好的结果。特别是，它在低比特速率下极大地最大程度地减少了感知失真。

当涉及数码相机中的图像压缩时，传统上是在压缩之前执行的。但是，在某些应用中，可能需要进行图像噪声来证明图像的可信度，例如法院证据和图像取证。这意味着除干净的图像本身外，还需要编码噪声本身。在本文中，我们提出了一个基于学习的图像压缩框架，在该框架中共同执行图像denoising和压缩。图像编解码器的潜在空间以可扩展的方式组织，以便可以从潜在空间的子集（基础层）中解码清洁图像，而嘈杂的图像则以较高的速率从完整的潜在空间解码。使用潜在空间的子集作为剥落图像，可以以较低的速率进行deno。除了提供嘈杂的输入图像的可扩展表示外，用压缩共同执行deno，这是直观的意义，因为噪声很难压缩；因此，可压缩性是可能有助于区分信号的标准之一。将提出的编解码器与已建立的压缩和降解基准进行了比较，并且与最先进的编解码器和最先进的Denoiser的级联组合相比，实验显示了大量的比特率节省。