传统的图像/视频压缩旨在以尽可能高的信号保真度降低传输/存储成本。但是，随着近年来对机器分析和语义监测的需求不断增长，语义保真度而不是信号忠诚度正在成为图像/视频压缩中的另一个新兴关注点。随着交叉模态翻译和生成的最新进展，在本文中，我们提出了交叉模态压缩〜（CMC），即视觉数据的语义压缩框架，以转换高冗余的视觉数据〜（例如图像，视频等） 。具体而言，我们首先将CMC问题作为率延伸优化问题。其次，我们研究了与传统图像/视频压缩和最新特征压缩框架的关系，显示了我们的CMC和这些先前的框架之间的差异。然后，我们为CMC提出了一种新颖的范式，以证明其有效性。定性和定量结果表明，我们提出的CMC可以通过超高压缩比实现令人鼓舞的重建结果，比广泛使用的JPEG基线显示出更好的压缩性能。
translated by 谷歌翻译
现有的模仿学习（IL）方法，例如逆增强学习（IRL）通常具有双环培训过程，在学习奖励功能和政策之间交替，并且倾向于遭受较长的训练时间和较高的差异。在这项工作中，我们确定了可区分物理模拟器的好处，并提出了一种新的IL方法，即通过可区分的物理学（ILD）模仿学习，从而摆脱了双环设计，并在最终性能，收敛速度，融合速度，融合速度，融合速度上取得了重大改善和稳定性。提出的ILD将可区分的物理模拟器作为物理学将其纳入其策略学习的计算图中。它通过从参数化策略中采样动作来展开动力学，只需最大程度地减少专家轨迹与代理轨迹之间的距离，并通过时间物理操作员将梯度回到策略中。有了物理学的先验，ILD政策不仅可以转移到看不见的环境规范中，而且可以在各种任务上产生更高的最终表现。此外，ILD自然形成了单环结构，从而显着提高了稳定性和训练速度。为了简化时间物理操作引起的复杂优化景观，ILD在优化过程中动态选择每个状态的学习目标。在我们的实验中，我们表明ILD在各种连续控制任务中都超过了最先进的方法，只需要一个专家演示。此外，ILD可以应用于具有挑战性的可变形对象操纵任务，并可以推广到看不见的配置。
translated by 谷歌翻译
尽管基于经常性的神经网络（RNN）的视频预测方法已经取得了重大成就，但由于信息损失问题和基于知觉的卑鄙平方错误（MSE）损失功能，它们在具有高分辨率的数据集中的性能仍然远远不令人满意。 。在本文中，我们提出了一个时空信息保存和感知声明模型（STIP），以解决上述两个问题。为了解决信息损失问题，提出的模型旨在在功能提取和状态过渡期间分别保留视频的时空信息。首先，基于X-NET结构设计了多透明时空自动编码器（MGST-AE）。拟议的MGST-AE可以帮助解码器回忆到时间和空间域中编码器的多透明信息。这样，在高分辨率视频的功能提取过程中，可以保留更多时空信息。其次，时空门控复发单元（STGRU）是基于标准的封闭式复发单元（GRU）结构而设计的，该结构可以在状态过渡期间有效地保留时空信息。与流行的长期短期（LSTM）的预测记忆相比，提出的STGRU可以通过计算负载较低的计算负载来实现更令人满意的性能。此外，为了改善传统的MSE损失功能，基于生成的对抗网络（GAN）进一步设计了学识渊博的知觉损失（LP-loss），这可以帮助获得客观质量和感知质量之间的令人满意的权衡。实验结果表明，与各种最先进的方法相比，提出的Stip可以预测具有更令人满意的视觉质量的视频。源代码已在\ url {https://github.com/zhengchang467/stiphr}上获得。
translated by 谷歌翻译
作为一个严重的问题，近年来已经广泛研究了单图超分辨率（SISR）。 SISR的主要任务是恢复由退化程序引起的信息损失。根据Nyquist抽样理论，降解会导致混叠效应，并使低分辨率（LR）图像的正确纹理很难恢复。实际上，自然图像中相邻斑块之间存在相关性和自相似性。本文考虑了自相似性，并提出了一个分层图像超分辨率网络（HSRNET）来抑制混叠的影响。我们从优化的角度考虑SISR问题，并根据半季节分裂（HQS）方法提出了迭代解决方案模式。为了先验探索本地图像的质地，我们设计了一个分层探索块（HEB）并进行性增加了接受场。此外，设计多级空间注意力（MSA）是为了获得相邻特征的关系并增强了高频信息，这是视觉体验的关键作用。实验结果表明，与其他作品相比，HSRNET实现了更好的定量和视觉性能，并更有效地释放了别名。
translated by 谷歌翻译
本文介绍了一个新型的预训练的空间时间多对一（p-STMO）模型，用于2D到3D人类姿势估计任务。为了减少捕获空间和时间信息的困难，我们将此任务分为两个阶段：预训练（I期）和微调（II阶段）。在第一阶段，提出了一个自我监督的预训练子任务，称为蒙面姿势建模。输入序列中的人关节在空间和时间域中随机掩盖。利用denoising自动编码器的一般形式以恢复原始的2D姿势，并且编码器能够以这种方式捕获空间和时间依赖性。在第二阶段，将预训练的编码器加载到STMO模型并进行微调。编码器之后是一个多对一的框架聚合器，以预测当前帧中的3D姿势。尤其是，MLP块被用作STMO中的空间特征提取器，其性能比其他方法更好。此外，提出了一种时间下采样策略，以减少数据冗余。在两个基准上进行的广泛实验表明，我们的方法优于较少参数和较少计算开销的最先进方法。例如，我们的P-STMO模型在使用CPN作为输入的2D姿势时，在Human3.6M数据集上达到42.1mm MPJPE。同时，它为最新方法带来了1.5-7.1倍的速度。代码可在https://github.com/patrick-swk/p-stmo上找到。
translated by 谷歌翻译
将低分辨率（LR）图像恢复到超分辨率（SR）图像具有正确和清晰的细节是挑战。现有的深度学习工作几乎忽略了图像的固有结构信息，这是对SR结果的视觉感知的重要作用。在本文中，我们将分层特征开发网络设计为探测并以多尺度特征融合方式保持结构信息。首先，我们提出了在传统边缘探测器上的交叉卷积，以定位和代表边缘特征。然后，交叉卷积块（CCBS）设计有功能归一化和渠道注意，以考虑特征的固有相关性。最后，我们利用多尺度特征融合组（MFFG）来嵌入交叉卷积块，并在层次的层次上开发不同尺度的结构特征的关系，调用名为Cross-SRN的轻量级结构保护网络。实验结果表明，交叉SRN通过准确且清晰的结构细节实现了对最先进的方法的竞争或卓越的恢复性能。此外，我们设置了一个标准，以选择具有丰富的结构纹理的图像。所提出的跨SRN优于所选择的基准测试的最先进的方法，这表明我们的网络在保存边缘具有显着的优势。
translated by 谷歌翻译
了解来自第一人称观点的社交互动对于许多应用来说至关重要，从辅助机器人到AR / VR。谈论相互作用的第一步是理解人类的姿势和形状。但是，该领域的研究目前受到数据缺乏的阻碍。现有数据集根据大小，注释，地面真实捕获方式或相互作用的多样性有限。我们通过提出EGOBODY来解决这一缺点，这是一个用于复杂3D场景中的社交交互的新型大规模数据集。我们采用Microsoft Hololens2耳机来记录富裕的EGEntric数据流（包括RGB，深度，眼睛凝视，头部和手动跟踪）。为了获得准确的3D地面真理，我们将耳机用多kinect钻机校准并配合富有呈现的SMPL-X体网格到多视图RGB-D帧，重建3D人类姿势和相对于场景的形状。我们收集68个序列，跨越不同的社会学互动类别，并提出了从自我监视视图的3D全体姿态和形状估计的第一个基准。我们的数据集和代码将在https://sanweiliti.github.io/egobody/egobody.html中进行研究。
translated by 谷歌翻译
端到端优化的神经图像压缩（NIC）最近获得了优异的损耗压缩性能。在本文中，我们考虑了NIC率的速率变形（R-D）特征分析和建模问题。我们努力制定使用深网络描述NIC的R-D行为的基本数学函数。因此，通过通过单个培训的网络利用这种模型可以典范地实现任意比特率点。我们提出了一个插件模块，以了解自动编码器的潜变量的目标比特率和二进制表示之间的关系。该方案解决了培训明显模型的问题，以达到R-D空间中不同的点。此外，我们分别模拟NIC的速率和失真特性分别为编码参数$ \ lambda $的函数。我们的实验表明，我们的提出方法易于采用，实现了最先进的连续比特率编码性能，这意味着我们的方法将有利于NIC的实际部署。
translated by 谷歌翻译
由于现代硬件的计算能力强烈增加，在大规模数据集上学习的预训练的深度学习模型（例如，BERT，GPT-3）已经显示了它们对传统方法的有效性。巨大进展主要促进了变压器及其变体架构的代表能力。在本文中，我们研究了低级计算机视觉任务（例如，去噪，超级分辨率和派没），并开发了一个新的预先训练的模型，即图像处理变压器（IPT）。为了最大限度地挖掘变压器的能力，我们展示了利用众所周知的想象网基准，以产生大量损坏的图像对。 IPT模型在具有多头和多尾的这些图像上培训。此外，引入了对比度学习，以适应不同的图像处理任务。因此，在微调后，预先训练的模型可以有效地在所需的任务上使用。只有一个预先训练的模型，IPT优于当前的最先进方法对各种低级基准。代码可在https://github.com/huawei-noah/pretrate -ipt和https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/ipt
translated by 谷歌翻译
单像超分辨率（SISR），作为传统的不良反对问题，通过最近的卷积神经网络（CNN）的发展得到了极大的振兴。这些基于CNN的方法通常将低分辨率图像映射到其相应的高分辨率版本，具有复杂的网络结构和损耗功能，显示出令人印象深刻的性能。本文对传统的SISR算法提供了新的洞察力，并提出了一种基本上不同的方法，依赖于迭代优化。提出了一种新颖的迭代超分辨率网络（ISRN），顶部是迭代优化。我们首先分析图像SR问题的观察模型，通过以更一般和有效的方式模仿和融合每次迭代来激发可行的解决方案。考虑到批量归一化的缺点，我们提出了一种特征归一化（F-NOM，FN）方法来调节网络中的功能。此外，开发了一种具有FN的新颖块以改善作为FNB称为FNB的网络表示。剩余剩余结构被提出形成一个非常深的网络，其中FNBS与长时间跳过连接，以获得更好的信息传递和稳定训练阶段。对BICUBIC（BI）降解的测试基准的广泛实验结果表明我们的ISRN不仅可以恢复更多的结构信息，而且还可以获得竞争或更好的PSNR / SSIM结果，与其他作品相比，参数更少。除BI之外，我们除了模拟模糊（BD）和低级噪声（DN）的实际降级。 ISRN及其延伸ISRN +两者都比使用BD和DN降级模型的其他产品更好。
translated by 谷歌翻译