360 $^\ circ $视频显着性检测是360 $^\ circ $视频理解的具有挑战性的基准之一，因为不可忽略的失真和不连续性发生在任何格式的360 $^\ circ $视频中，并捕​​获 - 并捕获 - 在全向球体中，值得的观点本质上是模棱两可的。我们提出了一个名为Panoramic Vision Transformer（摊铺机）的新框架。我们使用具有可变形卷积的Vision Transformer设计编码器，这不仅使我们不仅可以将正常视频介绍的模型插入我们的体系结构中，而无需其他模块或填充，而且只能执行一次几何近似，这与以前的基于CNN的深入基于CNN的方法不同。多亏了其功能强大的编码器，摊铺机可以通过本地补丁功能之间的三个简单相对关系来学习显着性，在没有监督或辅助信息（例如类激活）的情况下，通过大幅度的大幅度优于Wild360基准的最先进模型。我们通过VQA-ODV中的全向视频质量评估任务来证明我们的显着性预测模型的实用性，在这里，我们始终在没有任何形式的监督（包括头部运动）的情况下提高性能。

360 {\ TextDegree}视频的盲目视觉质量评估（BVQA）在优化沉浸式多媒体系统中起着关键作用。在评估360 {\ TextDegree}视频的质量时，人类倾向于从每个球形帧的基于视口的空间失真来识别其在相邻帧中的运动伪影，以视频级质量分数为止，即渐进性质量评估范式。然而，现有的BVQA方法对于360 {\ TextDegree}视频忽略了这条范式。在本文中，我们考虑了人类对球面视频质量的逐步范例，因此提出了一种新颖的BVQA方法（即ProvQA），通过逐步学习从像素，帧和视频中逐步学习。对应于像素，帧和视频的渐进学习，三个子网被设计为我们的PROPQA方法，即球形感知感知质量预测（SPAQ），运动感知感知质量预测（MPAQ）和多帧时间非本地（MFTN）子网。 SPAQ子网首先模拟基于人的球面感知机制的空间质量下降。然后，通过跨越相邻帧的运动提示，MPAQ子网适当地结合了在360 {\ TextDegree}视频上的质量评估的运动上下文信息。最后，MFTN子网聚集多帧质量劣化，通过探索来自多个帧的长期质量相关性来产生最终质量分数。实验验证了我们的方法在两个数据集中的360 {\ TextDegree}视频上显着提高了最先进的BVQA性能，该代码是公共\ url {https://github.com/yanglixiaoshen/的代码Provqa。}

虚拟现实（VR）视频（通常以360美元$^\ Circ $视频形式）由于VR技术的快速开发以及消费级360 $^\ Circ $摄像机和显示器的显着普及而引起了人们的关注。因此，了解人们如何看待用户生成的VR视频，这些视频可能会受到混乱的真实扭曲，通常是在时空和时间上局部的。在本文中，我们建立了最大的360美元$^\ Circ $视频数据库之一，其中包含502个用户生成的视频，内容丰富和失真多样性。我们捕获了139位用户的观看行为（即扫描路径），并在四个不同的观看条件下（两个起点$ \ times $ $ $ $ $两个探索时间）收集了他们的意见分数。我们对记录的数据提供了详尽的统计分析，从而产生了一些有趣的观察结果，例如观看条件对观看行为和感知质量的重大影响。此外，我们还探讨了我们的数据和分析的其他用法，包括评估360 $^\ CIRC $视频的质量评估和显着性检测的计算模型。我们已经在https://github.com/yao-yiru/vr-video-database上提供了数据集和代码。

视频显着对象检测模型在像素密集注释上训练有素的训练有素，已经达到了出色的性能，但获得像素逐像素注释的数据集很费力。尚未探索几项作品，试图使用涂鸦注释来缓解这个问题，但是尚未探讨点监督作为一种更节省劳动的注释方法（即使是对密集预测的手动注释方法中最多的劳动方法）。在本文中，我们提出了一个基于点监督的强基线模型。为了使用时间信息来推断显着性图，我们分别从短期和长期角度挖掘了框架间的互补信息。具体而言，我们提出了一个混合令牌注意模块，该模块将光流和图像信息从正交方向混合在一起，自适应地突出了关键的光流信息（通道维度）和关键令牌信息（空间维度）。为了利用长期提示，我们开发了长期的跨框架注意模块（LCFA），该模块有助于当前框架基于多框架代币推断出显着对象。此外，我们通过重新标记Davis和DavSod数据集来标记两个分配的数据集P-Davis和P-Davsod。六个基准数据集的实验说明了我们的方法优于先前的最先进的弱监督方法，甚至与某些完全监督的方法相当。源代码和数据集可用。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

在本文中，我们提出了第一个基于变压器的模型，该模型解决了以自我为中心凝视估计的具有挑战性的问题。我们观察到，全局场景上下文和本地视觉信息之间的连接对于从以自我为中心的视频帧进行凝视固定至关重要。为此，我们设计了变压器编码器将全局上下文嵌入为一个附加的视觉令牌，并进一步提出了一种新型的全球 - 本地相关（GLC）模块，以明确模拟全局令牌和每个本地令牌的相关性。我们在两个以自我为中心的视频数据集中验证了我们的模型-EGTEA凝视+和EGO4D。我们的详细消融研究证明了我们方法的好处。此外，我们的方法超过了先前的最新空间。我们还提供了其他可视化，以支持我们的主张，即全球 - 本地相关性是预测以自我为中心视频的凝视固定的关键表示。更多详细信息可以在我们的网站（https://bolinlai.github.io/glc-egogazeest）中找到。

动态360 {\ Deg}沉浸视频中的突出人体检测（SHD）对于增强现实中的各种应用，各种应用是非常重要的。然而，由于缺乏具有大规模全向视频和丰富的注释，计算机视觉社区中，360 {\ DEG}视频SHD很少讨论。为此，我们提出了SHD360，这是第一个360 {\ DEG}视频SHD数据集，其中包含各种现实生活日常场景。由于到目前为止，没有提出360 {\ DEG}图像/视频SHD的方法，我们系统地基准于我们的SHD360上的11个代表性的最先进的突出物体检测（SOD）方法，并探索了从广泛的实验导出的关键问题结果。我们希望我们拟议的数据集和基准作为推进对360 {\ DEG}全景数据的以人为本的研究提供良好的起点。

使用变压器 - 卷积神经网络（CNN）的视觉显着性预测具有显着的高级计算模型，以实现显着性预测。但是，准确模拟人类皮层中视觉注意的机制仍然是一个学术挑战。将人类视力的属性集成到CNN体系结构的设计中，这是至关重要的，从而导致感知上更相关的显着性预测。由于CNN体系结构的固有归纳偏见，因此缺乏足够的长距离上下文编码能力。这阻碍了基于CNN的显着性模型，无法捕获模仿人类观看行为的属性。通过利用自我发项机制来编码远程信息，变形金刚在编码远程信息方面表现出了巨大潜力。在本文中，我们提出了一个新颖的显着性模型，该模型将变压器组件集成到CNNs以捕获远程上下文视觉信息。实验结果表明，变压器为显着性预测提供了附加的价值，从而增强了其在性能中的感知相关性。我们提出的使用变压器的显着性模型在公共基准和显着性预测模型的竞争上取得了卓越的成果。我们提出的显着模型TransAlnet的源代码可在以下网址获得：https：//github.com/ljovo/transalnet

本文提出了一种新颖的视频介绍方法。我们做出了三个主要贡献：首先，我们通过引入基于贴片的同型（DEPTH）扩展了以前的变压器，以补丁的对齐方式扩展了贴片对齐，该均值（DEPTH）改善了补丁级的功能对齐，而没有其他有各种变形的监督和受益的挑战场景。其次，我们引入了基于面膜修剪的贴片注意力（MPPA），以通过修剪较少的基本功能和使用显着性图来改善贴合的功能匹配。MPPA用无效的像素增强了扭曲令牌之间的匹配精度。第三，我们引入了空间加权适配器（STA）模块，以在从深度中学到的变形因子的指导下，准确地关注空间代币，尤其是对于具有敏捷运动的视频。实验结果表明，我们的方法在定性和定量上优于最新方法，并实现了新的最新方法。

探索人类在动态全景场景中关注的是许多基本应用有用，包括零售，AR动力招聘和视觉语言导航的增强现实（AR）。通过这一目标，我们提出了PV-SOD，旨在从全景视频分割突出对象的新任务。与现有的固定/对象级显着性检测任务相比，我们专注于音频引起的突出物体检测（SOD），其中凸起对象标有音频引起的眼球运动的指导。为了支持此任务，我们收集名为ASOD60K的第一个大规模数据集，其中包含具有六级层次结构的4K分辨率视频帧，从而将自己与丰富，多样性和质量区分开。具体地，每个序列都标有其超级/子类，每个子类的对象进一步用人眼固定，边界框，对象/实例级别掩模和相关属性（例如，几何失真）。这些粗细的注释能够对PV-SOD模型进行详细分析，例如，确定现有SOD模型的主要挑战，并预测扫描路径，以研究人类的长期眼固结行为。我们系统地基准于ASOD60K上的11个代表方法并导出了几个有趣的发现。我们希望这项研究能够作为推进全景视频的良好起点。数据集和基准测试将在https://github.com/panoash/asod60k公开使用。

视觉（图像，视频）质量评估可以通过不同域中的视觉特征来建模，例如空间，频率和时间域。人类视觉系统（HVS）中的感知机制在质量感知的产生中起着至关重要的作用。本文提出了使用有效的窗口变压器体系结构进行无引用视觉质量评估的一般框架。用于多阶段通道注意的轻量级模块集成到SWIN（移位窗口）变压器中。这样的模块可以在图像质量评估（IQA）中代表适当的感知机制，以构建准确的IQA模型。同时，在空间和频域中图像质量感知的代表性特征也可以从IQA模型中得出，然后将其馈入另一个窗户的变压器体系结构进行视频质量评估（VQA）。 VQA模型有效地重复了整个本地窗口的注意力信息，以解决原始变压器的昂贵时间和记忆复杂性的问题。大规模IQA和VQA数据库的实验结果表明，所提出的质量评估模型优于大幅度的其他最先进模型。完整的源代码将在GitHub上发布。

Compressed videos often exhibit visually annoying artifacts, known as Perceivable Encoding Artifacts (PEAs), which dramatically degrade video visual quality. Subjective and objective measures capable of identifying and quantifying various types of PEAs are critical in improving visual quality. In this paper, we investigate the influence of four spatial PEAs (i.e. blurring, blocking, bleeding, and ringing) and two temporal PEAs (i.e. flickering and floating) on video quality. For spatial artifacts, we propose a visual saliency model with a low computational cost and higher consistency with human visual perception. In terms of temporal artifacts, self-attention based TimeSFormer is improved to detect temporal artifacts. Based on the six types of PEAs, a quality metric called Saliency-Aware Spatio-Temporal Artifacts Measurement (SSTAM) is proposed. Experimental results demonstrate that the proposed method outperforms state-of-the-art metrics. We believe that SSTAM will be beneficial for optimizing video coding techniques.

人类可以轻松地在不知道它们的情况下段移动移动物体。从持续的视觉观测中可能出现这种对象，激励我们与未标记的视频同时进行建模和移动。我们的前提是视频具有通过移动组件相关的相同场景的不同视图，并且右区域分割和区域流程将允许相互视图合成，其可以从数据本身检查，而无需任何外部监督。我们的模型以两个单独的路径开头：一种外观途径，其输出单个图像的基于特征的区域分割，以及输出一对图像的运动功能的运动路径。然后，它将它们绑定在称为段流的联合表示中，该分段流汇集在每个区域上的流程偏移，并提供整个场景的移动区域的总表征。通过培训模型，以最小化基于段流的视图综合误差，我们的外观和运动路径自动学习区域分割和流量估计，而不分别从低级边缘或光学流量构建它们。我们的模型展示了外观途径中对象的令人惊讶的出现，超越了从图像的零射对对象分割上的工作，从带有无监督的测试时间适应的视频移动对象分割，并通过监督微调，通过监督微调。我们的工作是来自视频的第一个真正的零点零点对象分段。它不仅开发了分割和跟踪的通用对象，而且还优于无增强工程的基于普遍的图像对比学习方法。

快捷方式学习对深度学习模型很常见，但导致了退化的特征表示形式，因此危害了该模型的可推广性和解释性。但是，在广泛使用的视觉变压器框架中的快捷方式学习在很大程度上是未知的。同时，引入特定领域的知识是纠正捷径的主要方法，捷径为背景相关因素。例如，在医学成像领域中，放射科医生的眼睛凝视数据是一种有效的人类视觉先验知识，具有指导深度学习模型的巨大潜力，可以专注于有意义的前景区域。但是，获得眼睛凝视数据是时必的，劳动密集型的，有时甚至是不切实际的。在这项工作中，我们提出了一种新颖而有效的显着性视觉变压器（SGT）模型，以在没有眼神数据的情况下在VIT中纠正快捷方式学习。具体而言，采用计算视觉显着性模型来预测输入图像样本的显着性图。然后，显着图用于散布最有用的图像贴片。在拟议的中士中，图像贴片之间的自我注意力仅集中于蒸馏的信息。考虑到这种蒸馏操作可能会导致全局信息丢失，我们在最后一个编码器层中进一步介绍了一个残留的连接，该连接捕获了所有图像贴片中的自我注意力。四个独立公共数据集的实验结果表明，我们的SGT框架可以有效地学习和利用人类的先验知识，而无需眼睛凝视数据，并且比基线更好。同时，它成功地纠正了有害的快捷方式学习并显着提高了VIT模型的解释性，证明了传递人类先验知识在纠正快捷方式学习方面传递人类先验知识的承诺

光流估计是自动驾驶和机器人系统系统中的一项基本任务，它可以在时间上解释流量场景。自动驾驶汽车显然受益于360 {\ deg}全景传感器提供的超宽视野（FOV）。但是，由于全景相机的独特成像过程，专为针孔图像设计的模型不会令人满意地概括为360 {\ deg}全景图像。在本文中，我们提出了一个新颖的网络框架 - panoflow，以学习全景图像的光流。为了克服全景转化中等应角投影引起的扭曲，我们设计了一种流动失真增强（FDA）方法，其中包含径向流量失真（FDA-R）或等骨流量失真（FDA-E）。我们进一步研究了全景视频的环状光流的定义和特性，并通过利用球形图像的环状来推断360 {\ deg}光流并将大型位移转换为相对小的位移，从而提出了环状流量估计（CFE）方法移位。 Panoflow适用于任何现有的流量估计方法，并从狭窄的FOL流量估计的进度中受益。此外，我们创建并释放基于CARLA的合成全景数据集Flow360，以促进训练和定量分析。 Panoflow在公共Omniflownet和已建立的Flow360基准中实现了最先进的表现。我们提出的方法将Flow360上的端点误差（EPE）降低了27.3％。在Omniflownet上，Panoflow获得了3.17像素的EPE，从最佳发布的结果中降低了55.5％的误差。我们还通过收集工具和公共现实世界中的全球数据集对我们的方法进行定性验证我们的方法，这表明对现实世界导航应用程序的强大潜力和稳健性。代码和数据集可在https://github.com/masterhow/panoflow上公开获取。

We present a simple approach which can turn a ViT encoder into an efficient video model, which can seamlessly work with both image and video inputs. By sparsely sampling the inputs, the model is able to do training and inference from both inputs. The model is easily scalable and can be adapted to large-scale pre-trained ViTs without requiring full finetuning. The model achieves SOTA results and the code will be open-sourced.

作为视频的独特性，运动对于开发视频理解模型至关重要。现代深度学习模型通过执行时空3D卷积来利用运动，将3D卷积分别分为空间和时间卷积，或者沿时间维度计算自我注意力。这种成功背后的隐含假设是，可以很好地汇总连续帧的特征图。然而，该假设可能并不总是对具有较大变形的地区特别存在。在本文中，我们提出了一个新的框架间注意区块的食谱，即独立框架间注意力（SIFA），它在新颖的情况下深入研究了整个框架的变形，以估计每个空间位置上的局部自我注意力。从技术上讲，SIFA通过通过两个帧之间的差来重新缩放偏移预测来重新缩放可变形设计。将每个空间位置在当前帧中作为查询，下一帧中的本地可变形邻居被视为键/值。然后，SIFA衡量查询和键之间的相似性是对加权平均时间聚集值的独立关注。我们进一步将SIFA块分别插入Convnet和Vision Transformer，以设计SIFA-NET和SIFA-TransFormer。在四个视频数据集上进行的广泛实验表明，SIFA-NET和SIFA转换器的优越性是更强的骨架。更值得注意的是，SIFA转换器在动力学400数据集上的精度为83.1％。源代码可在\ url {https://github.com/fuchenustc/sifa}中获得。

变压器是一种基于关注的编码器解码器架构，彻底改变了自然语言处理领域。灵感来自这一重大成就，最近在将变形式架构调整到计算机视觉（CV）领域的一些开创性作品，这已经证明了他们对各种简历任务的有效性。依靠竞争力的建模能力，与现代卷积神经网络相比在本文中，我们已经为三百不同的视觉变压器进行了全面的审查，用于三个基本的CV任务（分类，检测和分割），提出了根据其动机，结构和使用情况组织这些方法的分类。 。由于培训设置和面向任务的差异，我们还在不同的配置上进行了评估了这些方法，以便于易于和直观的比较而不是各种基准。此外，我们已经揭示了一系列必不可少的，但可能使变压器能够从众多架构中脱颖而出，例如松弛的高级语义嵌入，以弥合视觉和顺序变压器之间的差距。最后，提出了三个未来的未来研究方向进行进一步投资。

Transformer models have shown great success handling long-range interactions, making them a promising tool for modeling video. However they lack inductive biases and scale quadratically with input length. These limitations are further exacerbated when dealing with the high dimensionality introduced with the temporal dimension. While there are surveys analyzing the advances of Transformers for vision, none focus on an in-depth analysis of video-specific designs. In this survey we analyze main contributions and trends of works leveraging Transformers to model video. Specifically, we delve into how videos are handled as input-level first. Then, we study the architectural changes made to deal with video more efficiently, reduce redundancy, re-introduce useful inductive biases, and capture long-term temporal dynamics. In addition we provide an overview of different training regimes and explore effective self-supervised learning strategies for video. Finally, we conduct a performance comparison on the most common benchmark for Video Transformers (i.e., action classification), finding them to outperform 3D ConvNets even with less computational complexity.

在本文中，我们描述了一种基于图的算法，该算法使用自我监管的变压器获得的功能来检测图像和视频中的显着对象。使用这种方法，将构成图像或视频的图像贴片组织成一个完全连接的图，其中每对贴片之间的边缘使用变压器学到的功能在补丁之间标记为相似性得分。然后将显着物体的检测和分割作为图形问题配制，并使用经典的归一化切割算法解决。尽管这种方法很简单，但它仍可以在几个常见的图像和视频检测和分割任务上实现最新结果。对于无监督的对象发现，当使用VOC07，VOC12和COCO20K数据集进行测试时，这种方法的优于竞争方法的差距分别为6.1％，5.7％和2.6％。对于图像中无监督的显着性检测任务，此方法将联合（IOU）的交叉分数提高了4.4％，5.6％和5.2％。与当前最新技术相比，与ECSD，DUTS和DUT-OMRON数据集进行测试时。该方法还通过戴维斯，SEGTV2和FBMS数据集为无监督的视频对象分割任务实现了竞争结果。