我们提出了streamDeq，这是一种以最小为每片计算的视频中框架表示的方法。与传统方法至少随着网络深度线性线性增长的常规方法相反，我们旨在以连续的方式更新表示形式。为此，我们利用最近出现的隐式层模型，该模型通过解决固定点问题来扩展图像的表示。我们的主要见解是利用视频的缓慢变化，并使用先前的框架表示作为每个帧的初始条件。该方案有效地回收了最近的推理计算，并大大减少了所需的处理时间。通过广泛的实验分析，我们表明StreamDeq能够在几个帧时间内恢复近乎最佳的表示形式，并在整个视频持续时间内保持最新的表示。我们在视频语义细分和视频对象检测方面进行的实验表明，StreamDeq以基线（标准MDEQ）的准确度达到了准确性，而$ 3 \ times $ $ abter $ abter的$ 3。项目页面可在以下网址获得：https：//ufukertenli.github.io/streamdeq/

Deep convolutional neutral networks have achieved great success on image recognition tasks. Yet, it is nontrivial to transfer the state-of-the-art image recognition networks to videos as per-frame evaluation is too slow and unaffordable. We present deep feature flow, a fast and accurate framework for video recognition. It runs the expensive convolutional sub-network only on sparse key frames and propagates their deep feature maps to other frames via a flow field. It achieves significant speedup as flow computation is relatively fast. The end-to-end training of the whole architecture significantly boosts the recognition accuracy. Deep feature flow is flexible and general. It is validated on two video datasets on object detection and semantic segmentation. It significantly advances the practice of video recognition tasks. Code is released at https:// github.com/msracver/Deep-Feature-Flow.

实时视频细分是许多实际应用程序（例如自动驾驶和机器人控制）的关键任务。由于最新的语义细分模型尽管表现令人印象深刻，但对于实时应用来说通常太重了，因此研究人员提出了具有速度准确性权衡的轻量级体系结构，以降低准确性为代价实现实时速度。在本文中，我们提出了一个新颖的框架，通过利用视频中的时间位置来加快使用跳过连接进行实时视觉任务的架构。具体而言，在每个帧的到来时，我们将特征从上一个帧转换为在特定的空间箱中重复使用它们。然后，我们在当前帧区域上对骨干网络进行部分计算，以捕获当前帧和上一个帧之间的时间差异。这是通过使用门控机制动态掉出残留块来完成的，该机制决定哪些基于框架间失真掉落。我们在具有多个骨干网络的视频语义分割基准上验证了我们的时空掩码发生器（STMG），并证明我们的方法在很大程度上可以随着准确性的最小损失而加快推断。

视频对象检测一直是计算机视觉中一个重要但充满挑战的话题。传统方法主要集中于设计图像级或框级特征传播策略以利用时间信息。本文认为，通过更有效，更有效的功能传播框架，视频对象探测器可以在准确性和速度方面提高。为此，本文研究了对象级特征传播，并提出了一个针对高性能视频对象检测的对象查询传播（QueryProp）框架。所提出的查询Prop包含两个传播策略：1）查询传播是从稀疏的钥匙帧到密集的非钥匙框架执行的，以减少非钥匙帧的冗余计算； 2）查询传播是从以前的关键帧到当前关键框架进行的，以通过时间上下文建模来改善特征表示。为了进一步促进查询传播，自适应传播门旨在实现灵活的钥匙框架选择。我们在Imagenet VID数据集上进行了广泛的实验。 QueryProp通过最先进的方法实现了可比的精度，并实现了不错的精度/速度权衡。代码可在https://github.com/hf1995/queryprop上获得。

视频分割，即将视频帧分组到多个段或对象中，在广泛的实际应用中扮演关键作用，例如电影中的视觉效果辅助，自主驾驶中的现场理解，以及视频会议中的虚拟背景创建，名称一些。最近，由于计算机愿景中的联系复兴，一直存在众多深度学习的方法，这一直专用于视频分割并提供引人注目的性能。在这项调查中，通过引入各自的任务设置，背景概念，感知需要，开发历史，以及开发历史，综合审查这一领域的两种基本研究，即在视频和视频语义分割中，即视频和视频语义分割中的通用对象分段（未知类别）。主要挑战。我们还提供关于两种方法和数据集的代表文学的详细概述。此外，我们在基准数据集中呈现了审查方法的定量性能比较。最后，我们指出了这一领域的一套未解决的开放问题，并提出了进一步研究的可能机会。

密集的语义预测通过推断未观察到的未来图像的像素级语义来预测视频中的未来事件。我们提出了一种适用于各种单帧架构和任务的新方法。我们的方法包括两个模块。功能 - 动作（F2M）模块预测了密集的变形领域，将过去的功能扭曲到其未来的位置。功能到特征（F2F）模块直接回归未来功能，因此能够考虑紧急风景。化合物F2MF模型以任务 - 不可行的方式与新奇效果的运动效果脱钩。我们的目标是将F2MF预测应用于所需单帧模型的最自述和最抽象的最摘要表示。我们的设计利用了相邻时间瞬间可变形卷曲和空间相关系数。我们在三个密集预测任务中执行实验：语义分割，实例级分割和Panoptic分割。结果介绍了三个密集预测任务的最先进的预测精度。

在本文中，我们提出了区块拷贝，该方案与标准的逐帧处理相比，可以加速基于框架的CNN以更有效地处理视频。为此，轻巧的策略网络确定图像中的重要区域，并且仅使用自定义的块 - 帕斯斯卷积应用于选定区域。简单地从前一个帧复制了非选择区域的特征，从而减少了计算和延迟的数量。执行策略是通过在线方式使用强化学习培训的，而无需进行地面真相注释。我们的通用框架在密集的预测任务上进行了证明，例如人行人检测，实例分割和语义分割，同时使用最新技术（中心和比例预测指标，MGAN，MGAN，SWIFTNET）和标准基线网络（Mask-RCNN，DeepLabV3+）。区块拷贝可实现大量的拖放节省和推理速度，对准确性的影响最小。

数据冗余在深神经网络（DNN）的输入和中间结果中无处不在。它为提高DNN性能和效率提供了许多重要的机会，并在大量工作中探索了。这些研究在几年中都在许多场所散布。他们关注的目标范围从图像到视频和文本，以及他们用于检测和利用数据冗余的技术在许多方面也有所不同。尚无对许多努力进行系统的检查和摘要，使研究人员很难对先前的工作，最新技术，差异和共享原则以及尚未探索的领域和方向进行全面看法。本文试图填补空白。它调查了有关该主题的数百篇论文，引入了一种新颖的分类法，以将各种技术纳入一个单一的分类框架，对用于利用数据冗余的主要方法进行了全面描述，以改善数据的多种DNN，并指出一组未来探索的研究机会。

尽管运动补偿大大提高了视频质量，但单独执行运动补偿和视频脱张需要大量的计算开销。本文提出了一个实时视频Deblurring框架，该框架由轻巧的多任务单元组成，该单元以有效的方式支持视频脱张和运动补偿。多任务单元是专门设计的，用于使用单个共享网络处理两个任务的大部分，并由多任务详细网络和简单的网络组成，用于消除和运动补偿。多任务单元最大程度地减少了将运动补偿纳入视频Deblurring的成本，并实现了实时脱毛。此外，通过堆叠多个多任务单元，我们的框架在成本和过度质量之间提供了灵活的控制。我们通过实验性地验证了方法的最先进的质量，与以前的方法相比，该方法的运行速度要快得多，并显示了实时的实时性能（在DVD数据集中测量了30.99db@30fps）。

视频对象检测（VID）是具有挑战性的，因为对象外观的较高变化以及某些帧中的不同变化。在正面，与静止图像相比，视频的某个框架中的检测可以吸引其他帧的支撑。因此，如何在不同框架上汇总特征对于VID问题至关重要。大多数现有的聚合算法都是针对两阶段探测器定制的。但是，由于两阶段的性质，该类别中的探测器通常在计算上很昂贵。这项工作提出了一种简单而有效的策略来解决上述问题，该策略花费了很高的准确性上的边缘开销。具体而言，我们与传统的两阶段管道不同，我们主张在单阶段检测之后放置区域级别的选择，以避免处理大量的低质量候选者。此外，还构建了一个新的模块来评估目标框架及其参考的关系，并指导聚合。进行了广泛的实验和消融研究，以验证我们的设计功效，并揭示其优于其他最先进的VID方法的优势。我们的基于YOLOX的模型可以实现有希望的性能（例如，在单个2080TI GPU上的Imagenet VID数据集上的30 fps的87.5％AP50）使其对大规模或实时应用程序有吸引力。实现很简单，演示代码和模型已在https://github.com/yuhengsss/yolov上提供。

视频语义细分（VSS）的本质是如何利用时间信息进行预测。先前的努力主要致力于开发新技术来计算诸如光学流和注意力之类的跨框架亲和力。取而代之的是，本文通过跨框架亲和力之间的采矿关系从不同的角度做出了贡献，可以在其上实现更好的时间信息聚合。我们在两个方面探索亲和力之间的关系：单尺度的内在相关性和多尺度关系。受传统功能处理的启发，我们提出了单尺度亲和力改进（SAR）和多尺度亲和力聚合（MAA）。为了使执行MAA可行，我们提出了一种选择性令牌掩蔽（STM）策略，以在计算亲和力时为不同量表选择一致参考令牌的子集，这也提高了我们方法的效率。最后，采用了SAR和MAA加强的跨框架亲和力，以自适应地汇总时间信息。我们的实验表明，所提出的方法对最新的VSS方法表现出色。该代码可在https://github.com/guoleisun/vss-mrcfa上公开获取

已经提出了高效和自适应计算机视觉系统以使计算机视觉任务，例如图像分类和对象检测，针对嵌入或移动设备进行了优化。这些解决方案最近的起源，专注于通过设计具有近似旋钮的自适应系统来优化模型（深神经网络，DNN）或系统。尽管最近的几项努力，但我们表明现有解决方案遭受了两个主要缺点。首先，系统不考虑模型的能量消耗，同时在制定要运行的模型的决定时。其次，由于其他共同居民工作负载，评估不考虑设备上的争用的实际情况。在这项工作中，我们提出了一种高效和自适应的视频对象检测系统，这是联合优化的精度，能量效率和延迟。底层Virtuoso是一个多分支执行内核，它能够在精度 - 能量 - 延迟轴上的不同运行点处运行，以及轻量级运行时调度程序，以选择最佳的执行分支以满足用户要求。要与Virtuoso相当比较，我们基准于15件最先进的或广泛使用的协议，包括更快的R-CNN（FRCNN），YOLO V3，SSD，培训台，SELSA，MEGA，REPP，FastAdapt和我们的内部FRCNN +，YOLO +，SSD +和高效+（我们的变体具有增强的手机效率）的自适应变体。通过这种全面的基准，Virtuoso对所有上述协议显示出优势，在NVIDIA Jetson Mobile GPU上的每一项效率水平上引领精度边界。具体而言，Virtuoso的准确性为63.9％，比一些流行的物体检测模型高于10％，51.1％，yolo为49.5％。

表示像素位移的光流量广泛用于许多计算机视觉任务中以提供像素级运动信息。然而，随着卷积神经网络的显着进展，建议最近的最先进的方法直接在特征级别解决问题。由于特征向量的位移不与像素位移不一致，因此常用方法是：将光流向神经网络向前传递到任务数据集上的微调该网络。利用这种方法，他们期望微调网络来产生编码特征级运动信息的张量。在本文中，我们重新思考此事实上的范式并分析了视频对象检测任务中的缺点。为了缓解这些问题，我们提出了一种具有视频对象检测的\ textBF {i} n-network \ textbf {f} eature \ textbf {f} eature \ textbf {f}低估计模块（iff模块）的新型网络（iff-net）。在不借鉴任何其他数据集的预先训练，我们的IFF模块能够直接产生\ textBF {feature flow}，表示特征位移。我们的IFF模块由一个浅模块组成，它与检测分支共享该功能。这种紧凑的设计使我们的IFF-Net能够准确地检测对象，同时保持快速推断速度。此外，我们提出了基于\ Textit {自我监督}的转换剩余损失（TRL），这进一步提高了IFF-Net的性能。我们的IFF-Net优于现有方法，并在Imagenet VID上设置最先进的性能。

共同出现的视觉模式使上下文聚集成为语义分割的重要范式。现有的研究重点是建模图像中的上下文，同时忽略图像以下相应类别的有价值的语义。为此，我们提出了一个新颖的软采矿上下文信息，超出了名为McIbi ++的图像范式，以进一步提高像素级表示。具体来说，我们首先设置了动态更新的内存模块，以存储各种类别的数据集级别的分布信息，然后利用信息在网络转发过程中产生数据集级别类别表示。之后，我们为每个像素表示形式生成一个类概率分布，并以类概率分布作为权重进行数据集级上下文聚合。最后，使用汇总的数据集级别和传统的图像级上下文信息来增强原始像素表示。此外，在推论阶段，我们还设计了一种粗到最新的迭代推理策略，以进一步提高分割结果。 MCIBI ++可以轻松地纳入现有的分割框架中，并带来一致的性能改进。此外，MCIBI ++可以扩展到视频语义分割框架中，比基线进行了大量改进。配备MCIBI ++，我们在七个具有挑战性的图像或视频语义分段基准测试中实现了最先进的性能。

不确定性在未来预测中起关键作用。未来是不确定的。这意味着可能有很多可能的未来。未来的预测方法应涵盖坚固的全部可能性。在自动驾驶中，涵盖预测部分中的多种模式对于做出安全至关重要的决策至关重要。尽管近年来计算机视觉系统已大大提高，但如今的未来预测仍然很困难。几个示例是未来的不确定性，全面理解的要求以及嘈杂的输出空间。在本论文中，我们通过以随机方式明确地对运动进行建模并学习潜在空间中的时间动态，从而提出了解决这些挑战的解决方案。

Temporal action detection (TAD) is extensively studied in the video understanding community by generally following the object detection pipeline in images. However, complex designs are not uncommon in TAD, such as two-stream feature extraction, multi-stage training, complex temporal modeling, and global context fusion. In this paper, we do not aim to introduce any novel technique for TAD. Instead, we study a simple, straightforward, yet must-known baseline given the current status of complex design and low detection efficiency in TAD. In our simple baseline (termed BasicTAD), we decompose the TAD pipeline into several essential components: data sampling, backbone design, neck construction, and detection head. We extensively investigate the existing techniques in each component for this baseline, and more importantly, perform end-to-end training over the entire pipeline thanks to the simplicity of design. As a result, this simple BasicTAD yields an astounding and real-time RGB-Only baseline very close to the state-of-the-art methods with two-stream inputs. In addition, we further improve the BasicTAD by preserving more temporal and spatial information in network representation (termed as PlusTAD). Empirical results demonstrate that our PlusTAD is very efficient and significantly outperforms the previous methods on the datasets of THUMOS14 and FineAction. Meanwhile, we also perform in-depth visualization and error analysis on our proposed method and try to provide more insights on the TAD problem. Our approach can serve as a strong baseline for future TAD research. The code and model will be released at https://github.com/MCG-NJU/BasicTAD.

准确的语义分割模型通常需要大量的计算资源，从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是，这些模型不能灵活地适应不同的准确性和效率要求。在本文中，我们提出了一种简单但有效的微小语义细分（SLIMSEG）方法，该方法可以在推理期间以不同的能力执行，具体取决于所需的准确性效率 - 折衷。更具体地说，我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近，我们引入了额外的边界指导语义分割损失，以进一步提高每个子模型的性能。我们表明，我们提出的具有各种主流网络的Slimseg可以产生灵活的模型，从而使计算成本的动态调整和比独立模型更好。关于语义分割基准，城市景观和Camvid的广泛实验证明了我们框架的概括能力。

Detection Transformer (DETR) and Deformable DETR have been proposed to eliminate the need for many hand-designed components in object detection while demonstrating good performance as previous complex hand-crafted detectors. However, their performance on Video Object Detection (VOD) has not been well explored. In this paper, we present TransVOD, the first end-to-end video object detection system based on spatial-temporal Transformer architectures. The first goal of this paper is to streamline the pipeline of VOD, effectively removing the need for many hand-crafted components for feature aggregation, e.g., optical flow model, relation networks. Besides, benefited from the object query design in DETR, our method does not need complicated post-processing methods such as Seq-NMS. In particular, we present a temporal Transformer to aggregate both the spatial object queries and the feature memories of each frame. Our temporal transformer consists of two components: Temporal Query Encoder (TQE) to fuse object queries, and Temporal Deformable Transformer Decoder (TDTD) to obtain current frame detection results. These designs boost the strong baseline deformable DETR by a significant margin (2 %-4 % mAP) on the ImageNet VID dataset. TransVOD yields comparable performances on the benchmark of ImageNet VID. Then, we present two improved versions of TransVOD including TransVOD++ and TransVOD Lite. The former fuses object-level information into object query via dynamic convolution while the latter models the entire video clips as the output to speed up the inference time. We give detailed analysis of all three models in the experiment part. In particular, our proposed TransVOD++ sets a new state-of-the-art record in terms of accuracy on ImageNet VID with 90.0 % mAP. Our proposed TransVOD Lite also achieves the best speed and accuracy trade-off with 83.7 % mAP while running at around 30 FPS on a single V100 GPU device. Code and models will be available for further research.

近期对抗性生成建模的突破导致了能够生产高质量的视频样本的模型，即使在真实世界视频的大型和复杂的数据集上也是如此。在这项工作中，我们专注于视频预测的任务，其中给出了从视频中提取的一系列帧，目标是生成合理的未来序列。我们首先通过对鉴别器分解进行系统的实证研究并提出产生更快的收敛性和更高性能的系统来提高本领域的最新技术。然后，我们分析发电机中的复发单元，并提出了一种新的复发单元，其根据预测的运动样本来改变其过去的隐藏状态，并改进它以处理DIS闭塞，场景变化和其他复杂行为。我们表明，这种经常性单位始终如一地优于以前的设计。我们的最终模型导致最先进的性能中的飞跃，从大型动力学-600数据集中获得25.7的测试集Frechet视频距离为25.7，下降到69.2。

最近在文献中引入了用于视频异常检测的自我监督的多任务学习（SSMTL）框架。由于其准确的结果，该方法吸引了许多研究人员的注意。在这项工作中，我们重新审视了自我监督的多任务学习框架，并提出了对原始方法的几个更新。首先，我们研究各种检测方法，例如基于使用光流或背景减法检测高运动区域，因为我们认为当前使用的预训练的Yolov3是次优的，例如从未检测到运动中的对象或来自未知类的对象。其次，我们通过引入多头自发项模块的启发，通过引入多头自我发项模块，使3D卷积骨干链现代化。因此，我们替代地引入了2D和3D卷积视觉变压器（CVT）块。第三，为了进一步改善模型，我们研究了其他自我监督的学习任务，例如通过知识蒸馏来预测细分图，解决拼图拼图，通过知识蒸馏估算身体的姿势，预测掩盖的区域（Inpaining）和对抗性学习具有伪异常。我们进行实验以评估引入变化的性能影响。在找到框架的更有希望的配置后，称为SSMTL ++ V1和SSMTL ++ V2后，我们将初步实验扩展到了更多数据集，表明我们的性能提高在所有数据集中都是一致的。在大多数情况下，我们在大道，上海the夫和Ubnormal上的结果将最新的表现提升到了新的水平。