实时视频细分是许多实际应用程序（例如自动驾驶和机器人控制）的关键任务。由于最新的语义细分模型尽管表现令人印象深刻，但对于实时应用来说通常太重了，因此研究人员提出了具有速度准确性权衡的轻量级体系结构，以降低准确性为代价实现实时速度。在本文中，我们提出了一个新颖的框架，通过利用视频中的时间位置来加快使用跳过连接进行实时视觉任务的架构。具体而言，在每个帧的到来时，我们将特征从上一个帧转换为在特定的空间箱中重复使用它们。然后，我们在当前帧区域上对骨干网络进行部分计算，以捕获当前帧和上一个帧之间的时间差异。这是通过使用门控机制动态掉出残留块来完成的，该机制决定哪些基于框架间失真掉落。我们在具有多个骨干网络的视频语义分割基准上验证了我们的时空掩码发生器（STMG），并证明我们的方法在很大程度上可以随着准确性的最小损失而加快推断。

语义分割是自主车辆了解周围场景的关键技术。当代模型的吸引力表现通常以牺牲重计算和冗长的推理时间为代价，这对于自行车来说是无法忍受的。在低分辨率图像上使用轻量级架构（编码器 - 解码器或双路）或推理，最近的方法实现了非常快的场景解析，即使在单个1080TI GPU上以100多件FPS运行。然而，这些实时方法与基于扩张骨架的模型之间的性能仍有显着差距。为了解决这个问题，我们提出了一家专门为实时语义细分设计的高效底座。所提出的深层双分辨率网络（DDRNET）由两个深部分支组成，之间进行多个双边融合。此外，我们设计了一个名为Deep聚合金字塔池（DAPPM）的新上下文信息提取器，以基于低分辨率特征映射放大有效的接收字段和熔丝多尺度上下文。我们的方法在城市景观和Camvid数据集上的准确性和速度之间实现了新的最先进的权衡。特别是，在单一的2080Ti GPU上，DDRNET-23-Slim在Camvid测试组上的Citycapes试验组102 FPS上的102 FPS，74.7％Miou。通过广泛使用的测试增强，我们的方法优于最先进的模型，需要计算得多。 CODES和培训的型号在线提供。

准确的语义分割模型通常需要大量的计算资源，从而抑制其在实际应用中的使用。最近的作品依靠精心制作的轻质模型来快速推断。但是，这些模型不能灵活地适应不同的准确性和效率要求。在本文中，我们提出了一种简单但有效的微小语义细分（SLIMSEG）方法，该方法可以在推理期间以不同的能力执行，具体取决于所需的准确性效率 - 折衷。更具体地说，我们在训练过程中采用逐步向下知识蒸馏采用参数化通道。观察到每个子模型的分割结果之间的差异主要在语义边界附近，我们引入了额外的边界指导语义分割损失，以进一步提高每个子模型的性能。我们表明，我们提出的具有各种主流网络的Slimseg可以产生灵活的模型，从而使计算成本的动态调整和比独立模型更好。关于语义分割基准，城市景观和Camvid的广泛实验证明了我们框架的概括能力。

我们提出了streamDeq，这是一种以最小为每片计算的视频中框架表示的方法。与传统方法至少随着网络深度线性线性增长的常规方法相反，我们旨在以连续的方式更新表示形式。为此，我们利用最近出现的隐式层模型，该模型通过解决固定点问题来扩展图像的表示。我们的主要见解是利用视频的缓慢变化，并使用先前的框架表示作为每个帧的初始条件。该方案有效地回收了最近的推理计算，并大大减少了所需的处理时间。通过广泛的实验分析，我们表明StreamDeq能够在几个帧时间内恢复近乎最佳的表示形式，并在整个视频持续时间内保持最新的表示。我们在视频语义细分和视频对象检测方面进行的实验表明，StreamDeq以基线（标准MDEQ）的准确度达到了准确性，而$ 3 \ times $ $ abter $ abter的$ 3。项目页面可在以下网址获得：https：//ufukertenli.github.io/streamdeq/

在本文中，我们提出了区块拷贝，该方案与标准的逐帧处理相比，可以加速基于框架的CNN以更有效地处理视频。为此，轻巧的策略网络确定图像中的重要区域，并且仅使用自定义的块 - 帕斯斯卷积应用于选定区域。简单地从前一个帧复制了非选择区域的特征，从而减少了计算和延迟的数量。执行策略是通过在线方式使用强化学习培训的，而无需进行地面真相注释。我们的通用框架在密集的预测任务上进行了证明，例如人行人检测，实例分割和语义分割，同时使用最新技术（中心和比例预测指标，MGAN，MGAN，SWIFTNET）和标准基线网络（Mask-RCNN，DeepLabV3+）。区块拷贝可实现大量的拖放节省和推理速度，对准确性的影响最小。

在本文中，我们专注于探索有效的方法，以更快，准确和域的不可知性语义分割。受到相邻视频帧之间运动对齐的光流的启发，我们提出了一个流对齐模块（FAM），以了解相邻级别的特征映射之间的\ textit {语义流}，并将高级特征广播到高分辨率特征有效地，有效地有效。 。此外，将我们的FAM与共同特征的金字塔结构集成在一起，甚至在轻量重量骨干网络（例如Resnet-18和DFNET）上也表现出优于其他实时方法的性能。然后，为了进一步加快推理过程，我们还提出了一个新型的封闭式双流对齐模块，以直接对齐高分辨率特征图和低分辨率特征图，在该图中我们将改进版本网络称为SFNET-LITE。广泛的实验是在几个具有挑战性的数据集上进行的，结果显示了SFNET和SFNET-LITE的有效性。特别是，建议的SFNET-LITE系列在使用RESNET-18主链和78.8 MIOU以120 fps运行的情况下，使用RTX-3090上的STDC主链在120 fps运行时，在60 fps运行时达到80.1 miou。此外，我们将四个具有挑战性的驾驶数据集（即CityScapes，Mapillary，IDD和BDD）统一到一个大数据集中，我们将其命名为Unified Drive细分（UDS）数据集。它包含不同的域和样式信息。我们基准了UDS上的几项代表性作品。 SFNET和SFNET-LITE仍然可以在UDS上取得最佳的速度和准确性权衡，这在如此新的挑战性环境中是强大的基准。所有代码和模型均可在https://github.com/lxtgh/sfsegnets上公开获得。

Segblocks通过根据图像区域的复杂性动态调整处理分辨率来降低现有神经网络的计算成本。我们的方法将图像拆分为低复杂性的块和尺寸块块，从而减少了操作数量和内存消耗的数量。轻量级的政策网络选择复杂区域，是使用强化学习训练的。此外，我们介绍了CUDA中实现的几个模块以处理块中的图像。最重要的是，我们的新颖的阻止模块可以防止现有方法遭受的块边界的特征不连续性，同时保持记忆消耗受到控制。我们对语义分割的城市景观，Camvid和Mapillary Vistas数据集进行的实验表明，与具有相似复杂性的静态基准相比，动态处理图像与复杂性的折衷相对于复杂性更高。例如，我们的方法将SwiftNet-RN18的浮点操作数量降低了60％，并将推理速度提高50％，而CityScapes的MIOU准确性仅降低0.3％。

现代的高性能语义分割方法采用沉重的主链和扩张的卷积来提取相关特征。尽管使用上下文和语义信息提取功能对于分割任务至关重要，但它为实时应用程序带来了内存足迹和高计算成本。本文提出了一种新模型，以实现实时道路场景语义细分的准确性/速度之间的权衡。具体来说，我们提出了一个名为“比例吸引的条带引导特征金字塔网络”（s \ textsuperscript {2} -fpn）的轻巧模型。我们的网络由三个主要模块组成：注意金字塔融合（APF）模块，比例吸引条带注意模块（SSAM）和全局特征Upsample（GFU）模块。 APF采用了注意力机制来学习判别性多尺度特征，并有助于缩小不同级别之间的语义差距。 APF使用量表感知的关注来用垂直剥离操作编码全局上下文，并建模长期依赖性，这有助于将像素与类似的语义标签相关联。此外，APF还采用频道重新加权块（CRB）来强调频道功能。最后，S \ TextSuperScript {2} -fpn的解码器然后采用GFU，该GFU用于融合APF和编码器的功能。已经对两个具有挑战性的语义分割基准进行了广泛的实验，这表明我们的方法通过不同的模型设置实现了更好的准确性/速度权衡。提出的模型已在CityScapes Dataset上实现了76.2 \％miou/87.3fps，77.4 \％miou/67fps和77.8 \％miou/30.5fps，以及69.6 \％miou，71.0 miou，71.0 \％miou，和74.2 \％\％\％\％\％\％。 miou在Camvid数据集上。这项工作的代码将在\ url {https://github.com/mohamedac29/s2-fpn提供。

共同出现的视觉模式使上下文聚集成为语义分割的重要范式。现有的研究重点是建模图像中的上下文，同时忽略图像以下相应类别的有价值的语义。为此，我们提出了一个新颖的软采矿上下文信息，超出了名为McIbi ++的图像范式，以进一步提高像素级表示。具体来说，我们首先设置了动态更新的内存模块，以存储各种类别的数据集级别的分布信息，然后利用信息在网络转发过程中产生数据集级别类别表示。之后，我们为每个像素表示形式生成一个类概率分布，并以类概率分布作为权重进行数据集级上下文聚合。最后，使用汇总的数据集级别和传统的图像级上下文信息来增强原始像素表示。此外，在推论阶段，我们还设计了一种粗到最新的迭代推理策略，以进一步提高分割结果。 MCIBI ++可以轻松地纳入现有的分割框架中，并带来一致的性能改进。此外，MCIBI ++可以扩展到视频语义分割框架中，比基线进行了大量改进。配备MCIBI ++，我们在七个具有挑战性的图像或视频语义分段基准测试中实现了最先进的性能。

Semantic segmentation requires both rich spatial information and sizeable receptive field. However, modern approaches usually compromise spatial resolution to achieve real-time inference speed, which leads to poor performance. In this paper, we address this dilemma with a novel Bilateral Segmentation Network (BiSeNet). We first design a Spatial Path with a small stride to preserve the spatial information and generate high-resolution features. Meanwhile, a Context Path with a fast downsampling strategy is employed to obtain sufficient receptive field. On top of the two paths, we introduce a new Feature Fusion Module to combine features efficiently. The proposed architecture makes a right balance between the speed and segmentation performance on Cityscapes, CamVid, and COCO-Stuff datasets. Specifically, for a 2048×1024 input, we achieve 68.4% Mean IOU on the Cityscapes test dataset with speed of 105 FPS on one NVIDIA Titan XP card, which is significantly faster than the existing methods with comparable performance.

Deep convolutional neutral networks have achieved great success on image recognition tasks. Yet, it is nontrivial to transfer the state-of-the-art image recognition networks to videos as per-frame evaluation is too slow and unaffordable. We present deep feature flow, a fast and accurate framework for video recognition. It runs the expensive convolutional sub-network only on sparse key frames and propagates their deep feature maps to other frames via a flow field. It achieves significant speedup as flow computation is relatively fast. The end-to-end training of the whole architecture significantly boosts the recognition accuracy. Deep feature flow is flexible and general. It is validated on two video datasets on object detection and semantic segmentation. It significantly advances the practice of video recognition tasks. Code is released at https:// github.com/msracver/Deep-Feature-Flow.

视频语义细分（VSS）的本质是如何利用时间信息进行预测。先前的努力主要致力于开发新技术来计算诸如光学流和注意力之类的跨框架亲和力。取而代之的是，本文通过跨框架亲和力之间的采矿关系从不同的角度做出了贡献，可以在其上实现更好的时间信息聚合。我们在两个方面探索亲和力之间的关系：单尺度的内在相关性和多尺度关系。受传统功能处理的启发，我们提出了单尺度亲和力改进（SAR）和多尺度亲和力聚合（MAA）。为了使执行MAA可行，我们提出了一种选择性令牌掩蔽（STM）策略，以在计算亲和力时为不同量表选择一致参考令牌的子集，这也提高了我们方法的效率。最后，采用了SAR和MAA加强的跨框架亲和力，以自适应地汇总时间信息。我们的实验表明，所提出的方法对最新的VSS方法表现出色。该代码可在https://github.com/guoleisun/vss-mrcfa上公开获取

两个分支网络体系结构显示了其对实时语义分割任务的效率和有效性。但是，低水平细节和高级语义的直接融合将导致一种现象，即周围的上下文信息很容易被详细特征淹没，即本文中的超声波，这限制了现有的两种分支模型的准确性的提高。在本文中，我们桥接了卷积神经网络（CNN）与比例综合衍生物（PID）控制器之间的联系，并揭示了两个分支网络不过是一个比例综合（PI）控制器，它固有地来自于此。类似的过冲问题。为了减轻这个问题，我们提出了一个新颖的三个分支网络架构：Pidnet，它分别拥有三个分支来分析详细的，上下文和边界信息（语义的导数），并采用边界关注来指导详细和背景的融合在最后阶段的分支。 PIDNET家族在推理速度和准确性之间实现了最佳的权衡，其测试准确性超过了所有存在的模型，这些模型在CityScapes，Camvid和Coco-STUFF数据集上具有相似的推理速度。尤其是，Pidnet-S在CityScapes测试套装上以93.2 fps的推理速度达到78.6％，在CAMVID测试集上速度为153.7 fps，速度为80.1％。

自动手术场景细分是促进现代手术剧院认知智能的基础。以前的作品依赖于常规的聚合模块（例如扩张的卷积，卷积LSTM），仅利用局部环境。在本文中，我们提出了一个新颖的框架STSWINCL，该框架通过逐步捕获全球环境来探讨互补的视频内和访问间关系以提高细分性能。我们首先开发了层次结构变压器，以捕获视频内关系，其中包括来自邻居像素和以前的帧的富裕空间和时间提示。提出了一个联合时空窗口移动方案，以有效地将这两个线索聚集到每个像素嵌入中。然后，我们通过像素到像素对比度学习探索视频间的关系，该学习很好地结构了整体嵌入空间。开发了一个多源对比度训练目标，可以将视频中的像素嵌入和基础指导分组，这对于学习整个数据的全球属性至关重要。我们在两个公共外科视频基准测试中广泛验证了我们的方法，包括Endovis18 Challenge和Cadis数据集。实验结果证明了我们的方法的有希望的性能，这始终超过了先前的最新方法。代码可在https://github.com/yuemingjin/stswincl上找到。

多尺度学习框架已被视为一种能够提高语义分割的能力类别。然而，这个问题并不是微不足道的，尤其是对于现实世界的部署，通常需要高效率推理潜伏期。在本文中，我们彻底分析了卷积块的设计（卷积的类型和卷积中的频道数量），以及跨多个尺度的相互作用方式，所有这些都是从轻量级的语义分割的角度来看。通过这样的深入比较，我们综述了三个原则，因此设计了轻巧且逐渐估计的网络（LPS-NET），这些网络以贪婪的方式在新颖地扩展了网络复杂性。从技术上讲，LPS-NET首先利用了建立小型网络的原则。然后，LPS-NET通过扩展单个维度（卷积块的数量，通道数量或输入分辨率）来逐步扩展到较大网络，以实现最佳的速度/准确性交易。在三个数据集上进行的广泛实验始终证明了LPS-NET优于几种有效的语义分割方法。更值得注意的是，我们的LPS-NET在CityScapes测试套装上达到73.4％MIOU，NVIDIA GTX 1080TI的速度为413.5fps，导致绩效提高1.5％，对抗最高的速度为65％ - ART STDC。代码可在\ url {https://github.com/yihengzhang-cv/lps-net}中获得。

Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.

语义分割是将类标签分配给图像中每个像素的问题，并且是自动车辆视觉堆栈的重要组成部分，可促进场景的理解和对象检测。但是，许多表现最高的语义分割模型非常复杂且笨拙，因此不适合在计算资源有限且低延迟操作的板载自动驾驶汽车平台上部署。在这项调查中，我们彻底研究了旨在通过更紧凑，更有效的模型来解决这种未对准的作品，该模型能够在低内存嵌入式系统上部署，同时满足实时推理的限制。我们讨论了该领域中最杰出的作品，根据其主要贡献将它们置于分类法中，最后我们评估了在一致的硬件和软件设置下，所讨论模型的推理速度，这些模型代表了具有高端的典型研究环境GPU和使用低内存嵌入式GPU硬件的现实部署方案。我们的实验结果表明，许多作品能够在资源受限的硬件上实时性能，同时说明延迟和准确性之间的一致权衡。

Real-time semantic segmentation has played an important role in intelligent vehicle scenarios. Recently, numerous networks have incorporated information from multi-size receptive fields to facilitate feature extraction in real-time semantic segmentation tasks. However, these methods preferentially adopt massive receptive fields to elicit more contextual information, which may result in inefficient feature extraction. We believe that the elaborated receptive fields are crucial, considering the demand for efficient feature extraction in real-time tasks. Therefore, we propose an effective and efficient architecture termed Dilation-wise Residual segmentation (DWRSeg), which possesses different sets of receptive field sizes within different stages. The architecture involves (i) a Dilation-wise Residual (DWR) module for extracting features based on different scales of receptive fields in the high level of the network; (ii) a Simple Inverted Residual (SIR) module that uses an inverted bottleneck structure to extract features from the low stage; and (iii) a simple fully convolutional network (FCN)-like decoder for aggregating multiscale feature maps to generate the prediction. Extensive experiments on the Cityscapes and CamVid datasets demonstrate the effectiveness of our method by achieving a state-of-the-art trade-off between accuracy and inference speed, in addition to being lighter weight. Without using pretraining or resorting to any training trick, we achieve 72.7% mIoU on the Cityscapes test set at a speed of 319.5 FPS on one NVIDIA GeForce GTX 1080 Ti card, which is significantly faster than existing methods. The code and trained models are publicly available.

We focus on the challenging task of real-time semantic segmentation in this paper. It finds many practical applications and yet is with fundamental difficulty of reducing a large portion of computation for pixel-wise label inference. We propose an image cascade network (ICNet) that incorporates multi-resolution branches under proper label guidance to address this challenge. We provide in-depth analysis of our framework and introduce the cascade feature fusion unit to quickly achieve highquality segmentation. Our system yields real-time inference on a single GPU card with decent quality results evaluated on challenging datasets like Cityscapes, CamVid and COCO-Stuff.

视频对视频合成（VID2VID）在从一系列语义图中生成照片真实视频方面取得了显着的结果。但是，该管道遭受了高计算成本和较长的推理潜伏期的损失，这在很大程度上取决于两个基本因素：1）网络体系结构参数，2）顺序数据流。最近，基于图像的生成模型的参数已通过更有效的网络体系结构显着压缩。然而，现有方法主要集中于减肥网络体系结构，而忽略了顺序数据流的大小。此外，由于缺乏时间连贯性，基于图像的压缩不足以压缩视频任务。在本文中，我们提出了一个时空的压缩框架，\ textbf {fast-vid2vid}，该框架着重于生成模型的数据方面。它首次尝试减少计算资源并加速推理。具体而言，我们在空间上压缩输入数据流并减少时间冗余。在提出的时空知识蒸馏之后，我们的模型可以使用低分辨率数据流合成密钥框架。最后，快速VID2VID通过运动补偿以轻微延迟为中间框架插入中间框架。在标准基准测试中，快速VID2VID围绕实时性能达到20 fps，并在单个V100 GPU上节省了约8倍的计算成本。