部分一级的行动解析针对部分状态解析为影片提升动作识别。尽管在视频分类研究领域戏剧性的进展，面临的社会的一个严重问题是，人类活动的详细了解被忽略。我们的动机是，解析人的行动需要建立模型，专注于特定的问题。我们提出了一个简单而有效的方法，迎刃而解命名解析动作（DAP）。具体来说，我们划分部分一级行动解析为三个阶段：1）人的检测，当一个人检测器采用检测从影片的所有人员以及进行实例级动作识别; 2）部分解析，其中解析部分模型提出了识别来自检测到的人物图像人类份;和3）动作解析，其中，多模态动作解析网络用于分析动作类别调节对从先前阶段获得的所有检测结果。随着应用这三大车型，我们DAP的方法记录$ 0.605 $得分的全球平均在2021动力学-TPS挑战。

零件级别的属性解析是一项基本但具有挑战性的任务，它需要区域级的视觉理解以提供可解释的身体部位细节。大多数现有方法通过添加具有属性预测头到两阶段检测器的区域卷积神经网络（RCNN）来解决此问题，其中从本地零件框中确定了身体部位的属性。但是，具有极限视觉线索的本地零件框（即仅零件外观）会导致不满意的解析结果，因为身体部位的属性高度依赖于它们之间的全面关系。在本文中，我们建议通过利用丰富的知识来识别嵌入式RCNN（KE-RCNN）来识别属性-hip）和显式知识（例如，``短裤''的一部分不能具有``连帽衫''或``衬里''的属性）。具体而言，KE-RCNN由两个新型组件，即基于隐式知识的编码器（IK-en）和基于知识的显式解码器（EK-DE）组成。前者旨在通过将部分的关系上下文编码到部分框中来增强零件级的表示，而后者则建议通过有关\ textit {part-attribute}关系的先验知识的指导来解码属性。这样，KE-RCNN就是插件播放，可以集成到任何两阶段检测器中，例如attribute-rcnn，cascade-rcnn，基于HRNET的RCNN和基于Swintransformer的RCNN。在两个具有挑战性的基准上进行的广泛实验，例如Fashionpedia和Kinetics-TPS，证明了KE-RCNN的有效性和概括性。特别是，它比所有现有方法都取得了更高的改进，在时尚Pedia上达到了3％的AP，而动力学TPS的ACC约为4％。

人类茂密的估计旨在建立人体2D像素与3D人体模板之间的密集对应关系，是使机器能够了解图像中人员的关键技术。由于实际场景是复杂的，只有部分注释可用，导致无能为力或错误的估计，它仍然构成了几个挑战。在这项工作中，我们提出了一个新颖的框架，以检测图像中多人的密集。我们指的是知识转移网络（KTN）的建议方法解决了两个主要问题：1）如何完善图像表示以减轻不完整的估计，以及2）如何减少由低质量培训标签引起的错误估计（即。 ，有限的注释和班级不平衡标签）。与现有的作品直接传播区域的锥体特征以进行致密估计，KTN使用金字塔表示的改进，同时它可以维持特征分辨率并抑制背景像素，并且这种策略导致准确性大幅提高。此外，KTN通过外部知识增强了基于3D的身体解析的能力，在该知识中，它通过结构性的身体知识图，从足够的注释作为基于3D的身体解析器进行训练。通过这种方式，它大大减少了由低质量注释引起的不利影响。 KTN的有效性通过其优越的性能优于致密coco数据集的最先进方法。关于代表性任务（例如，人体分割，人体部分分割和关键点检测）和两个流行的致密估计管道（即RCNN和全面卷积框架）的广泛消融研究和实验结果，进一步表明了提议方法的概括性。

大多数最先进的实例级人类解析模型都采用了两阶段的基于锚的探测器，因此无法避免启发式锚盒设计和像素级别缺乏分析。为了解决这两个问题，我们设计了一个实例级人类解析网络，该网络在像素级别上无锚固且可解决。它由两个简单的子网络组成：一个用于边界框预测的无锚检测头和一个用于人体分割的边缘引导解析头。无锚探测器的头继承了像素样的优点，并有效地避免了对象检测应用中证明的超参数的敏感性。通过引入部分感知的边界线索，边缘引导的解析头能够将相邻的人类部分与彼此区分开，最多可在一个人类实例中，甚至重叠的实例。同时，利用了精炼的头部整合盒子级别的分数和部分分析质量，以提高解析结果的质量。在两个多个人类解析数据集（即CIHP和LV-MHP-V2.0）和一个视频实例级人类解析数据集（即VIP）上进行实验，表明我们的方法实现了超过全球级别和实例级别的性能最新的一阶段自上而下的替代方案。

该技术报告介绍了我们在ICCV DeeperAction研讨会上进行零件级动作解析的动力学-TPS轨道的第二名解决方案。2021年。我们的条目主要基于yolof，例如，零件检测，HRNET用于人体姿势估计，以及用于视频级别的CSN行动识别和框架级别的部分状态解析。我们描述了动力学-TPS数据集的技术细节，以及一些实验结果。在比赛中，我们在动力学TPS的测试集上获得了61.37％的地图。

多次人类解析的现有方法通常采用两阶段的策略（通常是自下而上和自下而上），这遭受了对先前检测的强烈依赖，或者在集体后过程中高度计算的冗余。在这项工作中，我们使用代表性零件（称为Repparser）提出了一个端到端的多个人类解析框架。与主流方法不同，repparser以新的单阶段的方式解决了多个人的解析，而无需诉诸于人的检测或组后。为此，repparser将解析管道解析为实例感知的内核产生和部分意识到的人类解析，并将其分解为部分。分别负责实例分离和特定于实例的部分分割。特别是，我们通过代表性部分赋予解析管道的能力，因为它们的特征是通过实例感知关键点，并且可以用来动态解析每个人的实例。具体而言，代表性零件是通过共同定位实例中心和估计身体部位区域的关键来获得的。之后，我们通过代表性部分动态预测实例感知的卷积内核，从而将人零件的上下文编码为每个负责将图像特征施放为实例特定表示的内核。furthermore。采用多支出结构来分割每个实例 - 特定的表示单独的部分分割的几个部分感知表示。这样，以代表性零件的指导，重新集中在人实例上，并直接为每个人实例输出解析结果，从而消除了先前检测或发布的要求-grouping。在两个具有挑战性的基准上进行的扩展实验表明，我们提出的repparser是一个简单而有效的框架，并取得了竞争性的表现。

视频的行动识别，即将视频分类为预定义的动作类型之一，一直是人工智能，多媒体和信号处理社区中的一个流行话题。但是，现有方法通常考虑一个整体上的输入视频并学习模型，例如卷积神经网络（CNNS），并带有粗糙的视频级别类标签。这些方法只能为视频输出一个动作类，但不能提供可解释的线索来回答为什么视频显示特定的动作。因此，研究人员开始专注于一项新任务，部分级别的动作解析（PAP），该作用不仅旨在预测视频级别的动作，而且还要认识到每个人的框架级别的细粒度的动作或身体部位的相互作用在视频中。为此，我们为这项具有挑战性的任务提出了一个粗到精细的框架。特别是，我们的框架首先预测输入视频的视频级别类别，然后将身体部位定位并预测零件级别的动作。此外，为了平衡部分级别的动作解析的准确性和计算，我们建议通过段级特征识别零件级的操作。此外，为了克服身体部位的歧义，我们提出了一种姿势引导的位置嵌入方法来准确地定位身体部位。通过在大规模数据集（即动力学TPS）上进行的全面实验，我们的框架可以实现最先进的性能，并且超过31.10％的ROC得分的现有方法。

Dense pose estimation is a dense 3D prediction task for instance-level human analysis, aiming to map human pixels from an RGB image to a 3D surface of the human body. Due to a large amount of surface point regression, the training process appears to be easy to collapse compared to other region-based human instance analyzing tasks. By analyzing the loss formulation of the existing dense pose estimation model, we introduce a novel point regression loss function, named Dense Points} loss to stable the training progress, and a new balanced loss weighting strategy to handle the multi-task losses. With the above novelties, we propose a brand new architecture, named UV R-CNN. Without auxiliary supervision and external knowledge from other tasks, UV R-CNN can handle many complicated issues in dense pose model training progress, achieving 65.0% $AP_{gps}$ and 66.1% $AP_{gpsm}$ on the DensePose-COCO validation subset with ResNet-50-FPN feature extractor, competitive among the state-of-the-art dense human pose estimation methods.

In this paper, we are interested in the human pose estimation problem with a focus on learning reliable highresolution representations. Most existing methods recover high-resolution representations from low-resolution representations produced by a high-to-low resolution network. Instead, our proposed network maintains high-resolution representations through the whole process.We start from a high-resolution subnetwork as the first stage, gradually add high-to-low resolution subnetworks one by one to form more stages, and connect the mutliresolution subnetworks in parallel. We conduct repeated multi-scale fusions such that each of the high-to-low resolution representations receives information from other parallel representations over and over, leading to rich highresolution representations. As a result, the predicted keypoint heatmap is potentially more accurate and spatially more precise. We empirically demonstrate the effectiveness of our network through the superior pose estimation results over two benchmark datasets: the COCO keypoint detection dataset and the MPII Human Pose dataset. In addition, we show the superiority of our network in pose tracking on the PoseTrack dataset. The code and models have been publicly available at https://github.com/leoxiaobin/ deep-high-resolution-net.pytorch.

We propose CornerNet, a new approach to object detection where we detect an object bounding box as a pair of keypoints, the top-left corner and the bottom-right corner, using a single convolution neural network. By detecting objects as paired keypoints, we eliminate the need for designing a set of anchor boxes commonly used in prior single-stage detectors. In addition to our novel formulation, we introduce corner pooling, a new type of pooling layer that helps the network better localize corners. Experiments show that Corner-Net achieves a 42.2% AP on MS COCO, outperforming all existing one-stage detectors.

当前的时空动作管检测方法通常将一个给定键框的边界框提案扩展到附近帧的3D颞轴和池特征。但是，如果演员的位置或形状通过大型的2D运动和可变性，由于大型摄像机运动，大型演员形状变形，快速演员的动作等，这种合并就无法积累有意义的时空特征。在这项工作中，我们旨在研究在大动作下的动作检测中观察到Cuboid感知特征聚集的性能。此外，我们建议通过跟踪参与者并沿各个轨道进行时间特征聚集来增强演员特征表示。我们在各种固定时间尺度的动作管/轨道框之间使用相交的行动者（IOU）定义了演员运动。随着时间的推移，具有较大运动的动作将导致较低的IOU，并且较慢的动作将保持更高的IOU。我们发现，轨道感知功能聚集始终取得了巨大的改善，尤其是对于与Cuboid感知的基线相比，在大型运动下进行的动作。结果，我们还报告了大规模多运动数据集的最先进。

There has been significant progress on pose estimation and increasing interests on pose tracking in recent years. At the same time, the overall algorithm and system complexity increases as well, making the algorithm analysis and comparison more difficult. This work provides simple and effective baseline methods. They are helpful for inspiring and evaluating new ideas for the field. State-of-the-art results are achieved on challenging benchmarks. The code will be available at https://github. com/leoxiaobin/pose.pytorch.

In this paper we present a new computer vision task, named video instance segmentation. The goal of this new task is simultaneous detection, segmentation and tracking of instances in videos. In words, it is the first time that the image instance segmentation problem is extended to the video domain. To facilitate research on this new task, we propose a large-scale benchmark called YouTube-VIS, which consists of 2,883 high-resolution YouTube videos, a 40-category label set and 131k high-quality instance masks.In addition, we propose a novel algorithm called Mask-Track R-CNN for this task. Our new method introduces a new tracking branch to Mask R-CNN to jointly perform the detection, segmentation and tracking tasks simultaneously. Finally, we evaluate the proposed method and several strong baselines on our new dataset. Experimental results clearly demonstrate the advantages of the proposed algorithm and reveal insight for future improvement. We believe the video instance segmentation task will motivate the community along the line of research for video understanding.

时间动作本地化的主要挑战是在未修剪的视频中从各种共同出现的成分（例如上下文和背景）中获取细微的人类行为。尽管先前的方法通过设计高级动作探测器取得了重大进展，但它们仍然遭受这些共发生的成分，这些成分通常占据视频中实际动作内容。在本文中，我们探讨了视频片段的两个正交但互补的方面，即动作功能和共存功能。尤其是，我们通过在视频片段中解开这两种功能并重新组合它们来生成具有更明显的动作信息以进行准确的动作本地化的新功能表示形式，从而开发了一项新颖的辅助任务。我们称我们的方法重新处理，该方法首先显式将动作内容分解并正规化其共发生的特征，然后合成新的动作主导的视频表示形式。对Thumos14和ActivityNet V1.3的广泛实验结果和消融研究表明，我们的新表示形式与简单的动作检测器相结合可以显着改善动作定位性能。

时间动作本地化（TAL）是识别视频中一组动作的任务，该任务涉及将开始和终点定位并对每个操作实例进行分类。现有方法通过使用预定义的锚窗或启发式自下而上的边界匹配策略来解决此任务，这些策略是推理时间的主要瓶颈。此外，主要的挑战是由于缺乏全球上下文信息而无法捕获远程动作。在本文中，我们介绍了一个无锚的框架，称为HTNET，该框架预测了一组<开始时间，结束时间，类，类>三胞胎，这些视频基于变压器体系结构。在预测粗边界之后，我们通过背景特征采样（BFS）模块和分层变压器对其进行完善，这使我们的模型能够汇总全局上下文信息，并有效利用视频中固有的语义关系。我们演示了我们的方法如何在两个TAL基准数据集上定位准确的动作实例并实现最先进的性能：Thumos14和ActivityNet 1.3。

我们在没有监督的情况下解决了学习对象探测器的问题。与弱监督的对象检测不同，我们不假设图像级类标签。取而代之的是，我们使用音频组件来“教”对象检测器，从视听数据中提取监督信号。尽管此问题与声音源本地化有关，但它更难，因为检测器必须按类型对对象进行分类，列举对象的每个实例，并且即使对象保持沉默，也可以这样做。我们通过首先设计一个自制的框架来解决这个问题，该框架具有一个对比目标，该目标共同学会了分类和本地化对象。然后，在不使用任何监督的情况下，我们只需使用这些自我监督的标签和盒子来训练基于图像的对象检测器。因此，对于对象检测和声音源定位的任务，我们优于先前的无监督和弱监督的检测器。我们还表明，我们可以将该探测器与每个伪级标签的标签保持一致，并展示我们的方法如何学习检测超出仪器（例如飞机和猫）的通用对象。

基于文本的视频细分旨在通过用文本查询指定演员及其表演动作来细分视频序列中的演员。由于\ emph {emph {语义不对称}的问题，以前的方法无法根据演员及其动作以细粒度的方式将视频内容与文本查询对齐。 \ emph {语义不对称}意味着在多模式融合过程中包含不同量的语义信息。为了减轻这个问题，我们提出了一个新颖的演员和动作模块化网络，该网络将演员及其动作分别定位在两个单独的模块中。具体来说，我们首先从视频和文本查询中学习与参与者相关的内容，然后以对称方式匹配它们以定位目标管。目标管包含所需的参与者和动作，然后将其送入完全卷积的网络，以预测演员的分割掩模。我们的方法还建立了对象的关联，使其与所提出的时间建议聚合机制交叉多个框架。这使我们的方法能够有效地细分视频并保持预测的时间一致性。整个模型允许联合学习参与者的匹配和细分，并在A2D句子和J-HMDB句子数据集上实现单帧细分和完整视频细分的最新性能。

我们提出了块茎：一种简单的时空视频动作检测解决方案。与依赖于离线演员检测器或手工设计的演员位置假设的现有方法不同，我们建议通过同时执行动作定位和识别从单个表示来直接检测视频中的动作微管。块茎学习一组管芯查询，并利用微调模块来模拟视频剪辑的动态时空性质，其有效地加强了与在时空空间中的演员位置假设相比的模型容量。对于包含过渡状态或场景变更的视频，我们提出了一种上下文意识的分类头来利用短期和长期上下文来加强行动分类，以及用于检测精确的时间动作程度的动作开关回归头。块茎直接产生具有可变长度的动作管，甚至对长视频剪辑保持良好的结果。块茎在常用的动作检测数据集AVA，UCF101-24和JHMDB51-21上优于先前的最先进。

有效地对视频中的空间信息进行建模对于动作识别至关重要。为了实现这一目标，最先进的方法通常采用卷积操作员和密集的相互作用模块，例如非本地块。但是，这些方法无法准确地符合视频中的各种事件。一方面，采用的卷积是有固定尺度的，因此在各种尺度的事件中挣扎。另一方面，密集的相互作用建模范式仅在动作 - 欧元零件时实现次优性能，给最终预测带来了其他噪音。在本文中，我们提出了一个统一的动作识别框架，以通过引入以下设计来研究视频内容的动态性质。首先，在提取本地提示时，我们会生成动态尺度的时空内核，以适应各种事件。其次，为了将这些线索准确地汇总为全局视频表示形式，我们建议仅通过变压器在一些选定的前景对象之间进行交互，从而产生稀疏的范式。我们将提出的框架称为事件自适应网络（EAN），因为这两个关键设计都适应输入视频内容。为了利用本地细分市场内的短期运动，我们提出了一种新颖有效的潜在运动代码（LMC）模块，进一步改善了框架的性能。在几个大规模视频数据集上进行了广泛的实验，例如，某种东西，动力学和潜水48，验证了我们的模型是否在低拖鞋上实现了最先进或竞争性的表演。代码可在：https：//github.com/tianyuan168326/ean-pytorch中找到。

最近，视频变压器在视频理解方面取得了巨大成功，超过了CNN性能;然而，现有的视频变换器模型不会明确地模拟对象，尽管对象对于识别操作至关重要。在这项工作中，我们呈现对象区域视频变换器（Orvit），一个\ emph {对象为中心}方法，它与直接包含对象表示的块扩展视频变压器图层。关键的想法是从早期层开始融合以对象形式的表示，并将它们传播到变压器层中，从而影响整个网络的时空表示。我们的orvit块由两个对象级流组成：外观和动态。在外观流中，“对象区域关注”模块在修补程序上应用自我关注和\ emph {对象区域}。以这种方式，Visual对象区域与统一修补程序令牌交互，并通过上下文化对象信息来丰富它们。我们通过单独的“对象 - 动态模块”进一步模型对象动态，捕获轨迹交互，并显示如何集成两个流。我们在四个任务和五个数据集中评估我们的模型：在某事物中的某些问题和几次射击动作识别，以及在AVA上的某些时空动作检测，以及在某种东西上的标准动作识别 - 某种东西 - 东西，潜水48和EPIC-Kitchen100。我们在考虑的所有任务和数据集中展示了强大的性能改进，展示了将对象表示的模型的值集成到变压器体系结构中。对于代码和预用模型，请访问项目页面\ url {https://roeiherz.github.io/orvit/}