人类对象相互作用（HOI）检测是一项具有挑战性的任务，需要区分人类对象对之间的相互作用。基于注意力的关系解析是HOI中使用的一种流行而有效的策略。但是，当前方法以“自下而上”的方式执行关系解析。我们认为，在HOI中，独立使用自下而上的解析策略是违反直觉的，可能导致注意力的扩散。因此，我们将新颖的知识引导自上而下的关注引入HOI，并提议将关系解析为“外观和搜索”过程：执行场景 - 文化建模（即外观），然后给定对知识的知识。目标对，搜索视觉线索，以区分两对之间的相互作用。我们通过基于单个编码器模型统一自下而上的注意力来实现该过程。实验结果表明，我们的模型在V-Coco和Hico-Det数据集上实现了竞争性能。
translated by 谷歌翻译
人类对象的相互作用（HOI）检测在场景理解的背景下受到了很大的关注。尽管基准上的进步越来越高，但我们意识到现有方法通常在遥远的相互作用上表现不佳，其中主要原因是两个方面：1）遥远的相互作用本质上比亲密的相互作用更难以识别。一个自然的场景通常涉及多个人类和具有复杂空间关系的物体，从而使远距离人对象的互动识别很大程度上受到复杂的视觉背景的影响。 2）基准数据集中的远处相互作用不足导致这些实例的合适。为了解决这些问题，在本文中，我们提出了一种新型的两阶段方法，用于更好地处理HOI检测中的遥远相互作用。我们方法中的一个必不可少的组成部分是一个新颖的近距离注意模块。它可以在人类和物体之间进行信息传播，从而熟练考虑空间距离。此外，我们设计了一种新颖的远距离感知损失函数，该功能使模型更加专注于遥远而罕见的相互作用。我们对两个具有挑战性的数据集进行了广泛的实验-HICO-DET和V-COCO。结果表明，所提出的方法可以通过很大的利润来超越现有方法，从而导致新的最新性能。
translated by 谷歌翻译
在图像中检测人对象相互作用（HOI）是迈向高级视觉理解的重要一步。现有工作通常会阐明改善人类和对象检测或互动识别。但是，由于数据集的局限性，这些方法倾向于在检测到的对象的频繁相互作用上非常适合，但在很大程度上忽略了稀有的对象，这被称为本文中的对象偏置问题。在这项工作中，我们第一次从两个方面揭示了问题：不平衡的交互分布和偏见的模型学习。为了克服对象偏置问题，我们提出了一种新颖的插件插件，以对象的偏差记忆（ODM）方法来重新平衡检测到的对象下的交互分布。拟议的ODM配备了精心设计的读写策略，可以更频繁地对训练进行稀有的互动实例，从而减轻不平衡交互分布引起的对象偏差。我们将此方法应用于三个高级基线，并在HICO-DET和HOI-COCO数据集上进行实验。为了定量研究对象偏置问题，我们主张一项新协议来评估模型性能。正如实验结果所证明的那样，我们的方法对基准的一致和显着改善，尤其是在每个物体下方的罕见相互作用上。此外，在评估常规标准设置时，我们的方法在两个基准测试中实现了新的最新方法。
translated by 谷歌翻译
最近的高性能人对象相互作用（HOI）检测技术受到了基于变压器的对象检测器（即DETR）的高度影响。然而，它们中的大多数直接将参数相互作用查询以一阶段的方式通过香草变压器映射到一组HOI预测中。这会使富裕的相互作用结构富含探索。在这项工作中，我们设计了一种新型的变压器风格的HOI检测器，即相互作用建议（STIP）的结构感知变压器，用于HOI检测。这种设计将HOI集预测的过程分解为两个随后的阶段，即首先执行交互建议的生成，然后通过结构感知的变压器将非参数相互作用建议转换为HOI预测。结构感知的变压器通过对互动提案中的整体语义结构以及每个交互建议中人类/对象的局部空间结构进行整体语义结构来升级香草变压器，从而增强HOI预测。在V-Coco和Hico-Det基准测试上进行的广泛实验已经证明了Stip的有效性，并且在与最先进的HOI探测器进行比较时报告了卓越的结果。源代码可在\ url {https://github.com/zyong812/stip}中获得。
translated by 谷歌翻译
大多数最先进的实例级人类解析模型都采用了两阶段的基于锚的探测器，因此无法避免启发式锚盒设计和像素级别缺乏分析。为了解决这两个问题，我们设计了一个实例级人类解析网络，该网络在像素级别上无锚固且可解决。它由两个简单的子网络组成：一个用于边界框预测的无锚检测头和一个用于人体分割的边缘引导解析头。无锚探测器的头继承了像素样的优点，并有效地避免了对象检测应用中证明的超参数的敏感性。通过引入部分感知的边界线索，边缘引导的解析头能够将相邻的人类部分与彼此区分开，最多可在一个人类实例中，甚至重叠的实例。同时，利用了精炼的头部整合盒子级别的分数和部分分析质量，以提高解析结果的质量。在两个多个人类解析数据集（即CIHP和LV-MHP-V2.0）和一个视频实例级人类解析数据集（即VIP）上进行实验，表明我们的方法实现了超过全球级别和实例级别的性能最新的一阶段自上而下的替代方案。
translated by 谷歌翻译
同一场景中的不同对象彼此之间或多或少相关，但是只有有限数量的这些关系值得注意。受到对象检测效果的DETR的启发，我们将场景图生成视为集合预测问题，并提出了具有编码器decoder架构的端到端场景图生成模型RELTR。关于视觉特征上下文的编码器原因是，解码器使用带有耦合主题和对象查询的不同类型的注意机制渗透了一组固定大小的三胞胎主题prodicate-object。我们设计了一套预测损失，以执行地面真相与预测三胞胎之间的匹配。与大多数现有场景图生成方法相反，Reltr是一种单阶段方法，它仅使用视觉外观直接预测一组关系，而无需结合实体并标记所有可能的谓词。视觉基因组和开放图像V6数据集的广泛实验证明了我们模型的出色性能和快速推断。
translated by 谷歌翻译
场景图生成（SGG）由于其复杂的成分特性，仍然是一个具有挑战性的视觉理解任务。大多数以前的作品采用自下而上的两阶段或基于点的单阶段方法，通常遭受开销时间复杂性或次优设计假设。在这项工作中，我们提出了一种新颖的SGG方法来解决上述问题，其将任务制定为双层图形施工问题。为了解决问题，我们开发一个基于变换器的端到端框架，首先生成实体和谓词提议集，然后推断定向边缘以形成关系三态。特别地，我们基于结构谓词发生器开发新的实体感知谓词表示，以利用关系的组成特性。此外，我们设计了一个曲线图组装模块，以推断基于我们的实体感知结构的二分明场景图的连接，使我们能够以端到端的方式生成场景图。广泛的实验结果表明，我们的设计能够在两个具有挑战性的基准上实现最先进的或可比性的性能，超越大多数现有方法，并享受更高的推理效率。我们希望我们的模型可以作为基于变压器的场景图生成的强大基线。
translated by 谷歌翻译
人们在我们的日常互动中互相看待彼此或相互凝视是无处不在的，并且发现相互观察对于理解人类的社会场景具有重要意义。当前的相互视线检测方法集中在两阶段方法上，其推理速度受到两阶段管道的限制，第二阶段的性能受第一阶段的影响。在本文中，我们提出了一个新型的一阶段相互视线检测框架，称为相互视线变压器或MGTR，以端到端的方式执行相互视线检测。通过设计相互视线实例三元，MGTR可以检测每个人头边界框，并基于全局图像信息同时推断相互视线的关系，从而简化整个过程。两个相互视线数据集的实验结果表明，我们的方法能够加速相互视线检测过程而不会失去性能。消融研究表明，MGTR的不同组成部分可以捕获图像中不同级别的语义信息。代码可在https://github.com/gmbition/mgtr上找到
translated by 谷歌翻译
人对象相互作用（HOI）检测在活动理解中起着至关重要的作用。尽管已经取得了重大进展，但交互性学习仍然是HOI检测的一个具有挑战性的问题：现有方法通常会产生冗余的负H-O对提案，并且无法有效提取交互式对。尽管已经在整个身体和部分级别研究了互动率，并促进了H-O配对，但以前的作品仅专注于目标人一次（即，从本地角度来看）并忽略了其他人的信息。在本文中，我们认为同时比较多人的身体零件可以使我们更有用，更补充的互动提示。也就是说，从全球的角度学习身体部分的互动：当对目标人的身体零件互动进行分类时，不仅要从自己/他本人，而且还从图像中的其他人那里探索视觉提示。我们基于自我注意力来构建身体的显着性图，以挖掘交叉人物的信息线索，并学习所有身体零件之间的整体关系。我们评估了广泛使用的基准曲线和V-Coco的建议方法。从我们的新角度来看，整体的全部本地人体互动互动学习可以对最先进的发展取得重大改进。我们的代码可从https://github.com/enlighten0707/body-part-map-for-interactimence获得。
translated by 谷歌翻译
人体对象交互（HOI）检测是高级人以人为中心的场景理解的基本任务。我们提出了短语，其中包含了Hoi分支和一个新型短语分支，以利用语言和改进关系表达。具体而言，短语分支由语义嵌入式监督，其基础事实自动从原始的Hoi注释自动转换，而无需额外的人力努力。同时，提出了一种新颖的标签组合方法来处理会安的长尾问题，由语义邻居复合新型短语标签。此外，为了优化短语分支，提出了由蒸馏损失和平衡三态损耗组成的损失。进行了广泛的实验，以证明拟议的短语疗养的有效性，这使得对基线的显着改善，并超越了以前的最先进的方法，以满足的HICO-DET基准。
translated by 谷歌翻译
场景图是一个场景的结构化表示，可以清楚地表达场景中对象之间的对象，属性和关系。随着计算机视觉技术继续发展，只需检测和识别图像中的对象，人们不再满足。相反，人们期待着对视觉场景更高的理解和推理。例如，给定图像，我们希望不仅检测和识别图像中的对象，还要知道对象之间的关系（视觉关系检测），并基于图像内容生成文本描述（图像标题）。或者，我们可能希望机器告诉我们图像中的小女孩正在做什么（视觉问题应答（VQA）），甚至从图像中移除狗并找到类似的图像（图像编辑和检索）等。这些任务需要更高水平的图像视觉任务的理解和推理。场景图只是场景理解的强大工具。因此，场景图引起了大量研究人员的注意力，相关的研究往往是跨模型，复杂，快速发展的。然而，目前没有对场景图的相对系统的调查。为此，本调查对现行场景图研究进行了全面调查。更具体地说，我们首先总结了场景图的一般定义，随后对场景图（SGG）和SGG的发电方法进行了全面和系统的讨论，借助于先验知识。然后，我们调查了场景图的主要应用，并汇总了最常用的数据集。最后，我们对场景图的未来发展提供了一些见解。我们相信这将是未来研究场景图的一个非常有帮助的基础。
translated by 谷歌翻译
深度学习技术导致了通用对象检测领域的显着突破，近年来产生了很多场景理解的任务。由于其强大的语义表示和应用于场景理解，场景图一直是研究的焦点。场景图生成（SGG）是指自动将图像映射到语义结构场景图中的任务，这需要正确标记检测到的对象及其关系。虽然这是一项具有挑战性的任务，但社区已经提出了许多SGG方法并取得了良好的效果。在本文中，我们对深度学习技术带来了近期成就的全面调查。我们审查了138个代表作品，涵盖了不同的输入方式，并系统地将现有的基于图像的SGG方法从特征提取和融合的角度进行了综述。我们试图通过全面的方式对现有的视觉关系检测方法进行连接和系统化现有的视觉关系检测方法，概述和解释SGG的机制和策略。最后，我们通过深入讨论当前存在的问题和未来的研究方向来完成这项调查。本调查将帮助读者更好地了解当前的研究状况和想法。
translated by 谷歌翻译
本文的目标是人对象交互（HO-I）检测。 HO-I检测旨在找到与图像相互作用的交互和分类。研究人员近年来依靠[5]强大的HO-I对齐监督，近年来取得了重大改善。 Ho-i对齐监督对具有互动对象的人类，然后将人对象对与其交互类别对齐。由于收集这种注释是昂贵的，本文提出了检测HO-I，无需对齐监督。我们依靠图像级监控，只枚举图像中的现有交互而不指向它们发生的位置。我们的论文提出了三个贡献：i）我们提出对齐器，基于Visual-Conversion的CNN，可以检测HO-I，只有图像级监控。 ii）对齐器配有HO-I对齐层，可以学习选择适当的目标以允许检测器监控。 iii）我们在Hico-det [5]和V-Coco [13]上评估对齐 - 前者，并显示对准的是现有的图像水平监督Ho-i探测器的大幅度（4.71％从16.14％的地图改进在Hico-DET [5]上的20.85％）。
translated by 谷歌翻译
分割高度重叠的图像对象是具有挑战性的，因为图像上的真实对象轮廓和遮挡边界之间通常没有区别。与先前的实例分割方法不同，我们将图像形成模拟为两个重叠层的组成，并提出了双层卷积网络（BCNET），其中顶层检测到遮挡对象（遮挡器），而底层则渗透到部分闭塞实例（胶囊）。遮挡关系与双层结构的显式建模自然地将遮挡和遮挡实例的边界解散，并在掩模回归过程中考虑了它们之间的相互作用。我们使用两种流行的卷积网络设计（即完全卷积网络（FCN）和图形卷积网络（GCN））研究了双层结构的功效。此外，我们通过将图像中的实例表示为单独的可学习封闭器和封闭者查询，从而使用视觉变压器（VIT）制定双层解耦。使用一个/两个阶段和基于查询的对象探测器具有各种骨架和网络层选择验证双层解耦合的概括能力，如图像实例分段基准（可可，亲戚，可可）和视频所示实例分割基准（YTVIS，OVIS，BDD100K MOTS），特别是对于重闭塞病例。代码和数据可在https://github.com/lkeab/bcnet上找到。
translated by 谷歌翻译
人类对象相互作用（HOI）检测是高级图像理解的核心任务。最近，由于其出色的性能和有效的结构，检测变压器（DETR）基于HOI的检测器已变得流行。但是，这些方法通常对所有测试图像采用固定的HOI查询，这很容易受到一个特定图像中对象的位置变化的影响。因此，在本文中，我们建议通过挖掘硬阳性查询来增强DETR的鲁棒性，这些查询被迫使用部分视觉提示做出正确的预测。首先，我们根据每个训练图像标记的人类对象对的地面真相（GT）位置明确地组成硬阳性查询。具体而言，我们将每个标记的人类对象对的GT边界框移动，以使移位框仅覆盖GT的一定部分。我们将每个标记的人类对象对的移位框的坐标编码为HOI查询。其次，我们通过在解码器层的交叉注意地图中掩盖了最高分数，从而隐式构建了另一组硬阳性查询。然后，掩盖的注意图仅涵盖HOI预测的部分重要提示。最后，提出了一种替代策略，该策略有效地结合了两种类型的硬性查询。在每次迭代中，都采用了Detr的可学习查询和一种选择的硬阳性查询进行损失计算。实验结果表明，我们提出的方法可以广泛应用于现有的基于DITR的HOI探测器。此外，我们始终在三个基准上实现最先进的性能：HICO-DET，V-COCO和HOI-A。代码可在https://github.com/muchhair/hqm上找到。
translated by 谷歌翻译
在本文中，我们提出了端到端的结构化多峰关注（SMA）神经网络，主要解决了上述前两个问题。 SMA首先使用结构图表示来编码图像中出现的对象对象，对象文本和文本文本关系，然后设计多模式图注意网络以推理它。最后，由上述模块的输出由全局本地注意力应答模块处理，以通过跟随M4C迭代地生成从两个OCR和常规词汇拼接的答案。我们所提出的模型优于TextVQA数据集上的SOTA模型以及除基于预先训练的水龙头之外的所有模型中的所有模型中的ST-VQA数据集的两个任务。展示了强大的推理能力，它还在TextVQA挑战中获得了第一名的第一名。我们在几种推理模型中广泛测试了不同的OCR方法，并调查了逐步提高了OCR性能对TextVQA基准的影响。通过更好的OCR结果，不同的型号对VQA准确性的戏剧性提高，但我们的模型受益最强烈的文本视觉推理能力。要授予我们的方法，并为进一步作品提供公平的测试基础，我们还为TextVQA数据集提供人为的地面实际OCR注释，这些ocr注释未在原始版本中提供。 TextVQA数据集的代码和地面ocr注释在https://github.com/chenyugao-cs/sma提供
translated by 谷歌翻译
用于视觉数据的变压器模型的最新进程导致识别和检测任务的显着改进。特别是，使用学习查询代替区域建议，这已经引起了一种新的一类单级检测模型，由检测变压器（DETR）。这种单阶段方法的变化已经主导了人对象相互作用（HOI）检测。然而，这种单阶段Hoi探测器的成功可以很大程度上被归因于变压器的表示力。我们发现，当配备相同的变压器时，他们的两级同行可以更加性能和记忆力，同时取得一小部分训练。在这项工作中，我们提出了一对成对变压器，这是一个用于HOI的一元和成对表示的两级检测器。我们观察到我们的变压器网络的一对和成对部分专门化，前者优先增加积极示例的分数，后者降低了阴性实例的分数。我们评估我们在HiCO-DET和V-Coco数据集上的方法，并显着优于最先进的方法。在推理时间内，我们使用RESET50的模型在单个GPU上接近实时性能。
translated by 谷歌翻译
图像字幕显示可以通过使用场景图来表示图像中对象的关系来实现更好的性能。当前字幕编码器通常使用图形卷积网（GCN）来表示关系信息，并通过串联或卷积将其与对象区域特征合并，以获取句子解码的最终输入。但是，由于两个原因，现有方法中基于GCN的编码器在字幕上的有效性较小。首先，使用图像字幕作为目标（即最大似然估计），而不是以关系为中心的损失无法完全探索编码器的潜力。其次，使用预训练的模型代替编码器本身提取关系不是灵活的，并且不能有助于模型的解释性。为了提高图像字幕的质量，我们提出了一个新颖的体系结构改革者 - 一种关系变压器，可以生成具有嵌入关系信息的功能，并明确表达图像中对象之间的成对关系。改革者将场景图的生成目标与使用一个修改后的变压器模型的图像字幕结合在一起。这种设计使改革者不仅可以通过提取强大的关系图像特征的利益生成更好的图像标题，还可以生成场景图，以明确描述配对关系。公开可用数据集的实验表明，我们的模型在图像字幕和场景图生成上的最先进方法明显优于最先进的方法
translated by 谷歌翻译
人对象交互（HOI）检测作为对象检测任务的下游需要本地化人和对象，并从图像中提取人类和对象之间的语义关系。最近，由于其高效率，一步方法已成为这项任务的新趋势。然而，这些方法侧重于检测可能的交互点或过滤人对象对，忽略空间尺度处的不同物体的位置和大小的可变性。为了解决这个问题，我们提出了一种基于变压器的方法，Qahoi（用于人对象交互检测的查询锚点），它利用了多尺度架构来提取来自不同空间尺度的特征，并使用基于查询的锚来预测全部Hoi实例的元素。我们进一步调查了强大的骨干，显着提高了QAHOI的准确性，QAHOI与基于变压器的骨干优于最近的最近最先进的方法，通过HICO-DEC基准。源代码以$ \ href {https://github.com/cjw2021/qhoii} {\ text {this https url}} $。
translated by 谷歌翻译
检测人对象相互作用对于全面了解视觉场景至关重要。特别是，人与物体之间的空间连接是推理相互作用的重要提示。为此，我们提出了一个用于人类对象相互作用检测的骨骼感知图卷积网络，称为SGCN4HOI。我们的网络利用了人类关键点和对象关键点之间的空间连接，以通过图卷积捕获其细粒的结构相互作用。它将此类几何特征与视觉特征和空间配置特征融合在一起，并从人类对象对获得。此外，为了更好地保留对象结构信息并促进人类对象的相互作用检测，我们提出了一种新型的基于骨架的对象关键点表示。 SGCN4HOI的性能在公共基准V-Coco数据集中进行了评估。实验结果表明，所提出的方法的表现优于最先进的姿势模型，并针对其他模型实现竞争性能。
translated by 谷歌翻译