Open world object detection aims at detecting objects that are absent in the object classes of the training data as unknown objects without explicit supervision. Furthermore, the exact classes of the unknown objects must be identified without catastrophic forgetting of the previous known classes when the corresponding annotations of unknown objects are given incrementally. In this paper, we propose a two-stage training approach named Open World DETR for open world object detection based on Deformable DETR. In the first stage, we pre-train a model on the current annotated data to detect objects from the current known classes, and concurrently train an additional binary classifier to classify predictions into foreground or background classes. This helps the model to build an unbiased feature representations that can facilitate the detection of unknown classes in subsequent process. In the second stage, we fine-tune the class-specific components of the model with a multi-view self-labeling strategy and a consistency constraint. Furthermore, we alleviate catastrophic forgetting when the annotations of the unknown classes becomes available incrementally by using knowledge distillation and exemplar replay. Experimental results on PASCAL VOC and MS-COCO show that our proposed method outperforms other state-of-the-art open world object detection methods by a large margin.

开放世界对象检测（OWOD）是一个具有挑战性的计算机视觉问题，其中任务是检测一组已知的对象类别，同时识别未知对象。此外，该模型必须逐步学习在下一个培训集中所知的新类。不同于标准对象检测，OWOD设置会对在潜在的未知物体上生成质量候选建议的质量挑战，将未知物体与背景中的未知物体分开并检测不同的未知物体。在这里，我们介绍了一种新的基于端到端的变换器的框架OW-DETR，用于开放世界对象检测。建议的OW-DETR包括三个专用组成部分，即注意力驱动的伪标签，新颖性分类和对象评分，以明确地解决上述OWOD挑战。我们的OW-DETR明确地编码了多尺度上下文信息，具有较少的归纳偏差，使得从已知类传输到未知类，并且可以更好地区分未知对象和背景之间。综合实验是对两个基准进行的：MS-Coco和Pascal VOC。广泛的消融揭示了我们拟议的贡献的优点。此外，我们的模型优于最近引入的OWOD方法矿石，绝对增益在MS-Coco基准测试中的未知召回方面的1.8％至3.3％。在增量对象检测的情况下，OW-DETR以Pascal VOC基准上的所有设置优于最先进的。我们的代码和模型将公开发布。

Open World Object Detection (OWOD) is a new and challenging computer vision task that bridges the gap between classic object detection (OD) benchmarks and object detection in the real world. In addition to detecting and classifying seen/labeled objects, OWOD algorithms are expected to detect novel/unknown objects - which can be classified and incrementally learned. In standard OD, object proposals not overlapping with a labeled object are automatically classified as background. Therefore, simply applying OD methods to OWOD fails as unknown objects would be predicted as background. The challenge of detecting unknown objects stems from the lack of supervision in distinguishing unknown objects and background object proposals. Previous OWOD methods have attempted to overcome this issue by generating supervision using pseudo-labeling - however, unknown object detection has remained low. Probabilistic/generative models may provide a solution for this challenge. Herein, we introduce a novel probabilistic framework for objectness estimation, where we alternate between probability distribution estimation and objectness likelihood maximization of known objects in the embedded feature space - ultimately allowing us to estimate the objectness probability of different proposals. The resulting Probabilistic Objectness transformer-based open-world detector, PROB, integrates our framework into traditional object detection models, adapting them for the open-world setting. Comprehensive experiments on OWOD benchmarks show that PROB outperforms all existing OWOD methods in both unknown object detection ($\sim 2\times$ unknown recall) and known object detection ($\sim 10\%$ mAP). Our code will be made available upon publication at https://github.com/orrzohar/PROB.

开放世界对象检测（OWOD）是一个具有挑战性的计算机视觉问题，需要检测未知对象并逐渐学习已确定的未知类别。但是，它不能将未知实例区分为多个未知类。在这项工作中，我们提出了一个新颖的OWOD问题，称为未知分类的开放世界对象检测（UC-OWOD）。 UC-OWOD旨在检测未知实例并将其分类为不同的未知类别。此外，我们制定问题并设计一个两阶段的对象检测器来解决UC-OWOD。首先，使用未知的标签意见建议和未知歧视性分类头用于检测已知和未知对象。然后，构建基于相似性的未知分类和未知聚类改进模块，以区分多个未知类别。此外，设计了两个新颖的评估方案，以评估未知类别的检测。丰富的实验和可视化证明了该方法的有效性。代码可在https://github.com/johnwuzh/uc-owod上找到。

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

Open-vocabulary object detection, which is concerned with the problem of detecting novel objects guided by natural language, has gained increasing attention from the community. Ideally, we would like to extend an open-vocabulary detector such that it can produce bounding box predictions based on user inputs in form of either natural language or exemplar image. This offers great flexibility and user experience for human-computer interaction. To this end, we propose a novel open-vocabulary detector based on DETR -- hence the name OV-DETR -- which, once trained, can detect any object given its class name or an exemplar image. The biggest challenge of turning DETR into an open-vocabulary detector is that it is impossible to calculate the classification cost matrix of novel classes without access to their labeled images. To overcome this challenge, we formulate the learning objective as a binary matching one between input queries (class name or exemplar image) and the corresponding objects, which learns useful correspondence to generalize to unseen queries during testing. For training, we choose to condition the Transformer decoder on the input embeddings obtained from a pre-trained vision-language model like CLIP, in order to enable matching for both text and image queries. With extensive experiments on LVIS and COCO datasets, we demonstrate that our OV-DETR -- the first end-to-end Transformer-based open-vocabulary detector -- achieves non-trivial improvements over current state of the arts.

用于对象检测的注释边界框很昂贵，耗时且容易出错。在这项工作中，我们提出了一个基于DITR的框架，该框架旨在在部分注释的密集场景数据集中明确完成丢失的注释。这减少了注释场景中的每个对象实例，从而降低注释成本。完成DETR解码器中的对象查询，并使用图像中对象的补丁信息。结合匹配损失，它可以有效地找到与输入补丁相似的对象并完成丢失的注释。我们表明，我们的框架优于最先进的方法，例如软采样和公正的老师，同时可以与这些方法一起使用以进一步提高其性能。我们的框架对下游对象探测器的选择也不可知。我们显示了多个流行探测器的性能改进，例如在多个密集的场景数据集中更快的R-CNN，CASCADE R-CNN，CENTERNET2和可变形的DETR。

在真实世界的环境中，可以通过对象检测器连续遇到来自新类的对象实例。当现有的对象探测器应用于这种情况时，它们在旧课程上的性能显着恶化。据报道，一些努力解决了这个限制，所有这些限制适用于知识蒸馏的变体，以避免灾难性的遗忘。我们注意到虽然蒸馏有助于保留以前的学习，但它阻碍了对新任务的快速适应性，这是增量学习的关键要求。在这种追求中，我们提出了一种学习方法，可以学习重塑模型梯度，使得跨增量任务的信息是最佳的共享。这可通过META学习梯度预处理来确保无缝信息传输，可最大限度地减少遗忘并最大化知识传输。与现有的元学习方法相比，我们的方法是任务不可知，允许将新类的增量添加到对象检测的高容量模型中。我们在Pascal-VOC和MS Coco Datasets上定义的各种增量学习设置中评估了我们的方法，我们的方法对最先进的方法进行了好评。

最近对物体检测的自我监督预防方法在很大程度上专注于预先绘制物体探测器的骨干，忽略了检测架构的关键部分。相反，我们介绍了DetReg，这是一种新的自我监督方法，用于预先列出整个对象检测网络，包括对象本地化和嵌入组件。在预先绘制期间，DetReg预测对象本地化以与无监督区域提议生成器匹配本地化，并同时将相应的特征嵌入与自我监控图像编码器的嵌入式对齐。我们使用DETR系列探测器实施DetReg，并显示它在Coco，Pascal VOC和空中客车船基准上的Fineetuned时改善了竞争性基线。在低数据制度中，包括半监督和几秒钟学习设置，DetReg建立了许多最先进的结果，例如，在Coco上，我们看到10次检测和+3.5的AP改进A +6.0 AP改进当培训只有1％的标签时。对于代码和预用模型，请访问https://amirbar.net/detreg的项目页面

由于新型神经网络体系结构的设计和大规模数据集的可用性，对象检测方法在过去几年中取得了令人印象深刻的改进。但是，当前的方法有一个重要的限制：他们只能检测到在训练时间内观察到的类，这只是检测器在现实世界中可能遇到的所有类的子集。此外，在训练时间通常不考虑未知类别的存在，从而导致方法甚至无法检测到图像中存在未知对象。在这项工作中，我们解决了检测未知对象的问题，称为开放集对象检测。我们提出了一种名为Unkad的新颖培训策略，能够预测未知的对象，而无需对其进行任何注释，利用训练图像背景中已经存在的非注释对象。特别是，unkad首先利用更快的R-CNN的四步训练策略，识别和伪标签未知对象，然后使用伪通量来训练其他未知类。尽管UNKAD可以直接检测未知的对象，但我们将其与以前未知的检测技术相结合，表明它不成本就可以提高其性能。

打开世界对象检测（OWOD），模拟知识持续增长的真正动态世界，试图检测已知和未知的类别，并逐步学习所识别的未知组。我们发现，尽管以前的欧瓦德工作建设性地提出了OWOD定义，但实验设置与不合逻辑的基准，令人困惑的度量计算和不当方法是不合理的。在本文中，我们重新思考OWOD实验环境，并提出了五项基本基准原则，以指导OWOD基准建设。此外，我们设计了两个特定于OWOD问题的公平评估协议，从未知课程的角度填充了评估的空白。此外，我们介绍了一个新颖且有效的OWOD框架，其中包含辅助提案顾问（PAD）和特定于类驱逐分类器（CEC）。非参数垫可以帮助RPN识别无需监控的准确未知提案，而CEC通过特定于类的驱逐函数校准过自信的激活边界并滤除令人困惑的预测。在我们的公平基准上进行的综合实验表明，我们的方法在现有的和我们的新指标方面表明了其他最先进的对象检测方法。\脚注{我们的基准和代码可在https://github.com提供/重新驱动/重新驱动。

什么构成一个物体？这是计算机愿景中的长期问题。为了实现这一目标，已经开发了许多基于学习的基于学习的方法来得分对象。但是，它们通常不会划过新域和未经看不见的对象。在本文中，我们倡导现有方法缺乏由人类可理解的语义管理的自上而下的监督信号。为了弥合这一差距，我们探索了已经用对齐的图像文本对培训的多模态视觉变压器（MVIT）。我们对各个域和新型对象的广泛实验显示了MVITS的最先进的性能，以使图像中的通用对象本地化。基于这些发现，我们使用多尺度特征处理和可变形的自我关注来开发一种高效且灵活的MVIT架构，可以自适应地生成给定特定语言查询的提议。我们展示了MVIT提案在各种应用中的重要性，包括开放世界对象检测，突出和伪装对象检测，监督和自我监督的检测任务。此外，MVITS提供了具有可理解文本查询的增强的交互性。代码：https://git.io/j1hpy。

Scaling object taxonomies is one of the important steps toward a robust real-world deployment of recognition systems. We have faced remarkable progress in images since the introduction of the LVIS benchmark. To continue this success in videos, a new video benchmark, TAO, was recently presented. Given the recent encouraging results from both detection and tracking communities, we are interested in marrying those two advances and building a strong large vocabulary video tracker. However, supervisions in LVIS and TAO are inherently sparse or even missing, posing two new challenges for training the large vocabulary trackers. First, no tracking supervisions are in LVIS, which leads to inconsistent learning of detection (with LVIS and TAO) and tracking (only with TAO). Second, the detection supervisions in TAO are partial, which results in catastrophic forgetting of absent LVIS categories during video fine-tuning. To resolve these challenges, we present a simple but effective learning framework that takes full advantage of all available training data to learn detection and tracking while not losing any LVIS categories to recognize. With this new learning scheme, we show that consistent improvements of various large vocabulary trackers are capable, setting strong baseline results on the challenging TAO benchmarks.

通过将元学习纳入基于区域的检测框架中，很少有射击对象检测经过广泛的研究。尽管取得了成功，但所述范式仍然受到几个因素的限制，例如（i）新型类别的低质量区域建议以及（ii）不同类别之间的类间相关性的过失。这种限制阻碍了基础知识的概括，以检测新型级别对象。在这项工作中，我们设计了元数据，（i）是第一个图像级的少量检测器，（ii）引入了一种新颖的类间相关元学习策略，以捕获和利用不同类别之间的相关性的相关性稳健而准确的几个射击对象检测。 meta-detr完全在图像级别工作，没有任何区域建议，这规避了普遍的几杆检测框架中不准确的建议的约束。此外，引入的相关元学习使元数据能够同时参加单个进料中的多个支持类别，从而可以捕获不同类别之间的类间相关性，从而大大降低了相似类别的错误分类并增强知识概括性参加新颖的课程。对多个射击对象检测基准进行的实验表明，所提出的元元删除优于大幅度的最先进方法。实施代码可在https://github.com/zhanggongjie/meta-detr上获得。

对象检测是计算机视觉和图像处理中的基本任务。基于深度学习的对象探测器非常成功，具有丰富的标记数据。但在现实生活中，它不保证每个对象类别都有足够的标记样本进行培训。当训练数据有限时，这些大型物体探测器易于过度装备。因此，有必要将几次拍摄的学习和零射击学习引入对象检测，这可以将低镜头对象检测命名在一起。低曝光对象检测（LSOD）旨在检测来自少数甚至零标记数据的对象，其分别可以分为几次对象检测（FSOD）和零拍摄对象检测（ZSD）。本文对基于深度学习的FSOD和ZSD进行了全面的调查。首先，本调查将FSOD和ZSD的方法分类为不同的类别，并讨论了它们的利弊。其次，本调查审查了数据集设置和FSOD和ZSD的评估指标，然后分析了在这些基准上的不同方法的性能。最后，本调查讨论了FSOD和ZSD的未来挑战和有希望的方向。

Few Shot Instance Segmentation (FSIS) requires models to detect and segment novel classes with limited several support examples. In this work, we explore a simple yet unified solution for FSIS as well as its incremental variants, and introduce a new framework named Reference Twice (RefT) to fully explore the relationship between support/query features based on a Transformer-like framework. Our key insights are two folds: Firstly, with the aid of support masks, we can generate dynamic class centers more appropriately to re-weight query features. Secondly, we find that support object queries have already encoded key factors after base training. In this way, the query features can be enhanced twice from two aspects, i.e., feature-level and instance-level. In particular, we firstly design a mask-based dynamic weighting module to enhance support features and then propose to link object queries for better calibration via cross-attention. After the above steps, the novel classes can be improved significantly over our strong baseline. Additionally, our new framework can be easily extended to incremental FSIS with minor modification. When benchmarking results on the COCO dataset for FSIS, gFSIS, and iFSIS settings, our method achieves a competitive performance compared to existing approaches across different shots, e.g., we boost nAP by noticeable +8.2/+9.4 over the current state-of-the-art FSIS method for 10/30-shot. We further demonstrate the superiority of our approach on Few Shot Object Detection. Code and model will be available.

传统的检测网络通常需要丰富的标记训练样本，而人类可以只有几个例子逐步学习新概念。本文侧重于更具挑战性，而是逼真的类渐进的少量对象检测问题（IFSD）。它旨在逐渐逐渐地将新型对象的模型转移到几个注释的样本中，而不会灾难性地忘记先前学识的样本。为了解决这个问题，我们提出了一种新的方法，最小的方法可以减少遗忘，更少的培训资源和更强的转移能力。具体而言，我们首先介绍转移策略，以减少不必要的重量适应并改善IFSD的传输能力。在此基础上，我们使用较少的资源消耗方法整合知识蒸馏技术来缓解遗忘，并提出基于新的基于聚类的示例选择过程，以保持先前学习的更多辨别特征。作为通用且有效的方法，最多可以在很大程度上提高各种基准测试的IFSD性能。

弱监督的对象检测（WSOD）是一项任务，可使用仅在图像级注释上训练的模型来检测图像中的对象。当前的最新模型受益于自我监督的实例级别的监督，但是由于弱监督不包括计数或位置信息，因此最常见的``Argmax''标签方法通常忽略了许多对象实例。为了减轻此问题，我们提出了一种新颖的多个实例标记方法，称为对象发现。我们进一步在弱监督下引入了新的对比损失，在该监督下，没有实例级信息可用于采样，称为弱监督对比损失（WSCL）。WSCL旨在通过利用一致的功能来嵌入同一类中的向量来构建对象发现的可靠相似性阈值。结果，我们在2014年和2017年MS-Coco以及Pascal VOC 2012上取得了新的最新结果，并在Pascal VOC 2007上取得了竞争成果。

弱监督的对象检测（WSOD）使对象检测器能够使用图像级类标签训练对象检测器。但是，当前WSOD模型的实际应用是有限的，因为它们在小规模上运行，需要进行广泛的培训和精致。我们提出了弱监督的检测变压器，该变压器可以有效地从大规模预处理数据集到数百个新物体的WSOD列表有效地转移。我们利用预处理的知识来改善WSOD中使用的多个实例学习框架，并且实验表明我们的方法的表现优于数据集上的最新方法，其新颖类是本文的两倍。

零拍摄对象检测（ZSD），将传统检测模型扩展到检测来自Unseen类别的对象的任务，已成为计算机视觉中的新挑战。大多数现有方法通过严格的映射传输策略来解决ZSD任务，这可能导致次优ZSD结果：1）这些模型的学习过程忽略了可用的看不见的类信息，因此可以轻松地偏向所看到的类别; 2）原始视觉特征空间并不合适，缺乏歧视信息。为解决这些问题，我们开发了一种用于ZSD的新型语义引导的对比网络，命名为Contrastzsd，一种检测框架首先将对比学习机制带入零拍摄检测的领域。特别地，对比度包括两个语义导向的对比学学习子网，其分别与区域类别和区域区域对之间形成对比。成对对比度任务利用从地面真理标签和预定义的类相似性分布派生的附加监督信号。在那些明确的语义监督的指导下，模型可以了解更多关于看不见的类别的知识，以避免看到概念的偏见问题，同时优化视觉功能的数据结构，以更好地辨别更好的视觉语义对齐。广泛的实验是在ZSD，即Pascal VOC和MS Coco的两个流行基准上进行的。结果表明，我们的方法优于ZSD和广义ZSD任务的先前最先进的。