Amodal完成是人类轻松执行的可视任务，但计算机视觉算法很难。目的是分割那些被遮挡的对象边界，因此是不可见的。对于深度神经网络，此任务特别具有挑战性，因为数据难以获得和注释。因此，我们将Amodal分段标记为任务和分发外概括问题。具体而言，我们用神经网络特征的贝叶斯生成模型替换神经网络中的完全连接的分类器。该模型仅使用边界框注释和类标签从非遮挡图像培训，但应用于概括任务到对象分段，并概括分发到段封闭对象。我们展示这种贝叶斯模型在学习之前的培训任务标签之外，这些模型如何超出培训任务标签。此外，通过利用异常过程，贝叶斯模型可以进一步概括分配以分配部分闭塞物体并预测其散阳物体边界。我们的算法优于使用相同的监控的替代方法，甚至优于在训练期间使用注释的Amodal分段的方法，当闭塞量大时。代码在https://github.com/yihongsun/bayesian-amodal公开。

我们考虑了单个RGB图像的类别级别6D姿势估计的问题。我们的方法代表对象类别作为Cuboid网格，并了解每个网格顶点的神经特征激活的生成模型，以通过可区分的渲染执行姿势估计。基于渲染的方法的一个常见问题是，它们依靠边界框建议，这些建议不会传达有关对象3D旋转的信息，并且当对象被部分遮挡时不可靠。取而代之的是，我们引入了一种粗到1的优化策略，该策略利用渲染过程来估算一组稀疏的6D对象建议集，随后通过基于梯度的优化进行了完善。实现我们方法融合的关键是一种神经特征表示，训练了使用对比度学习的尺度和旋转不变的训练。我们的实验表明，与先前的工作相比，尤其是在强烈的部分遮挡下，类别级别的6D姿势估计性能增强。

现有的计算机视觉系统可以与人类竞争，以理解物体的可见部分，但在描绘部分被遮挡物体的无形部分时，仍然远远远远没有达到人类。图像Amodal的完成旨在使计算机具有类似人类的Amodal完成功能，以了解完整的对象，尽管该对象被部分遮住。这项调查的主要目的是对图像Amodal完成领域的研究热点，关键技术和未来趋势提供直观的理解。首先，我们对这个新兴领域的最新文献进行了全面的评论，探讨了图像Amodal完成中的三个关键任务，包括Amodal形状完成，Amodal外观完成和订单感知。然后，我们检查了与图像Amodal完成有关的流行数据集及其共同的数据收集方法和评估指标。最后，我们讨论了现实世界中的应用程序和未来的研究方向，以实现图像的完成，从而促进了读者对现有技术和即将到来的研究趋势的挑战的理解。

我们呈现深度区域竞争（DRC），这是一种旨在以完全无监督的方式从图像中提取前景对象的算法。前景提取可以被视为一种特殊的泛型图像分段的情况，专注于从背景中识别和解开对象。在这项工作中，我们通过以专家（MOE）的混合形式的生成图像建模和生成图像建模来重新思考前景提取，我们进一步介绍了学习的像素重新分配作为捕获规律的基本诱导偏差背景区域。通过这种建模，可以通过期望最大化（EM）自然地发现前景背景分区。我们表明，该方法有效利用了在分区过程中混合成分之间的相互作用，该分区过程紧密地连接到区域竞争，是通用图像分割的一个精细方法。实验表明，与现有方法相比，DRC在复杂的真实数据上表现出更具竞争力的性能和具有挑战性的多对象场景。此外，我们认为，即使在训练期间看不见的类别，DRC也可能概括为新的前景物体。

自从深度神经网络被广泛应用以来，计算病理学领域已经取得了巨大的进步。这些网络通常需要大量注释的数据来训练大量参数。但是，注释大型组织病理学数据集需要大量精力。我们引入了一个轻巧且可解释的模型，用于核检测和弱监督的分割。它仅需要在孤立的核上进行注释，而不是数据集中的所有核。此外，这是一个生成的组成模型，首先定位核的一部分，然后学习各部分的空间相关性，以进一步定位核。这个过程在预测中带来了可解释性。内部数据集的经验结果表明，在检测中，提出的方法比其深层网络对应物获得了可比性或更好的性能，尤其是在注释数据受到限制的情况下。它还优于流行的弱监督分割方法。提出的方法可能是深度学习方法渴望数据问题的替代解决方案。

分割高度重叠的图像对象是具有挑战性的，因为图像上的真实对象轮廓和遮挡边界之间通常没有区别。与先前的实例分割方法不同，我们将图像形成模拟为两个重叠层的组成，并提出了双层卷积网络（BCNET），其中顶层检测到遮挡对象（遮挡器），而底层则渗透到部分闭塞实例（胶囊）。遮挡关系与双层结构的显式建模自然地将遮挡和遮挡实例的边界解散，并在掩模回归过程中考虑了它们之间的相互作用。我们使用两种流行的卷积网络设计（即完全卷积网络（FCN）和图形卷积网络（GCN））研究了双层结构的功效。此外，我们通过将图像中的实例表示为单独的可学习封闭器和封闭者查询，从而使用视觉变压器（VIT）制定双层解耦。使用一个/两个阶段和基于查询的对象探测器具有各种骨架和网络层选择验证双层解耦合的概括能力，如图像实例分段基准（可可，亲戚，可可）和视频所示实例分割基准（YTVIS，OVIS，BDD100K MOTS），特别是对于重闭塞病例。代码和数据可在https://github.com/lkeab/bcnet上找到。

We propose EM-PASTE: an Expectation Maximization(EM) guided Cut-Paste compositional dataset augmentation approach for weakly-supervised instance segmentation using only image-level supervision. The proposed method consists of three main components. The first component generates high-quality foreground object masks. To this end, an EM-like approach is proposed that iteratively refines an initial set of object mask proposals generated by a generic region proposal method. Next, in the second component, high-quality context-aware background images are generated using a text-to-image compositional synthesis method like DALL-E. Finally, the third component creates a large-scale pseudo-labeled instance segmentation training dataset by compositing the foreground object masks onto the original and generated background images. The proposed approach achieves state-of-the-art weakly-supervised instance segmentation results on both the PASCAL VOC 2012 and MS COCO datasets by using only image-level, weak label information. In particular, it outperforms the best baseline by +7.4 and +2.8 mAP0.50 on PASCAL and COCO, respectively. Further, the method provides a new solution to the long-tail weakly-supervised instance segmentation problem (when many classes may only have few training samples), by selectively augmenting under-represented classes.

当前的3D分割方法很大程度上依赖于大规模的点状数据集，众所周知，这些数据集众所周知。很少有尝试规避需要每点注释的需求。在这项工作中，我们研究了弱监督的3D语义实例分割。关键的想法是利用3D边界框标签，更容易，更快地注释。确实，我们表明只有仅使用边界框标签训练密集的分割模型。在我们方法的核心上，\ name {}是一个深层模型，灵感来自经典的霍夫投票，直接投票赞成边界框参数，并且是专门针对边界盒票的专门定制的群集方法。这超出了常用的中心票，这不会完全利用边界框注释。在扫描仪测试中，我们弱监督的模型在其他弱监督的方法中获得了领先的性能（+18 MAP@50）。值得注意的是，它还达到了当前完全监督模型的50分数的地图的97％。为了进一步说明我们的工作的实用性，我们在最近发布的Arkitscenes数据集中训练Box2mask，该数据集仅使用3D边界框注释，并首次显示引人注目的3D实例细分掩码。

我们提出了一种在数据样本集合中共同推断标签的方法，其中每个样本都包含一个观察和对标签的先验信念。通过隐式假设存在一种生成模型，可区分预测因子是后部，我们得出了一个训练目标，该目标允许在弱信念下学习。该配方统一了各种机器学习设置；弱信念可以以嘈杂或不完整的标签形式出现，由辅助输入的不同预测机制给出的可能性，或反映出有关手头问题结构的知识的常识性先验。我们证明了有关各种问题的建议算法：通过负面培训示例进行分类，从排名中学习，弱和自我监督的空中成像细分，视频框架的共段以及粗糙的监督文本分类。

以对象为中心的表示是通过提供柔性抽象可以在可以建立的灵活性抽象来实现更系统的推广的有希望的途径。最近的简单2D和3D数据集的工作表明，具有对象的归纳偏差的模型可以学习段，并代表单独的数据的统计结构中的有意义对象，而无需任何监督。然而，尽管使用越来越复杂的感应偏差（例如，用于场景的尺寸或3D几何形状），但这种完全无监督的方法仍然无法扩展到不同的现实数据。在本文中，我们采取了弱监督的方法，并专注于如何使用光流的形式的视频数据的时间动态，2）调节在简单的对象位置上的模型可以用于启用分段和跟踪对象在明显更现实的合成数据中。我们介绍了一个顺序扩展，以便引入我们训练的推出，我们训练用于预测现实看的合成场景的光流，并显示调节该模型的初始状态在一小组提示，例如第一帧中的物体的质量中心，是足以显着改善实例分割。这些福利超出了新型对象，新颖背景和更长的视频序列的培训分配。我们还发现，在推论期间可以使用这种初始状态调节作为对特定物体或物体部分的型号查询模型，这可能会为一系列弱监管方法铺平，并允许更有效的互动训练有素的型号。

代表物体粒度的场景是场景理解和决策的先决条件。我们提出PrisMoNet，一种基于先前形状知识的新方法，用于学习多对象3D场景分解和来自单个图像的表示。我们的方法学会在平面曲面上分解具有多个对象的合成场景的图像，进入其组成场景对象，并从单个视图推断它们的3D属性。经常性编码器从输入的RGB图像中回归3D形状，姿势和纹理的潜在表示。通过可差异化的渲染，我们培训我们的模型以自我监督方式从RGB-D图像中分解场景。 3D形状在功能空间中连续表示，作为我们以监督方式从示例形状预先训练的符号距离函数。这些形状的前沿提供弱监管信号，以更好地条件挑战整体学习任务。我们评估我们模型在推断3D场景布局方面的准确性，展示其生成能力，评估其对真实图像的概括，并指出了学习的表示的益处。

Semantic labelling and instance segmentation are two tasks that require particularly costly annotations. Starting from weak supervision in the form of bounding box detection annotations, we propose a new approach that does not require modification of the segmentation training procedure. We show that when carefully designing the input labels from given bounding boxes, even a single round of training is enough to improve over previously reported weakly supervised results. Overall, our weak supervision approach reaches ∼ 95% of the quality of the fully supervised model, both for semantic labelling and instance segmentation.

本文提出了一个自我监督的目标，用于学习表征，将对象定位在遮挡下 - 一种被称为对象永久的属性。一个中心问题是在全部阻塞的情况下选择学习信号。我们没有直接监督看不见的对象的位置，而是提出一个自制的目标，该目标既不需要人类注释，也不需要对对象动态的假设。我们表明，对象永久性可以通过优化内存的时间连贯性来出现：我们沿着马尔可夫沿着记忆的时空图，每个时间步骤中的状态都是序列编码器中的非马克维亚特征。这导致了存储器表示，该内存表示存储遮挡的对象并预测其运动，以更好地本地化。最终的模型在数个复杂性和现实主义的数据集上的现有方法优于现有方法，尽管需要最少的监督，从而广泛适用。

本文推动了在图像中分解伪装区域的信封，成了有意义的组件，即伪装的实例。为了促进伪装实例分割的新任务，我们将在数量和多样性方面引入DataSet被称为Camo ++，该数据集被称为Camo ++。新数据集基本上增加了具有分层像素 - 明智的地面真理的图像的数量。我们还为伪装实例分割任务提供了一个基准套件。特别是，我们在各种场景中对新构造的凸轮++数据集进行了广泛的评估。我们还提出了一种伪装融合学习（CFL）伪装实例分割框架，以进一步提高最先进的方法的性能。数据集，模型，评估套件和基准测试将在我们的项目页面上公开提供：https://sites.google.com/view/ltnghia/research/camo_plus_plus

盒子监督的实例分割最近吸引了大量的研究工作，而在空中图像域中则收到很少的关注。与通用物体集合相比，空中对象具有大型内部差异和阶级相似性与复杂的背景。此外，高分辨率卫星图像中存在许多微小的物体。这使得最近的一对亲和力建模方法不可避免地涉及具有劣势的噪声监督。为了解决这些问题，我们提出了一种新颖的空中实例分割方法，该方法驱动网络为空中对象的一系列级别设置功能，只有盒子注释以端到端的方式。具有精心设计的能量函数的级别集方法而不是学习成对亲和力将对象分段视为曲线演进，这能够准确地恢复对象的边界并防止来自无法区分的背景和类似对象的干扰。实验结果表明，所提出的方法优于最先进的盒子监督实例分段方法。源代码可在https://github.com/liwentomng/boxLevelset上获得。

在培训深层网络中进行部分分割的重要瓶颈是获得详细注释的成本。我们提出了一个框架，以利用粗糙标签，例如图形地面蒙版和关键点位置，这些位置容易用于某些类别以改善零件分割模型。一个关键的挑战是，这些注释是针对不同任务和不同的标签样式收集的，并且不能轻易地映射到零件标签上。为此，我们建议共同学习标签样式与部分分割模型之间的依赖关系，从而使我们能够利用来自不同标签的监督。为了评估我们的方法，我们在Caltech-UCSD鸟类和OID飞机数据集上开发了基准。我们的方法优于基于多任务学习，半监督学习和竞争方法的基准，这些方法依赖于手动设计的损失功能，以利用稀疏的supervision。

The goal of this paper is to estimate the 6D pose and dimensions of unseen object instances in an RGB-D image. Contrary to "instance-level" 6D pose estimation tasks, our problem assumes that no exact object CAD models are available during either training or testing time. To handle different and unseen object instances in a given category, we introduce Normalized Object Coordinate Space (NOCS)-a shared canonical representation for all possible object instances within a category. Our region-based neural network is then trained to directly infer the correspondence from observed pixels to this shared object representation (NOCS) along with other object information such as class label and instance mask. These predictions can be combined with the depth map to jointly estimate the metric 6D pose and dimensions of multiple objects in a cluttered scene. To train our network, we present a new contextaware technique to generate large amounts of fully annotated mixed reality data. To further improve our model and evaluate its performance on real data, we also provide a fully annotated real-world dataset with large environment and instance variation. Extensive experiments demonstrate that the proposed method is able to robustly estimate the pose and size of unseen object instances in real environments while also achieving state-of-the-art performance on standard 6D pose estimation benchmarks.

视觉场景的多样性非常丰富，不仅是因为物体和背景的无限组合，而且因为相同场景的观察可能随着观点的变化而变化很大。当观察来自多个观点的含有多个对象的视觉场景时，人类能够以每个观点以组成方式感知场景，同时实现不同视点的所谓的“对象恒定”，即使确切的观点是未计数器。这种能力对于人类来说是必不可少的，同时搬家，并有效地从视野中学习。它是有趣的设计模型具有相似的能力。在本文中，我们考虑从多个未指定的观点学习组成场景表示的新问题，而不使用任何监督，提出一个深深的生成模型，该模型将潜在的表示与视点无关的部分和一个视点依赖部分分开以解决这个问题。为了推断潜在的表示，通过神经网络迭代地集成在不同的视点中包含的信息。在几个专门设计的合成数据集上的实验表明，该方法能够从多个未指定的视点有效学习。

基于模板的鉴别性跟踪器是目前主导的跟踪范例由于其稳健性，但不限于边界框跟踪和有限的转换模型，这降低了它们的本地化准确性。我们提出了一个判别的单次分割跟踪器 - D3S2，其缩小了视觉对象跟踪和视频对象分段之间的差距。单次网络应用两个具有互补的几何属性的目标模型，一个不变的变换，包括非刚性变形，另一个假设刚性对象同时实现强大的在线目标分段。通过解耦对象和特征比例估计，进一步提高了整体跟踪可靠性。没有每数据集FineTuning，并且仅用于分段作为主要输出，D3S2胜过最近的短期跟踪基准Vot2020上的所有已发布的跟踪器，并非常接近GOT-10K上的最先进的跟踪器， TrackingNet，OTB100和Lasot。 D3S2优于视频对象分段基准上的前导分割跟踪器SIAMMASK，并与顶部视频对象分段算法进行操作。

我们提出了一个令人尴尬的简单点注释方案，以收集弱监督，例如分割。除了边界框外，我们还收集了在每个边界框内均匀采样的一组点的二进制标签。我们表明，为完整的掩模监督开发的现有实例细分模型可以通过我们的方案收集基于点的监督而无缝培训。值得注意的是，接受了可可，Pascal VOC，CityScapes和LVI的面具R-CNN，每个物体只有10个带注释的随机点可实现94％ - 占其完全监督的性能的98％，为弱化的实例细分定下了强大的基线。新点注释方案的速度比注释完整的对象掩码快5倍，使高质量实例分割在实践中更容易访问。受基于点的注释形式的启发，我们提出了对Pointrend实例分割模块的修改。对于每个对象，称为隐式pointrend的新体系结构生成一个函数的参数，该函数可以使最终的点级掩码预测。隐式Pointrend更加简单，并使用单点级掩蔽丢失。我们的实验表明，新模块更适合基于点的监督。