The size of an individual cell type, such as a red blood cell, does not vary much among humans. We use this knowledge as a prior for classifying and detecting cells in images with only a few ground truth bounding box annotations, while most of the cells are annotated with points. This setting leads to weakly semi-supervised learning. We propose replacing points with either stochastic (ST) boxes or bounding box predictions during the training process. The proposed "mean-IOU" ST box maximizes the overlap with all the boxes belonging to the sample space with a class-specific approximated prior probability distribution of bounding boxes. Our method trains with both box- and point-labelled images in conjunction, unlike the existing methods, which train first with box- and then point-labelled images. In the most challenging setting, when only 5% images are box-labelled, quantitative experiments on a urine dataset show that our one-stage method outperforms two-stage methods by 5.56 mAP. Furthermore, we suggest an approach that partially answers "how many box-labelled annotations are necessary?" before training a machine learning model.

半弱监督和监督的学习最近在对象检测文献中引起了很大的关注，因为它们可以减轻成功训练深度学习模型所需的注释成本。半监督学习的最先进方法依赖于使用多阶段过程训练的学生老师模型，并大量数据增强。为弱监督的设置开发了自定义网络，因此很难适应不同的检测器。在本文中，引入了一种弱半监督的训练方法，以减少这些训练挑战，但通过仅利用一小部分全标记的图像，并在弱标记图像中提供信息来实现最先进的性能。特别是，我们基于通用抽样的学习策略以在线方式产生伪基真实（GT）边界框注释，消除了对多阶段培训的需求和学生教师网络配置。这些伪GT框是根据通过得分传播过程累积的对象建议的分类得分从弱标记的图像中采样的。 PASCAL VOC数据集的经验结果表明，使用VOC 2007作为完全标记的拟议方法可提高性能5.0％，而VOC 2012作为弱标记数据。同样，有了5-10％的完全注释的图像，我们观察到MAP中的10％以上的改善，表明对图像级注释的适度投资可以大大改善检测性能。

在这项研究中，我们深入研究了半监督对象检测〜（SSOD）所面临的独特挑战。我们观察到当前的探测器通常遭受3个不一致问题。 1）分配不一致，传统的分配策略对标记噪声很敏感。 2）子任务不一致，其中分类和回归预测在同一特征点未对准。 3）时间不一致，伪Bbox在不同的训练步骤中差异很大。这些问题导致学生网络的优化目标不一致，从而恶化了性能并减慢模型收敛性。因此，我们提出了一个系统的解决方案，称为一致的老师，以补救上述挑战。首先，自适应锚分配代替了基于静态的策略，该策略使学生网络能够抵抗嘈杂的psudo bbox。然后，我们通过设计功能比对模块来校准子任务预测。最后，我们采用高斯混合模型（GMM）来动态调整伪盒阈值。一致的老师在各种SSOD评估上提供了新的强大基线。只有10％的带注释的MS-Coco数据，它可以使用Resnet-50骨干实现40.0 MAP，该数据仅使用伪标签，超过了4个地图。当对完全注释的MS-Coco进行其他未标记的数据进行培训时，性能将进一步增加到49.1 MAP。我们的代码将很快开源。

我们提出对象盒，这是一种新颖的单阶段锚定且高度可推广的对象检测方法。与现有的基于锚固的探测器和无锚的探测器相反，它们更偏向于其标签分配中的特定对象量表，我们仅将对象中心位置用作正样本，并在不同的特征级别中平均处理所有对象，而不论对象'尺寸或形状。具体而言，我们的标签分配策略将对象中心位置视为形状和尺寸不足的锚定，并以无锚固的方式锚定，并允许学习每个对象的所有尺度。为了支持这一点，我们将新的回归目标定义为从中心单元位置的两个角到边界框的四个侧面的距离。此外，为了处理比例变化的对象，我们提出了一个量身定制的损失来处理不同尺寸的盒子。结果，我们提出的对象检测器不需要在数据集中调整任何依赖数据集的超参数。我们在MS-Coco 2017和Pascal VOC 2012数据集上评估了我们的方法，并将我们的结果与最先进的方法进行比较。我们观察到，与先前的作品相比，对象盒的性能优惠。此外，我们执行严格的消融实验来评估我们方法的不同组成部分。我们的代码可在以下网址提供：https：//github.com/mohsenzand/objectbox。

如今，半监督对象检测（SSOD）是一个热门话题，因为虽然收集用于创建新数据集的图像相当容易，但标记它们仍然是一项昂贵且耗时的任务。在半监督学习（SSL）设置上利用原始图像的成功方法之一是卑鄙的教师技术，在其中，老师的伪标记的运作以及从学生到教师的知识转移到教师的情况下进行。但是，通过阈值进行伪标记并不是最好的解决方案，因为置信值与预测不确定性无关，不允许安全过滤预测。在本文中，我们介绍了一个附加的分类任务，以进行边界框定位，以改善预测边界框的过滤并获得更高的学生培训质量。此外，我们从经验上证明，无监督部分上的边界框回归可以同样有助于培训与类别分类一样多。我们的实验表明，我们的IL-NET（改善本地化网）在限量注册方案中可可数据集中的SSOD性能提高了1.14％的AP。该代码可从https://github.com/implabunipr/unbiased-teacher/tree/ilnet获得

标签分配在现代对象检测模型中起着重要作用。检测模型可能会通过不同的标签分配策略产生完全不同的性能。对于基于锚的检测模型，锚点及其相应的地面真实边界框之间的IO（与联合的交点）是关键要素，因为正面样品和负样品除以IOU阈值。早期对象探测器仅利用所有训练样本的固定阈值，而最近的检测算法则基于基于IOUS到地面真相框的分布而着重于自适应阈值。在本文中，我们介绍了一种简单的同时有效的方法，可以根据预测的培训状态动态执行标签分配。通过在标签分配中引入预测，选择了更高的地面真相对象的高质量样本作为正样本，这可以减少分类得分和IOU分数之间的差异，并生成更高质量的边界框。我们的方法显示了使用自适应标签分配算法和这些正面样本的下限框损失的检测模型的性能的改进，这表明将更多具有较高质量预测盒的样品选择为阳性。

我们解决了一项新的任务，即计数和检测。给定目标对象类的一些示例边界框，我们试图计数和检测目标类的所有对象。该任务与几个弹出对象计数相同的监督，但另外还输出对象边界框以及总体计数。为了解决这个具有挑战性的问题，我们介绍了一种新颖的两阶段训练策略和一种新颖的不确定性 - 少数光对象探测器：计数 - 滴定。前者的目的是生成伪距离界限框来训练后者。后者利用了前者提供的伪基真实，但采取了必要的步骤来解释伪基真实的不完美。为了验证我们在新任务上的方法的性能，我们介绍了两个名为FSCD-147和FSCD-LVIS的新数据集。两个数据集都包含具有复杂场景，每个图像多个对象类的图像，并且对象形状，大小和外观的巨大变化。我们提出的方法优于非常强大的基线，该基线是根据数量计数和少量对象检测而适应的，并且在计数和检测指标中均具有很大的余量。代码和模型可在\ url {https://github.com/vinairesearch/counting-detr}中获得。

检测微小的物体是一个非常具有挑战性的问题，因为一个小物体只包含几个像素的大小。我们证明，由于缺乏外观信息，最新的检测器不会对微小物体产生令人满意的结果。我们的主要观察结果是，基于联合（IOU）的相交（例如IOU本身及其扩展）对微小物体的位置偏差非常敏感，并且在基于锚固的检测器中使用时会大大恶化检测性能。为了减轻这一点，我们提出了使用Wasserstein距离进行微小对象检测的新评估度量。具体而言，我们首先将边界框建模为2D高斯分布，然后提出一个新的公制称为标准化的瓦斯汀距离（NWD），以通过相应的高斯分布来计算它们之间的相似性。提出的NWD度量可以轻松地嵌入分配中，非最大抑制作用以及任何基于锚固的检测器的损耗函数，以替换常用的IOU度量。我们在新的数据集上评估了我们的度量，以用于微小对象检测（AI-TOD），其中平均对象大小比现有对象检测数据集小得多。广泛的实验表明，在配备NWD指标时，我们的方法的性能比标准的微调基线高6.7 AP点，并且比最先进的竞争对手高6.0 AP点。代码可在以下网址提供：https：//github.com/jwwangchn/nwd。

随着半监督对象检测（SS-OD）技术的最新开发，可以使用有限的标记数据和丰富的未标记数据来改进对象检测器。但是，仍然有两个挑战未解决：（1）在无锚点检测器上没有先前的SS-OD作品，并且（2）当伪标记的边界框回归时，先前的工作是无效的。在本文中，我们提出了无偏见的教师V2，其中显示了SS-OD方法对无锚定检测器的概括，并引入了无监督回归损失的侦听机制。具体而言，我们首先提出了一项研究，研究了现有的SS-OD方法在无锚固探测器上的有效性，并发现在半监督的设置下它们的性能改善要较低。我们还观察到，在无锚点检测器中使用的中心度和基于本地化的标签的盒子选择不能在半监视的设置下正常工作。另一方面，我们的聆听机制明确地阻止了在边界框回归训练中误导伪标记。我们特别开发了一种基于教师和学生的相对不确定性的新型伪标记的选择机制。这个想法有助于半监督环境中回归分支的有利改善。我们的方法适用于无锚固方法和基于锚的方法，它始终如一地对VOC，可可标准和可可添加的最新方法表现出色。

物体检测在计算机视觉中取得了巨大的进步。具有外观降级的小物体检测是一个突出的挑战，特别是对于鸟瞰观察。为了收集足够的阳性/阴性样本进行启发式训练，大多数物体探测器预设区域锚，以便将交叉联盟（iou）计算在地面判处符号数据上。在这种情况下，小物体经常被遗弃或误标定。在本文中，我们提出了一种有效的动态增强锚（DEA）网络，用于构建新颖的训练样本发生器。与其他最先进的技术不同，所提出的网络利用样品鉴别器来实现基于锚的单元和无锚单元之间的交互式样本筛选，以产生符合资格的样本。此外，通过基于保守的基于锚的推理方案的多任务联合训练增强了所提出的模型的性能，同时降低计算复杂性。所提出的方案支持定向和水平对象检测任务。对两个具有挑战性的空中基准（即，DotA和HRSC2016）的广泛实验表明，我们的方法以适度推理速度和用于训练的计算开销的准确性实现最先进的性能。在DotA上，我们的DEA-NET与ROI变压器的基线集成了0.40％平均平均精度（MAP）的先进方法，以便用较弱的骨干网（Resnet-101 VS Resnet-152）和3.08％平均 - 平均精度（MAP），具有相同骨干网的水平对象检测。此外，我们的DEA网与重新排列的基线一体化实现最先进的性能80.37％。在HRSC2016上，它仅使用3个水平锚点超过1.1％的最佳型号。

在本文中，我们在半监督对象检测（SSOD）中深入研究了两种关键技术，即伪标记和一致性训练。我们观察到，目前，这两种技术忽略了对象检测的一些重要特性，从而阻碍了对未标记数据的有效学习。具体而言，对于伪标记，现有作品仅关注分类得分，但不能保证伪框的本地化精度；为了保持一致性训练，广泛采用的随机训练只考虑了标签级的一致性，但错过了功能级别的训练，这在确保尺度不变性方面也起着重要作用。为了解决嘈杂的伪箱所产生的问题，我们设计了包括预测引导的标签分配（PLA）和正面验证一致性投票（PCV）的嘈杂伪盒学习（NPL）。 PLA依赖于模型预测来分配标签，并使甚至粗糙的伪框都具有鲁棒性。 PCV利用积极建议的回归一致性来反映伪盒的本地化质量。此外，在一致性训练中，我们提出了包括标签和特征水平一致性的机制的多视图尺度不变学习（MSL），其中通过将两个图像之间的移动特征金字塔对准具有相同内容但变化量表的变化来实现特征一致性。在可可基准测试上，我们的方法称为伪标签和一致性训练（PSECO），分别以2.0、1.8、2.0分的1％，5％和10％的标签比优于SOTA（软教师）。它还显着提高了SSOD的学习效率，例如，PSECO将SOTA方法的训练时间减半，但实现了更好的性能。代码可从https://github.com/ligang-cs/pseco获得。

深度学习方法需要大量的注释数据以优化参数。例如，附加具有准确边界框注释的数据集对于现代对象检测任务至关重要。但是，具有这样的像素准确性的标签是费力且耗时的，并且精心制作的标记程序对于降低人造噪声是必不可少的，涉及注释审查和接受测试。在本文中，我们关注嘈杂的位置注释对对象检测方法的性能的影响，并旨在减少噪声的不利影响。首先，当将噪声引入边界框注释中时，一阶段和两阶段检测器都会在实验上观察到明显的性能降解。例如，我们的合成噪声导致可可测试分裂的FCO探测器的性能从38.9％的AP降低到33.6％的AP，对于更快的R-CNN而言，COCO检测器的性能从38.9％的AP下降到37.8％的AP和33.7％的AP。其次，提出了一种基于贝叶斯过滤器进行预测合奏的自我纠正技术，以更好地利用教师学习范式后的嘈杂位置注释。合成和现实世界情景的实验始终证明了我们方法的有效性，例如，我们的方法将FCOS检测器的降解性能从33.6％的AP提高到可可的35.6％AP。

3D object detection from LiDAR point cloud is a challenging problem in 3D scene understanding and has many practical applications. In this paper, we extend our preliminary work PointRCNN to a novel and strong point-cloud-based 3D object detection framework, the part-aware and aggregation neural network (Part-A 2 net). The whole framework consists of the part-aware stage and the part-aggregation stage. Firstly, the part-aware stage for the first time fully utilizes free-of-charge part supervisions derived from 3D ground-truth boxes to simultaneously predict high quality 3D proposals and accurate intra-object part locations. The predicted intra-object part locations within the same proposal are grouped by our new-designed RoI-aware point cloud pooling module, which results in an effective representation to encode the geometry-specific features of each 3D proposal. Then the part-aggregation stage learns to re-score the box and refine the box location by exploring the spatial relationship of the pooled intra-object part locations. Extensive experiments are conducted to demonstrate the performance improvements from each component of our proposed framework. Our Part-A 2 net outperforms all existing 3D detection methods and achieves new state-of-the-art on KITTI 3D object detection dataset by utilizing only the LiDAR point cloud data. Code is available at https://github.com/sshaoshuai/PointCloudDet3D.

胸部X射线（CXR）中准确的异常定位可以使各种胸部疾病的临床诊断受益。但是，病变水平的注释只能由经验丰富的放射科医生进行，这是乏味且耗时的，因此很难获得。这种情况导致难以开发CXR的完全监督异常定位系统。在这方面，我们建议通过一个弱半监督的策略来训练CXR异常本地化框架，称为“超越阶级”（PBC），该策略（PBC）使用了少数带有病变级别边界框的完全注释的CXR，并通过广泛的弱化的样品和大量的带有注释的样品。点。这样的点注释设置可以通过边缘注释成本提供弱实例级信息，以实现异常定位。尤其是，我们的PBC背后的核心思想是学习从点注释到边界框的强大而准确的映射，以根据注释点的差异。为此，提出了一个正则化项，即多点的一致性，它驱动模型从相同异常内的不同点注释中生成一致的边界框。此外，还提出了一种被称为对称的一致性的自学，也提出了从弱注释的数据中深入利用有用的信息来实现异常定位。 RSNA和VINDR-CXR数据集的实验结果证明了该方法的有效性。当使用少于20％的盒子级标签进行训练时，与当前的最新方法相比，我们的PBC可以在MAP中提高〜5的改进（即点DETR）。代码可从https://github.com/haozheliu-st/point-beyond-class获得。

多年来，使用单点监督的对象检测受到了越来越多的关注。在本文中，我们将如此巨大的性能差距归因于产生高质量的提案袋的失败，这对于多个实例学习至关重要（MIL）。为了解决这个问题，我们引入了现成建议方法（OTSP）方法的轻量级替代方案，从而创建点对点网络（P2BNET），该网络可以通过在中生成建议袋来构建一个互平衡的提案袋一种锚点。通过充分研究准确的位置信息，P2BNET进一步构建了一个实例级袋，避免了多个物体的混合物。最后，以级联方式进行的粗到精细政策用于改善提案和地面真相（GT）之间的IOU。从这些策略中受益，P2BNET能够生产出高质量的实例级袋以进行对象检测。相对于MS可可数据集中的先前最佳PSOD方法，P2BNET将平均平均精度（AP）提高了50％以上。它还证明了弥合监督和边界盒监督检测器之间的性能差距的巨大潜力。该代码将在github.com/ucas-vg/p2bnet上发布。

现代领先的物体探测器是从深层CNN的骨干分类器网络重新批准的两阶段或一级网络。YOLOV3是一种这样的非常熟知的最新状态单次检测器，其采用输入图像并将其划分为相等大小的网格矩阵。具有物体中心的网格单元是负责检测特定对象的电池。本文介绍了一种新的数学方法，为准确紧密绑定函数预测分配每个对象的多个网格。我们还提出了一个有效的离线拷贝粘贴数据增强，用于对象检测。我们提出的方法显着优于一些现有的对象探测器，具有进一步更好的性能的前景。

边界盒注释表单是可视对象本地化任务最常用的方法。然而，边界盒注释依赖于大量的精确注释的边界盒，这是昂贵的，艰苦的，因此在实际情况下是不可能的，对于某些应用而言，关心尺寸的一些应用甚至是多余的。因此，我们通过将每个人作为粗略点（COARSOPPOINT）向每个人提供注释来提出一种基于点的基于点的框架，该框架可以是对象范围内的任何点，而不是精确的边界框。然后将该人的位置预测为图像中的2D坐标。大大简化了数据注释管道。然而，COARSOUNTPOINT注释不可避免地导致标签可靠性降低（标签不确定性）和训练期间的网络混淆。因此，我们提出了一种点自我细化方法，它以自重节奏的方式迭代地更新点注释。拟议的细化系统减轻了标签不确定性，逐步提高了本地化绩效。实验表明，我们的方法可实现对象本地化性能，同时保存注释成本高达80 $ \％$。代码括在补充材料中。

We present Polite Teacher, a simple yet effective method for the task of semi-supervised instance segmentation. The proposed architecture relies on the Teacher-Student mutual learning framework. To filter out noisy pseudo-labels, we use confidence thresholding for bounding boxes and mask scoring for masks. The approach has been tested with CenterMask, a single-stage anchor-free detector. Tested on the COCO 2017 val dataset, our architecture significantly (approx. +8 pp. in mask AP) outperforms the baseline at different supervision regimes. To the best of our knowledge, this is one of the first works tackling the problem of semi-supervised instance segmentation and the first one devoted to an anchor-free detector.

微创手术中的手术工具检测是计算机辅助干预措施的重要组成部分。当前的方法主要是基于有监督的方法，这些方法需要大量的完全标记的数据来培训监督模型，并且由于阶级不平衡问题而患有伪标签偏见。但是，带有边界框注释的大图像数据集通常几乎无法使用。半监督学习（SSL）最近出现了仅使用适度的注释数据训练大型模型的一种手段。除了降低注释成本。 SSL还显示出希望产生更强大和可推广的模型。因此，在本文中，我们在手术工具检测范式中介绍了半监督学习（SSL）框架，该框架旨在通过知识蒸馏方法来减轻培训数据的稀缺和数据失衡。在拟议的工作中，我们培训了一个标有数据的模型，该模型启动了教师学生的联合学习，在该学习中，学生接受了来自未标记数据的教师生成的伪标签的培训。我们提出了一个多级距离，在检测器的利益区域头部具有基于保证金的分类损失函数，以有效地将前景类别与背景区域隔离。我们在M2CAI16-Tool-locations数据集上的结果表明，我们的方法在不同的监督数据设置（1％，2％，5％，注释数据的10％）上的优越性，其中我们的模型可实现8％，12％和27的总体改善在最先进的SSL方法和完全监督的基线上，MAP中的％（在1％标记的数据上）。该代码可在https://github.com/mansoor-at/semi-supervise-surgical-tool-det上获得

在对象检测中，边界框回归（BBR）是决定对象定位性能的关键步骤。但是，我们发现BBR的大多数先前的损失功能都有两个主要缺点：（i）$ \ ell_n $ -norm和IOU基于IOU的损失功能都无法效率地描述BBR的目标，这会导致收敛速度缓慢和不准确的回归结果。 。 （ii）大多数损失函数都忽略了BBR中的不平衡问题，即与目标盒有较小重叠的大量锚盒对BBR的优化有最大的影响。为了减轻造成的不利影响，我们进行了彻底的研究，以利用本文中BBR损失的潜力。首先，提出了有关联合（EIOU）损失的有效交集，该交集明确测量了BBR中三个几何因素的差异，即重叠面积，中心点和侧面长度。之后，我们说明有效的示例挖掘（EEM）问题，并提出了焦点损失的回归版本，以使回归过程集中在高质量的锚点上。最后，将上述两个部分组合在一起以获得新的损失函数，即焦点损失。对合成数据集和真实数据集进行了广泛的实验。与其他BBR损失相比，在收敛速度和定位精度上都可以显着优势。