分类激活图（CAM），利用分类结构来生成像素定位图，是弱监督物体定位（WSOL）的关键机制。但是，CAM直接使用对图像级特征训练的分类器来定位对象，从而更喜欢辨别全局歧视性因素，而不是区域对象提示。因此，在将像素级特征馈入此分类器时，只有判别位置才能激活。为了解决此问题，本文详细阐述了一种称为Bagcams的插件机制，以更好地投射训练有素的本地化任务分类器，而无需完善或重新训练基线结构。我们的手袋采用了拟议的区域定位器（RLG）策略来定义一组区域本地化，然后从训练有素的分类器中得出。这些区域本地化可以被视为基础学习者，只能辨别出针对本地化任务的区域对象因素，而我们的袋子可以有效地加权其结果以形成最终的本地化图。实验表明，采用我们提出的口袋可以在很大程度上提高基线WSOL方法的性能，并在三个WSOL基准上获得最先进的性能。代码可在https://github.com/zh460045050/bagcams上发布。

通过使用图像级分类掩模监督其学习过程，弱监督对象本地化（WSOL）放宽对对象本地化的密度注释的要求。然而，当前的WSOL方法遭受背景位置的过度激活，并且需要后处理以获得定位掩模。本文将这些问题归因于背景提示的不明显，并提出了背景感知分类激活映射（B-CAM），以便仅使用图像级标签同时学习对象和背景的本地化分数。在我们的B-CAM中，两个图像级功能，由潜在背景和对象位置的像素级别功能聚合，用于从对象相关的背景中净化对象功能，并表示纯背景样本的功能，分别。然后基于这两个特征，学习对象分类器和背景分类器，以确定二进制对象本地化掩码。我们的B-CAM可以基于提出的错开分类损失以端到端的方式培训，这不仅可以改善对象本地化，而且还抑制了背景激活。实验表明，我们的B-CAM在Cub-200，OpenImages和VOC2012数据集上优于一级WSOL方法。

弱监督对象本地化（WSOL）旨在仅使用图像级标签作为监控本地化对象区域。最近，通过生成前景预测映射（FPM）来实现新的范例来实现本地化任务。现有的基于FPM的方法使用跨熵（CE）来评估前景预测映射并引导发电机的学习。我们争辩使用激活值来实现更高效的学习。它基于实验观察，对于培训的网络，CE当前景掩模仅覆盖物体区域的一部分时，CE会聚到零。虽然激活值增加，直到掩码扩展到对象边界，这表明可以通过使用激活值来学习更多对象区域。在本文中，我们提出了背景激活抑制（BAS）方法。具体地，设计激活地图约束模块（AMC）以通过抑制背景激活值来促进生成器的学习。同时，通过使用前景区域指导和区域约束，BAS可以学习对象的整个区域。此外，在推理阶段，我们考虑不同类别的预测映射，以获得最终的本地化结果。广泛的实验表明，BAS通过CUB-200-2011和ILSVRC数据集的基线方法实现了显着和一致的改进。

基于弱监管的像素 - 明显的密集预测任务当前使用类注意映射（CAM）以产生伪掩模作为地面真理。然而，现有方法通常取决于诱人的训练模块，这可能会引入磨削计算开销和复杂的培训程序。在这项工作中，提出了语义结构知识推断（SSA）来探索隐藏在基于CNN的网络的不同阶段的语义结构信息，以在模型推断中产生高质量凸轮。具体地，首先提出语义结构建模模块（SSM）来生成类别不可知语义相关表示，其中每个项目表示一个类别对象和所有其他类别之间的亲和程度。然后，探索结构化特征表示通过点产品操作来抛光不成熟的凸轮。最后，来自不同骨架级的抛光凸轮融合为输出。所提出的方法具有没有参数的优点，不需要培训。因此，它可以应用于广泛的弱监管像素 - 明智的密集预测任务。对弱势监督对象本地化和弱监督语义分割任务的实验结果证明了该方法的效力，这使得新的最先进的结果实现了这两项任务。

在弱监督的本地化设置中，监督作为图像级标签。我们建议使用图像分类器$ F $，并培训发电网络$ G $，给定输入图像，指示图像内对象位置的每个像素权重映射。通过最大限度地减少原始图像上的分类器F $ F $的输出之间的差异来培训网络$ G $培训。该方案需要一个正常化术语，确保$ G $不提供统一的重量，以及提前停止标准，以防止超过段图像。我们的结果表明，该方法在充满挑战的细粒度分类数据集中的相当余量以及通用图像识别数据集中优于现有的本地化方法。另外，在细粒度分类数据集中的弱监督分割中，所获得的权重映射也是最新的。

使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域（ROI）的癌症分级和定位通常依赖于图像和像素级标签，后者需要昂贵的注释过程。深度弱监督的对象定位（WSOL）方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释，可以训练这些方法以对图像进行分类，并为ROI定位进行分类类激活图（CAM）。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法，根据模型中的信息流，将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限，但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是，这些方法达到了有限的定位准确性，并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性，对我们的分类学方法进行了评估和比较。总体而言，结果表明定位性能差，特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是，所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活，对阈值的敏感性和模型选择。

弱监督对象本地化（WSOL）旨在仅通过使用图像级标签来学习对象本地化器。基于卷积神经网络（CNN）的技术通常导致突出显示物体的最辨别部分，同时忽略整个对象范围。最近，变压器架构已经部署到WSOL，以捕获具有自我关注机制和多层的Perceptron结构的远程特征依赖性。然而，变压器缺乏CNN所固有的局部感应偏差，因此可以恶化WSOL中的局部特征细节。在本文中，我们提出了一种基于变压器的新型框架，称为LCTR（局部连续性变压器），该框架被称为LCTR（局部连续性变压器），该框架在长期特征依赖项中提高全局特征的本地感知能力。为此，我们提出了一个关系的修补程序注意模块（RPAM），其考虑全球跨补丁信息。我们进一步设计了一个CUE挖掘模块（CDM），它利用本地特征来指导模型的学习趋势，以突出弱局部响应。最后，在两个广泛使用的数据集，即Cub-200-2011和ILSVRC上进行综合实验，以验证我们方法的有效性。

大多数现有的语义分割方法都以图像级类标签作为监督，高度依赖于从标准分类网络生成的初始类激活图（CAM）。在本文中，提出了一种新颖的“渐进贴片学习”方法，以改善分类的局部细节提取，从而更好地覆盖整个对象的凸轮，而不仅仅是在常规分类模型中获得的CAM中的最歧视区域。 “补丁学习”将特征映射破坏成贴片，并在最终聚合之前并行独立处理每个本地贴片。这样的机制强迫网络从分散的歧视性本地部分中找到弱信息，从而提高了本地细节的敏感性。 “渐进的补丁学习”进一步将特征破坏和补丁学习扩展到多层粒度。与多阶段优化策略合作，这种“渐进的补丁学习”机制隐式地为模型提供了跨不同位置粒状性的特征提取能力。作为隐式多粒性渐进式融合方法的替代方案，我们还提出了一种明确的方法，以同时将单个模型中不同粒度的特征融合，从而进一步增强了完整对象覆盖的凸轮质量。我们提出的方法在Pascal VOC 2012数据集上取得了出色的性能，例如，测试集中有69.6 $％miou），它超过了大多数现有的弱监督语义细分方法。代码将在此处公开提供，https://github.com/tyroneli/ppl_wsss。

While class activation map (CAM) generated by image classification network has been widely used for weakly supervised object localization (WSOL) and semantic segmentation (WSSS), such classifiers usually focus on discriminative object regions. In this paper, we propose Contrastive learning for Class-agnostic Activation Map (C$^2$AM) generation only using unlabeled image data, without the involvement of image-level supervision. The core idea comes from the observation that i) semantic information of foreground objects usually differs from their backgrounds; ii) foreground objects with similar appearance or background with similar color/texture have similar representations in the feature space. We form the positive and negative pairs based on the above relations and force the network to disentangle foreground and background with a class-agnostic activation map using a novel contrastive loss. As the network is guided to discriminate cross-image foreground-background, the class-agnostic activation maps learned by our approach generate more complete object regions. We successfully extracted from C$^2$AM class-agnostic object bounding boxes for object localization and background cues to refine CAM generated by classification network for semantic segmentation. Extensive experiments on CUB-200-2011, ImageNet-1K, and PASCAL VOC2012 datasets show that both WSOL and WSSS can benefit from the proposed C$^2$AM.

Weakly-supervised object localization aims to indicate the category as well as the scope of an object in an image given only the image-level labels. Most of the existing works are based on Class Activation Mapping (CAM) and endeavor to enlarge the discriminative area inside the activation map to perceive the whole object, yet ignore the co-occurrence confounder of the object and context (e.g., fish and water), which makes the model inspection hard to distinguish object boundaries. Besides, the use of CAM also brings a dilemma problem that the classification and localization always suffer from a performance gap and can not reach their highest accuracy simultaneously. In this paper, we propose a casual knowledge distillation method, dubbed KD-CI-CAM, to address these two under-explored issues in one go. More specifically, we tackle the co-occurrence context confounder problem via causal intervention (CI), which explores the causalities among image features, contexts, and categories to eliminate the biased object-context entanglement in the class activation maps. Based on the de-biased object feature, we additionally propose a multi-teacher causal distillation framework to balance the absorption of classification knowledge and localization knowledge during model training. Extensive experiments on several benchmarks demonstrate the effectiveness of KD-CI-CAM in learning clear object boundaries from confounding contexts and addressing the dilemma problem between classification and localization performance.

弱监督对象本地化（WSOL）是一个具有挑战性的任务，可以仅通过类别标签本地化对象。然而，分类和定位之间存在矛盾，因为准确的分类网络倾向于注意物体的歧视区域而不是整体。我们提出这种歧视是由基于CAM的方法选择的手工阈值引起的。因此，我们提出了具有视觉变压器（VIV）骨干的令牌（CAFT）的聚类和过滤器，以以另一种方式解决这个问题。 CAFT首先将图像的修补程序令牌拆分为VIT和群集输出令牌以生成对象的初始掩码。其次，CAFT将初始掩码视为伪标签，以训练骨干后骨干的浅卷积头（注意滤波器，atf）直接从令牌中提取掩码。然后，CAFT将图像分成零件，分别输出掩码并将它们合并到一个精制的掩模中。最后，新的ATF培训在精制的掩模上，并用于预测对象的框。实验验证CAFT优于上一个工作，并分别在CUB-200和Imagenet-1K上与地面真理类实现97.55 \％和69.86 \％。 CAFT提供了一种思考WSOL任务的新方法。

弱监督的对象本地化（WSOL）在过去几年中获得了普及，以便培训具有图像级标签的本地化模型。由于Soliminal WSOL类激活映射（CAM），该领域的重点是如何扩展注意区域更广泛地覆盖物体并更好地本地化。但是，这些策略依赖于验证超参数和模型选择的完全本地化监督，这是原则上禁止WSOL设置。在本文中，我们认为WSOL任务仅用图像级标签均不含糊，并提出了一种新的评估协议，其中全面监督仅限于仅与测试集没有重叠的小型举出的设置。我们观察到，根据我们的协议，五种最新的WSOL方法没有对CAM基线进行重大改进。此外，我们报告说，现有的WSOL方法尚未达到几次学习基准，其中验证时间的全面监督用于模型培训。根据我们的调查结果，我们讨论了WSOL的​​一些未来方向。

图像和视频中的消防本地化是自治系统对抗火事故的重要一步。基于深神经网络的最先进的图像分割方法需要大量的像素注释样本以以完全监督的方式训练卷积神经网络（CNNS）。在本文中，我们考虑了图像中的火灾的弱监管，其中仅使用图像标签来训练网络。我们示出在火灾分割的情况下，这是二进制分割问题，分类中的中层中的特征的平均值可以比传统的类激活映射（CAM）方法更好。我们还建议通过在上次卷积层的特征上添加旋转等值正则化损耗来进一步提高分割精度。我们的结果表明，对弱势监督的火灾细分的基线方法显着改善。

我们考虑临床应用异常定位问题。虽然深入学习推动了最近的医学成像进展，但许多临床挑战都没有完全解决，限制了其更广泛的使用。虽然最近的方法报告了高的诊断准确性，但医生因普遍缺乏算法决策和解释性而涉及诊断决策的这些算法，这是关注这些算法。解决这个问题的一种潜在方法是进一步培训这些模型，以便除了分类它们之外，除了分类。然而，准确地进行这一临床专家需要大量的疾病定位注释，这是对大多数应用程序来实现昂贵的任务。在这项工作中，我们通过一种新的注意力弱监督算法来解决这些问题，该弱势监督算法包括分层关注挖掘框架，可以以整体方式统一激活和基于梯度的视觉关注。我们的关键算法创新包括明确序号注意约束的设计，实现了以弱监督的方式实现了原则的模型培训，同时还通过本地化线索促进了产生视觉关注驱动的模型解释。在两个大型胸部X射线数据集（NIH Chescx-Ray14和Chexpert）上，我们展示了对现有技术的显着本地化性能，同时也实现了竞争的分类性能。我们的代码可在https://github.com/oyxhust/ham上找到。

经过图像级标签训练的弱监督图像分割通常在伪地面上的生成期间因物体区域的覆盖率不准确。这是因为对象激活图受到分类目标的训练，并且缺乏概括的能力。为了提高客观激活图的一般性，我们提出了一个区域原型网络RPNET来探索训练集的跨图像对象多样性。通过区域特征比较确定了跨图像的相似对象零件。区域之间传播对象信心，以发现新的对象区域，同时抑制了背景区域。实验表明，该提出的方法会生成更完整和准确的伪对象掩模，同时在Pascal VOC 2012和MS Coco上实现最先进的性能。此外，我们研究了提出的方法在减少训练集方面的鲁棒性。

弱监督的对象本地化是一项具有挑战性的任务，旨在将对象定位具有粗糙注释（例如图像类别）。现有的深网方法主要基于类激活图，该图的重点是突出显示歧视性局部区域，同时忽略了整个对象。此外，基于变压器的技术不断地重点放在阻碍识别完整对象的能力的背景上。为了解决这些问题，我们提出了一种称为令牌改进变压器（TRT）的重新注意事项机制，该机制捕获了对象级语义，以很好地指导本地化。具体而言，TRT引入了一个名为令牌优先级评分模块（TPSM）的新型模块，以抑制背景噪声的效果，同时重点放在目标对象上。然后，我们将类激活图作为语义意识的输入合并，以将注意力图限制为目标对象。在两个基准测试上进行的广泛实验展示了我们提出的方法与现有方法的优势，该方法具有带有图像类别注释的现有方法。源代码可在\ url {https://github.com/su-hui-zz/reattentiontransformer}中获得。

弱监督的对象定位（WSOL）旨在仅通过使用图像级标签来定位对象，由于其在实际应用中的注释成本较低，因此引起了很多关注。最近的研究利用自我发挥作用在视觉变压器中对远程依赖性的优势来重新活跃的语义区域，旨在避免在传统的类激活映射（CAM）中进行部分激活。但是，变压器中的远程建模忽略了对象的固有空间连贯性，并且通常会扩散远离对象边界的语义感知区域，从而使定位结果明显更大或更小。为了解决此类问题，我们引入了一个简单而有效的空间校准模块（SCM），以进行准确的WSOL，将斑块令牌的语义相似性及其空间关系融合到统一的扩散模型中。具体而言，我们引入了一个可学习的参数，以动态调整语义相关性和空间上下文强度，以进行有效的信息传播。实际上，SCM被设计为变压器的外部模块，可以在推断过程中删除以降低计算成本。对象敏感的定位能力通过在训练阶段的优化中隐式嵌入到变压器编码中。它使生成的注意力图能够捕获锐利对象边界并过滤对象 - 近距离背景区域。广泛的实验结果证明了该方法的有效性，该方法在CUB-200和Imagenet-1K基准测试基准上的表现明显优于其对应物TS-CAM。该代码可从https://github.com/164140757/scm获得。

弱监督的语义分割（WSSS）是具有挑战性的，特别是当使用图像级标签来监督像素级预测时。为了弥合它们的差距，通常生成一个类激活图（CAM）以提供像素级伪标签。卷积神经网络中的凸轮患有部分激活，即，仅激活最多的识别区域。另一方面，基于变压器的方法在探索具有长范围依赖性建模的全球背景下，非常有效，可能会减轻“部分激活”问题。在本文中，我们提出了基于第一变压器的WSSS方法，并介绍了梯度加权元素明智的变压器注意图（GetAn）。 GetaN显示所有特征映射元素的精确激活，跨越变压器层显示对象的不同部分。此外，我们提出了一种激活感知标签完成模块来生成高质量的伪标签。最后，我们将我们的方法纳入了使用双向向上传播的WSS的结束框架。 Pascal VOC和Coco的广泛实验表明，我们的结果通过显着的保证金击败了最先进的端到端方法，并且优于大多数多级方法.M大多数多级方法。

Image-level weakly supervised semantic segmentation is a challenging problem that has been deeply studied in recent years. Most of advanced solutions exploit class activation map (CAM). However, CAMs can hardly serve as the object mask due to the gap between full and weak supervisions. In this paper, we propose a self-supervised equivariant attention mechanism (SEAM) to discover additional supervision and narrow the gap. Our method is based on the observation that equivariance is an implicit constraint in fully supervised semantic segmentation, whose pixel-level labels take the same spatial transformation as the input images during data augmentation. However, this constraint is lost on the CAMs trained by image-level supervision. Therefore, we propose consistency regularization on predicted CAMs from various transformed images to provide self-supervision for network learning. Moreover, we propose a pixel correlation module (PCM), which exploits context appearance information and refines the prediction of current pixel by its similar neighbors, leading to further improvement on CAMs consistency. Extensive experiments on PASCAL VOC 2012 dataset demonstrate our method outperforms state-of-the-art methods using the same level of supervision. The code is released online 1 .

Different from the general visual classification, some classification tasks are more challenging as they need the professional categories of the images. In the paper, we call them expert-level classification. Previous fine-grained vision classification (FGVC) has made many efforts on some of its specific sub-tasks. However, they are difficult to expand to the general cases which rely on the comprehensive analysis of part-global correlation and the hierarchical features interaction. In this paper, we propose Expert Network (ExpNet) to address the unique challenges of expert-level classification through a unified network. In ExpNet, we hierarchically decouple the part and context features and individually process them using a novel attentive mechanism, called Gaze-Shift. In each stage, Gaze-Shift produces a focal-part feature for the subsequent abstraction and memorizes a context-related embedding. Then we fuse the final focal embedding with all memorized context-related embedding to make the prediction. Such an architecture realizes the dual-track processing of partial and global information and hierarchical feature interactions. We conduct the experiments over three representative expert-level classification tasks: FGVC, disease classification, and artwork attributes classification. In these experiments, superior performance of our ExpNet is observed comparing to the state-of-the-arts in a wide range of fields, indicating the effectiveness and generalization of our ExpNet. The code will be made publicly available.