由于其高实用价值,无监督的域自适应人员重新识别受到显着的关注。在过去几年中,通过遵循聚类和FineTuning范式,研究人员建议利用他们的师生框架,以减少不同人重新识别数据集之间的域间差距。受到最近的教师学生框架基于方法的启发,它试图通过使学生从教师直接复制行为来模仿人类学习过程,或者选择可靠的学习材料,我们建议进行进一步的探索,以模仿不同方面的人类学习过程,\ Texit {IE},自适应更新学习材料,选择性地模仿教师行为,分析学习材料结构。探索的三个组件共同合作,构成了一个新的无监督域自适应人重新识别的方法,称为人类学习仿框架。三个基准数据集的实验结果证明了我们提出的方法的功效。
translated by 谷歌翻译
无监督的人重新识别是计算机视觉中的一项具有挑战性且有前途的任务。如今,无监督的人重新识别方法通过使用伪标签培训取得了巨大进步。但是,如何以无监督的方式进行纯化的特征和标签噪声的显式研究。为了净化功能,我们考虑了来自不同本地视图的两种其他功能,以丰富功能表示。所提出的多视图功能仔细地集成到我们的群体对比度学习中,以利用全球功能容易忽略和偏见的更具歧视性线索。为了净化标签噪声,我们建议在离线方案中利用教师模型的知识。具体来说,我们首先从嘈杂的伪标签培训教师模型,然后使用教师模型指导我们的学生模型的学习。在我们的环境中,学生模型可以在教师模型的监督下快速融合,因此,随着教师模型的影响很大,嘈杂标签的干扰。在仔细处理功能学习中的噪音和偏见之后,我们的纯化模块被证明对无监督的人的重新识别非常有效。对三个受欢迎人重新识别数据集进行的广泛实验证明了我们方法的优势。尤其是,我们的方法在具有挑战性的Market-1501基准中,在完全无监督的环境下,在具有挑战性的Market-1501基准中实现了最先进的精度85.8 \%@map和94.5 \% @rank-1。代码将发布。
translated by 谷歌翻译
无监督的人重新识别(RE-ID)由于其可扩展性和对现实世界应用的可能性而吸引了增加的研究兴趣。最先进的无监督的重新ID方法通常遵循基于聚类的策略,该策略通过聚类来生成伪标签,并维护存储器以存储实例功能并代表群集的质心进行对比​​学习。这种方法遇到了两个问题。首先,无监督学习产生的质心可能不是一个完美的原型。强迫图像更接近质心,强调了聚类的结果,这可能会在迭代过程中积累聚类错误。其次,以前的方法利用在不同的训练迭代中获得的功能代表一种质心,这与当前的训练样本不一致,因为这些特征不是直接可比的。为此,我们通过随机学习策略提出了一种无监督的重新ID方法。具体来说,我们采用了随机更新的内存,其中使用集群的随机实例来更新群集级内存以进行对比度学习。这样,学会了随机选择的图像对之间的关​​系,以避免由不可靠的伪标签引起的训练偏见。随机内存也始终是最新的,以保持一致性。此外,为了减轻摄像机方差的问题,在聚类过程中提出了一个统一的距离矩阵,其中减少了不同摄像头域的距离偏置,并强调了身份的差异。
translated by 谷歌翻译
最近,无监督的人重新识别(RE-ID)引起了人们的关注,因为其开放世界情景设置有限,可用的带注释的数据有限。现有的监督方法通常无法很好地概括在看不见的域上,而无监督的方法(大多数缺乏多范围的信息),并且容易患有确认偏见。在本文中,我们旨在从两个方面从看不见的目标域上找到更好的特征表示形式,1)在标记的源域上进行无监督的域适应性和2)2)在未标记的目标域上挖掘潜在的相似性。此外,提出了一种协作伪标记策略,以减轻确认偏见的影响。首先,使用生成对抗网络将图像从源域转移到目标域。此外,引入了人身份和身份映射损失,以提高生成图像的质量。其次,我们提出了一个新颖的协作多元特征聚类框架(CMFC),以学习目标域的内部数据结构,包括全局特征和部分特征分支。全球特征分支(GB)在人体图像的全球特征上采用了无监督的聚类,而部分特征分支(PB)矿山在不同人体区域内的相似性。最后,在两个基准数据集上进行的广泛实验表明,在无监督的人重新设置下,我们的方法的竞争性能。
translated by 谷歌翻译
半监督域适应(SSDA)是将学习者调整到新域,只有一小组标记的数据集在源域上给出时,只有一小组标记的样本。在本文中,我们提出了一种基于对的SSDA方法,使用用样品对的自蒸馏来适应靶域的模型。每个样本对由来自标记数据集(即源或标记为目标)的教师样本以及来自未标记数据集的学生样本(即,未标记的目标)组成。我们的方法通过在教师和学生之间传输中间样式来生成助手功能,然后通过最小化学生和助手之间的输出差异来培训模型。在培训期间,助手逐渐弥合了两个域之间的差异,从而让学生容易地从老师那里学习。标准基准测试的实验评估表明,我们的方法有效地减少了域间和域内的差异,从而实现了对最近的方法的显着改进。
translated by 谷歌翻译
基于聚类的无监督域自适应(UDA)人重新识别(Reid)可减少详尽的注释。然而,由于嵌入不良的功能嵌入和不完美的聚类,目标域数据的伪标签本身包含错误的错误比例,这将误导特色。在本文中,我们提出了一种名为概率不确定性的方法,用于域自适应人员重新识别域的概率不确定性引导逐行标签炼油厂(P $ ^ 2 $ LR)。首先,我们建议将标记不确定性与概率距离一起模拟,以及理想的单峰分布。建立定量标准以测量伪标签的不确定性,并促进网络培训。其次,我们探索精炼伪标签的渐进战略。凭借不确定性引导的替代优化,我们在目标域数据探索与嘈杂标签的负面影响之间平衡。在强大的基线之上,我们获得了重大改进,实现了四个UDA Reid基准的最先进的表现。具体而言,我们的方法在Duke2market任务上占据了6.5%地图的基线,同时超过了最先进的方法,在Market2MSMT任务上将最先进的方法映射到2.5%地图。
translated by 谷歌翻译
Unsupervised person re-identification (ReID) aims at learning discriminative identity features for person retrieval without any annotations. Recent advances accomplish this task by leveraging clustering-based pseudo labels, but these pseudo labels are inevitably noisy which deteriorate model performance. In this paper, we propose a Neighbour Consistency guided Pseudo Label Refinement (NCPLR) framework, which can be regarded as a transductive form of label propagation under the assumption that the prediction of each example should be similar to its nearest neighbours'. Specifically, the refined label for each training instance can be obtained by the original clustering result and a weighted ensemble of its neighbours' predictions, with weights determined according to their similarities in the feature space. In addition, we consider the clustering-based unsupervised person ReID as a label-noise learning problem. Then, we proposed an explicit neighbour consistency regularization to reduce model susceptibility to over-fitting while improving the training stability. The NCPLR method is simple yet effective, and can be seamlessly integrated into existing clustering-based unsupervised algorithms. Extensive experimental results on five ReID datasets demonstrate the effectiveness of the proposed method, and showing superior performance to state-of-the-art methods by a large margin.
translated by 谷歌翻译
最近,许多方法通过基于伪标签的对比学习来解决无监督的域自适应人员重新识别(UDA RE-ID)问题。在培训期间,通过简单地平均来自具有相同伪标签的集群的所有实例特征来获得UNI-Firedroid表示。然而,由于群集结果不完美的聚类结果,群集可能包含具有不同标识(标签噪声)的图像,这使得UNI质心表示不适当。在本文中,我们介绍了一种新的多质心存储器(MCM),以在群集中自适应地捕获不同的身份信息。 MCM可以通过为查询图像选择适当的正/负质心来有效地减轻标签噪声问题。此外,我们进一步提出了两种策略来改善对比学习过程。首先,我们介绍了一个域特定的对比度学习(DSCL)机制,通过仅通过相同域进行比较样本来完全探索局部信息。其次,我们提出了二阶最近的插值(Soni)以获得丰富和信息性的负样本。我们将MCM,DSCL和Soni集成到一个名为Multi-Firedroid表示网络(MCRN)的统一框架中。广泛的实验证明了MCRN在多个UDA重新ID任务上的最先进方法和完全无监督的重新ID任务的优越性。
translated by 谷歌翻译
由于源域和目标域之间的巨大差距,对于人重新识别的无监督域适应(UDA)是具有挑战性的。典型的自我训练方法是使用群集算法生成的伪标签来迭代优化目标域上的模型。然而,对此的缺点是嘈杂的伪标签通常在学习时造成麻烦。为了解决这个问题,已经开发了双网络的相互学习方法来生产可靠的软标签。然而,随着两个神经网络逐渐收敛,它们的互补性被削弱,并且它们可能变得偏向相同的噪音。本文提出了一种新颖的轻量级模块,细小波块(AWB),可以集成到相互学习的双网络中,以增强伪标签中的互补性和进一步抑制噪声。具体而言,我们首先介绍一种无参数模块,该波块通过不同的方式挥动特征映射块的两个网络创造了两个网络之间的差异。然后,利用注意机制来扩大创建的差异并发现更多互补特征。此外,探讨了两种组合策略,即探讨了与后关注。实验表明,该方法实现了最先进的性能,具有对多个UDA人重新识别任务的显着改进。我们还通过将其应用于车辆重新识别和图像分类任务来证明所提出的方法的一般性。我们的代码和模型可在https://github.com/wangwenhao0716/attentive-waveblock上使用。
translated by 谷歌翻译
未经监督的人重新识别(重新ID)由于其解决监督重新ID模型的可扩展性问题而吸引了越来越多的关注。大多数现有的无监督方法采用迭代聚类机制,网络基于由无监督群集生成的伪标签进行培训。但是,聚类错误是不可避免的。为了产生高质量的伪标签并减轻聚类错误的影响,我们提出了一种新的群集关系建模框架,用于无监督的人重新ID。具体地,在聚类之前,基于曲线图相关学习(GCL)模块探索未标记图像之间的关系,然后将其用于聚类以产生高质量的伪标签。本,GCL适自适应地挖掘样本之间的关系迷你批次以减少培训时异常聚类的影响。为了更有效地训练网络,我们进一步提出了一种选择性对比学习(SCL)方法,具有选择性存储器银行更新策略。广泛的实验表明,我们的方法比在Market1501,Dukemtmc-Reid和MSMT17数据集上的大多数最先进的无人监督方法显示出更好的结果。我们将发布模型再现的代码。
translated by 谷歌翻译
Domain adaptive object detection (DAOD) aims to alleviate transfer performance degradation caused by the cross-domain discrepancy. However, most existing DAOD methods are dominated by computationally intensive two-stage detectors, which are not the first choice for industrial applications. In this paper, we propose a novel semi-supervised domain adaptive YOLO (SSDA-YOLO) based method to improve cross-domain detection performance by integrating the compact one-stage detector YOLOv5 with domain adaptation. Specifically, we adapt the knowledge distillation framework with the Mean Teacher model to assist the student model in obtaining instance-level features of the unlabeled target domain. We also utilize the scene style transfer to cross-generate pseudo images in different domains for remedying image-level differences. In addition, an intuitive consistency loss is proposed to further align cross-domain predictions. We evaluate our proposed SSDA-YOLO on public benchmarks including PascalVOC, Clipart1k, Cityscapes, and Foggy Cityscapes. Moreover, to verify its generalization, we conduct experiments on yawning detection datasets collected from various classrooms. The results show considerable improvements of our method in these DAOD tasks. Our code is available on \url{https://github.com/hnuzhy/SSDA-YOLO}.
translated by 谷歌翻译
开放的复合域适应(OCDA)将目标域视为多个未知同质子域的化合物。 OCDA的目的是最大程度地减少标记的源域和未标记的复合目标域之间的域间隙,这使对未见域的模型概括有益。当前用于语义分割方法的OCDA采用手动域分离,并采用单个模型同时适应所有目标子域。但是,适应目标子域可能会阻碍该模型适应其他不同目标子域,从而导致性能有限。在这项工作中,我们引入了一个带有双向光度混合的多教学框架,以分别适应每个目标子域。首先,我们提出一个自动域分离,以找到最佳的子域数。在此基础上,我们提出了一个多教学框架,在该框架中,每个教师模型都使用双向光度混合来适应一个目标子域。此外,我们进行自适应蒸馏以学习学生模型并应用一致性正规化以改善学生的概括。基准数据集上的实验结果显示了针对复合域和开放域对现有最新方法的拟议方法的功效。
translated by 谷歌翻译
虽然姿势估计是一项重要的计算机视觉任务,但它需要昂贵的注释,并且遭受了域转移的困扰。在本文中,我们调查了域自适应2D姿势估计的问题,这些估计会传输有关合成源域的知识,而无需监督。尽管最近已经提出了几个领域的自适应姿势估计模型,但它们不是通用的,而是专注于人姿势或动物姿势估计,因此它们的有效性在某种程度上限于特定情况。在这项工作中,我们提出了一个统一的框架,该框架可以很好地推广到各种领域自适应姿势估计问题上。我们建议使用输入级别和输出级线索(分别是像素和姿势标签)对齐表示,这有助于知识转移从源域到未标记的目标域。我们的实验表明,我们的方法在各个领域变化下实现了最先进的性能。我们的方法的表现优于现有的姿势估计基线,最高4.5%(PP),手部姿势估算高达7.4 pp,狗的动物姿势估计高达4.8 pp,而绵羊的姿势估计为3.3 pp。这些结果表明,我们的方法能够减轻各种任务甚至看不见的域和物体的转移(例如,在马匹上训练并在狗上进行了测试)。我们的代码将在以下网址公开可用:https://github.com/visionlearninggroup/uda_poseestimation。
translated by 谷歌翻译
人重新识别(Reid)任务中存在许多具有挑战性的问题,例如遮挡和比例变化。现有的作品通常试图通过使用单分支网络来解决这些问题。这一分支网络需要对各种具有挑战性的问题强大,这使得该网络覆盖。本文建议分割和征服Reid任务。为此目的,我们采用了几种自我监督操作来模拟不同的具有挑战性问题,并使用不同的网络处理每个具有挑战性的问题。具体地,我们使用随机擦除操作并提出一种新的随机缩放操作来产生具有可控特性的新图像。介绍了一般的多分支网络,包括一个主分支和两个仆人分支,以处理不同的场景。这些分支机构学习协同性并实现不同的感知能力。通过这种方式,Reid任务中的复杂场景得到有效地解散,每个分支的负担都被释放。来自广泛实验的结果表明,该方法在三个Reid基准和两个遮挡的Reid基准上实现了最先进的表演。消融研究还表明,拟议的方案和操作显着提高了各种场景的性能。
translated by 谷歌翻译
人搜索是一项具有挑战性的任务,旨在实现共同的行人检测和人重新识别(REID)。以前的作品在完全和弱监督的设置下取得了重大进步。但是,现有方法忽略了人搜索模型的概括能力。在本文中,我们采取了进一步的步骤和现在的域自适应人员搜索(DAPS),该搜索旨在将模型从标记的源域概括为未标记的目标域。在这种新环境下出现了两个主要挑战:一个是如何同时解决检测和重新ID任务的域未对准问题,另一个是如何在目标域上训练REID子任务而不可靠的检测结果。为了应对这些挑战,我们提出了一个强大的基线框架,并使用两个专用设计。 1)我们设计一个域对齐模块,包括图像级和任务敏感的实例级别对齐,以最大程度地减少域差异。 2)我们通过动态聚类策略充分利用未标记的数据,并使用伪边界框来支持目标域上的REID和检测训练。通过上述设计,我们的框架在MAP中获得了34.7%的地图,而PRW数据集的TOP-1则达到80.6%,超过了直接转移基线的大幅度。令人惊讶的是,我们无监督的DAPS模型的性能甚至超过了一些完全和弱监督的方法。该代码可在https://github.com/caposerenity/daps上找到。
translated by 谷歌翻译
Person re-identification (re-ID) models trained on one domain often fail to generalize well to another. In our attempt, we present a "learning via translation" framework. In the baseline, we translate the labeled images from source to target domain in an unsupervised manner. We then train re-ID models with the translated images by supervised methods. Yet, being an essential part of this framework, unsupervised image-image translation suffers from the information loss of source-domain labels during translation.Our motivation is two-fold. First, for each image, the discriminative cues contained in its ID label should be maintained after translation. Second, given the fact that two domains have entirely different persons, a translated image should be dissimilar to any of the target IDs. To this end, we propose to preserve two types of unsupervised similarities, 1) self-similarity of an image before and after translation, and 2) domain-dissimilarity of a translated source image and a target image. Both constraints are implemented in the similarity preserving generative adversarial network (SPGAN) which consists of an Siamese network and a Cy-cleGAN. Through domain adaptation experiment, we show that images generated by SPGAN are more suitable for domain adaptation and yield consistent and competitive re-ID accuracy on two large-scale datasets.
translated by 谷歌翻译
域概括(DG)最近引起了人的重新识别(REID)的巨大关注。它旨在使在多个源域上培训的模型概括到未经看不见的目标域。虽然实现了有前进的进步,但现有方法通常需要要标记的源域,这可能是实际REID任务的重大负担。在本文中,我们通过假设任何源域都有任何标签可以调查Reid的无监督域泛化。为了解决这个具有挑战性的设置,我们提出了一种简单高效的域特定的自适应框架,并通过设计在批处理和实例归一化技术上的自适应归一化模块实现。在此过程中,我们成功地产生了可靠的伪标签来实现培训,并根据需要增强模型的域泛化能力。此外,我们表明,我们的框架甚至可以应用于在监督域泛化和无监督域适应的环境下改进人员Reid,展示了关于相关方法的竞争性能。对基准数据集进行了广泛的实验研究以验证所提出的框架。我们的工作的重要性在于它表明了对人Reid的无监督域概括的潜力,并为这一主题进一步研究了一个强大的基线。
translated by 谷歌翻译
最近,由于受监督人员重新识别(REID)的表现不佳,域名概括(DG)人REID引起了很多关注,旨在学习一个不敏感的模型,并可以抵抗域的影响偏见。在本文中,我们首先通过实验验证样式因素是域偏差的重要组成部分。基于这个结论,我们提出了一种样式变量且无关紧要的学习方法(SVIL)方法,以消除样式因素对模型的影响。具体来说,我们在SVIL中设计了样式的抖动模块(SJM)。 SJM模块可以丰富特定源域的样式多样性,并减少各种源域的样式差异。这导致该模型重点关注与身份相关的信息,并对样式变化不敏感。此外,我们将SJM模块与元学习算法有机结合,从而最大程度地提高了好处并进一步提高模型的概括能力。请注意,我们的SJM模块是插件和推理,无需成本。广泛的实验证实了我们的SVIL的有效性,而我们的方法的表现优于DG-REID基准测试的最先进方法。
translated by 谷歌翻译
最先进的无监督的RE-ID方法使用基于内存的非参数软制AX丢失训练神经网络。存储在存储器中的实例特征向量通过群集和更新在实例级别中分配伪标签。然而,不同的簇大小导致每个群集的更新进度中的不一致。为了解决这个问题,我们呈现了存储特征向量的集群对比度,并计算群集级别的对比度损耗。我们的方法采用唯一的群集表示来描述每个群集,从而产生群集级存储字典。以这种方式,可以有效地保持聚类的一致性,在整个阶段,可以显着降低GPU存储器消耗。因此,我们的方法可以解决集群不一致的问题,并且适用于较大的数据集。此外,我们采用不同的聚类算法来展示我们框架的鲁棒性和泛化。与标准无监督的重新ID管道的集群对比的应用达到了9.9%,8.3%,12.1%的显着改善,而最新的无人纯粹无监督的重新ID方法和5.5%,4.8%,4.4%地图相比与市场,公爵和MSMT17数据集上的最先进的无监督域适应重新ID方法相比。代码可在https://github.com/alibaba/cluster-contrast获得。
translated by 谷歌翻译
我们解决对象检测中的域适应问题,其中在源(带有监控)和目标域(没有监督的域的域名)之间存在显着的域移位。作为广泛采用的域适应方法,自培训教师学生框架(学生模型从教师模型生成的伪标签学习)在目标域中产生了显着的精度增益。然而,由于其偏向源域,它仍然存在从教师产生的大量低质量伪标签(例如,误报)。为了解决这个问题,我们提出了一种叫做自适应无偏见教师(AUT)的自我训练框架,利用对抗的对抗学习和弱强的数据增强来解决域名。具体而言,我们在学生模型中使用特征级的对抗性培训,确保从源和目标域中提取的功能共享类似的统计数据。这使学生模型能够捕获域不变的功能。此外,我们在目标领域的教师模型和两个域上的学生模型之间应用了弱强的增强和相互学习。这使得教师模型能够从学生模型中逐渐受益,而不会遭受域移位。我们展示了AUT通过大边距显示所有现有方法甚至Oracle(完全监督)模型的优势。例如,我们在有雾的城市景观(Clipart1k)上实现了50.9%(49.3%)地图,分别比以前的最先进和甲骨文高9.2%(5.2%)和8.2%(11.0%)
translated by 谷歌翻译