现有的基于学习的盲图质量评估方法（BIQA）在很大程度上取决于大量注释的培训数据，并且在遇到域/分配转移问题时通常会遭受严重的性能降解。得益于无监督的域适应性（UDA）的开发，一些工作试图将知识从带有标签的源域转移到使用UDA域移动下的无标签目标域。但是，它需要源和目标数据共存，由于隐私或存储问题，这对于源数据可能是不切实际的。在本文中，我们以简单而有效的方式迈出了无源无监督的域适应（SFUDA），以使BIQA无需访问源数据即可解决域移动。具体而言，我们将质量评估任务作为评级分配预测问题。基于BIQA的内在特性，我们提出了一组精心设计的自我监督目标，以指导BN仿射参数对目标域的适应。其中，最大程度地减少了预测熵并最大化批次预测多样性的目的是鼓励更自信的结果，同时避免琐碎的解决方案。此外，基于这样的观察，即单个图像的IQA评级分布遵循高斯分布，我们将高斯正则化应用于预测的评级分布，以使其与人类评分的性质更加一致。在跨域情景下的广泛实验结果证明了我们提出的减轻域移位方法的有效性。

深度神经网络（DNN）在非参考图像质量评估（NR-IQA）方面具有巨大潜力。但是，NR-IQA的注释是劳动密集型且耗时的，这严重限制了其对真实图像的应用。为了减轻对质量注释的依赖，一些作品已将无监督的域适应性（UDA）应用于NR-IQA。但是，上述方法忽略了分类中使用的对齐空间是最佳选择，因为该空间不是为了感知而精心设计的。为了解决这一挑战，我们提出了一个有效的面向感知的无监督域适应方法，用于NR-IQA，该方法通过富含标签的源域数据将足够的知识转移到通过样式的对齐和混合的标签目标域图像。具体而言，我们发现了一个更紧凑，更可靠的空间，即基于有趣/惊人的观察结果，以感知为导向的UDA的特征样式空间，即DNN中深层的功能样式（即平均和差异）与DNN中的深层层完全相关NR-IQA的质量得分。因此，我们建议在更面向感知的空间（即特征样式空间）中对齐源和目标域，以减少其他质量 - Irretrelevant特征因素的干预措施。此外，为了提高质量得分与其功能样式之间的一致性，我们还提出了一种新颖的功能增强策略样式混音，将DNN的最后一层之前将功能样式（即平均值和差异）混合在一起，并混合使用标签。对两个典型的跨域设置（即合成至真实性和多种变形）的广泛实验结果证明了我们提出的styleam对NR-IQA的有效性。

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

Unsupervised domain adaptation (UDA) via deep learning has attracted appealing attention for tackling domain-shift problems caused by distribution discrepancy across different domains. Existing UDA approaches highly depend on the accessibility of source domain data, which is usually limited in practical scenarios due to privacy protection, data storage and transmission cost, and computation burden. To tackle this issue, many source-free unsupervised domain adaptation (SFUDA) methods have been proposed recently, which perform knowledge transfer from a pre-trained source model to unlabeled target domain with source data inaccessible. A comprehensive review of these works on SFUDA is of great significance. In this paper, we provide a timely and systematic literature review of existing SFUDA approaches from a technical perspective. Specifically, we categorize current SFUDA studies into two groups, i.e., white-box SFUDA and black-box SFUDA, and further divide them into finer subcategories based on different learning strategies they use. We also investigate the challenges of methods in each subcategory, discuss the advantages/disadvantages of white-box and black-box SFUDA methods, conclude the commonly used benchmark datasets, and summarize the popular techniques for improved generalizability of models learned without using source data. We finally discuss several promising future directions in this field.

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.

Test-time adaptation (TTA) has attracted significant attention due to its practical properties which enable the adaptation of a pre-trained model to a new domain with only target dataset during the inference stage. Prior works on TTA assume that the target dataset comes from the same distribution and thus constitutes a single homogeneous domain. In practice, however, the target domain can contain multiple homogeneous domains which are sufficiently distinctive from each other and those multiple domains might occur cyclically. Our preliminary investigation shows that domain-specific TTA outperforms vanilla TTA treating compound domain (CD) as a single one. However, domain labels are not available for CD, which makes domain-specific TTA not practicable. To this end, we propose an online clustering algorithm for finding pseudo-domain labels to obtain similar benefits as domain-specific configuration and accumulating knowledge of cyclic domains effectively. Moreover, we observe that there is a significant discrepancy in terms of prediction quality among samples, especially in the CD context. This further motivates us to boost its performance with gradient denoising by considering the image-wise similarity with the source distribution. Overall, the key contribution of our work lies in proposing a highly significant new task compound domain test-time adaptation (CD-TTA) on semantic segmentation as well as providing a strong baseline to facilitate future works to benchmark.

虽然在许多域内生成并提供了大量的未标记数据，但对视觉数据的自动理解的需求高于以往任何时候。大多数现有机器学习模型通常依赖于大量标记的训练数据来实现高性能。不幸的是，在现实世界的应用中，不能满足这种要求。标签的数量有限，手动注释数据昂贵且耗时。通常需要将知识从现有标记域传输到新域。但是，模型性能因域之间的差异（域移位或数据集偏差）而劣化。为了克服注释的负担，域适应（DA）旨在在将知识从一个域转移到另一个类似但不同的域中时减轻域移位问题。无监督的DA（UDA）处理标记的源域和未标记的目标域。 UDA的主要目标是减少标记的源数据和未标记的目标数据之间的域差异，并在培训期间在两个域中学习域不变的表示。在本文中，我们首先定义UDA问题。其次，我们从传统方法和基于深度学习的方法中概述了不同类别的UDA的最先进的方法。最后，我们收集常用的基准数据集和UDA最先进方法的报告结果对视觉识别问题。

Deep learning models can achieve high accuracy when trained on large amounts of labeled data. However, real-world scenarios often involve several challenges: Training data may become available in installments, may originate from multiple different domains, and may not contain labels for training. Certain settings, for instance medical applications, often involve further restrictions that prohibit retention of previously seen data due to privacy regulations. In this work, to address such challenges, we study unsupervised segmentation in continual learning scenarios that involve domain shift. To that end, we introduce GarDA (Generative Appearance Replay for continual Domain Adaptation), a generative-replay based approach that can adapt a segmentation model sequentially to new domains with unlabeled data. In contrast to single-step unsupervised domain adaptation (UDA), continual adaptation to a sequence of domains enables leveraging and consolidation of information from multiple domains. Unlike previous approaches in incremental UDA, our method does not require access to previously seen data, making it applicable in many practical scenarios. We evaluate GarDA on two datasets with different organs and modalities, where it substantially outperforms existing techniques.

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

睡眠分期在诊断和治疗睡眠障碍中非常重要。最近，已经提出了许多数据驱动的深度学习模型，用于自动睡眠分期。他们主要在一个大型公共标签的睡眠数据集上训练该模型，并在较小的主题上对其进行测试。但是，他们通常认为火车和测试数据是从相同的分布中绘制的，这可能在现实世界中不存在。最近已经开发了无监督的域适应性（UDA）来处理此域移位问题。但是，以前用于睡眠分期的UDA方法具有两个主要局限性。首先，他们依靠一个完全共享的模型来对齐，该模型可能会在功能提取过程中丢失特定于域的信息。其次，它们仅在全球范围内将源和目标分布对齐，而无需考虑目标域中的类信息，从而阻碍了测试时模型的分类性能。在这项工作中，我们提出了一个名为Adast的新型对抗性学习框架，以解决未标记的目标域中的域转移问题。首先，我们开发了一个未共享的注意机制，以保留两个领域中的域特异性特征。其次，我们设计了一种迭代自我训练策略，以通过目标域伪标签提高目标域上的分类性能。我们还建议双重分类器，以提高伪标签的鲁棒性和质量。在六个跨域场景上的实验结果验证了我们提出的框架的功效及其优于最先进的UDA方法。源代码可在https://github.com/emadeldeen24/adast上获得。

受益于从特定情况（源）收集的相当大的像素级注释，训练有素的语义分段模型表现得非常好，但由于大域移位而导致的新情况（目标）失败。为了缓解域间隙，先前的跨域语义分段方法始终在域对齐期间始终假设源数据和目标数据的共存。但是，在实际方案中访问源数据可能会引发隐私问题并违反知识产权。为了解决这个问题，我们专注于一个有趣和具有挑战性的跨域语义分割任务，其中仅向目标域提供训练源模型。具体地，我们提出了一种称为ATP的统一框架，其包括三种方案，即特征对准，双向教学和信息传播。首先，我们设计了课程熵最小化目标，以通过提供的源模型隐式对准目标功能与看不见的源特征。其次，除了vanilla自我训练中的正伪标签外，我们是第一个向该领域引入负伪标签的，并开发双向自我训练策略，以增强目标域中的表示学习。最后，采用信息传播方案来通过伪半监督学习进一步降低目标域内的域内差异。综合与跨城市驾驶数据集的广泛结果验证\ TextBF {ATP}产生最先进的性能，即使是需要访问源数据的方法。

无监督的域适应性（UDA）引起了相当大的关注，这将知识从富含标签的源域转移到相关但未标记的目标域。减少域间差异一直是提高UDA性能的关键因素，尤其是对于源域和目标域之间存在较大差距的任务。为此，我们提出了一种新颖的风格感知功能融合方法（SAFF），以弥合大域间隙和转移知识，同时减轻阶级歧视性信息的丧失。受到人类传递推理和学习能力的启发，研究了一种新颖的风格感知的自我互化领域（SSID），通过一系列中级辅助综合概念将两个看似无关的概念联系起来。具体而言，我们提出了一种新颖的SSID学习策略，该策略从源和目标域中选择样本作为锚点，然后随机融合这些锚的对象和样式特征，以生成具有标记和样式丰富的中级辅助功能以进行知识转移。此外，我们设计了一个外部存储库来存储和更新指定的标记功能，以获得稳定的类功能和班级样式功能。基于提议的内存库，内部和域间损耗功能旨在提高类识别能力和特征兼容性。同时，我们通过无限抽样模拟SSID的丰富潜在特征空间，并通过数学理论模拟损失函数的收敛性。最后，我们对常用的域自适应基准测试进行了全面的实验，以评估所提出的SAFF，并且实验结果表明，所提出的SAFF可以轻松地与不同的骨干网络结合在一起，并获得更好的性能作为插入插型模块。

在过去的十年中，许多深入学习模型都受到了良好的培训，并在各种机器智能领域取得了巨大成功，特别是对于计算机视觉和自然语言处理。为了更好地利用这些训练有素的模型在域内或跨域转移学习情况下，提出了知识蒸馏（KD）和域适应（DA）并成为研究亮点。他们旨在通过原始培训数据从训练有素的模型转移有用的信息。但是，由于隐私，版权或机密性，原始数据并不总是可用的。最近，无数据知识转移范式吸引了吸引人的关注，因为它涉及从训练有素的模型中蒸馏宝贵的知识，而无需访问培训数据。特别是，它主要包括无数据知识蒸馏（DFKD）和源无数据域适应（SFDA）。一方面，DFKD旨在将域名域内知识从一个麻烦的教师网络转移到一个紧凑的学生网络，以进行模型压缩和有效推论。另一方面，SFDA的目标是重用存储在训练有素的源模型中的跨域知识并将其调整为目标域。在本文中，我们对知识蒸馏和无监督域适应的视角提供了全面的数据知识转移，以帮助读者更好地了解目前的研究状况和想法。分别简要审查了这两个领域的应用和挑战。此外，我们对未来研究的主题提供了一些见解。

深度学习已成为解决不同领域中现实世界中问题的首选方法，部分原因是它能够从数据中学习并在广泛的应用程序上实现令人印象深刻的性能。但是，它的成功通常取决于两个假设：（i）精确模型拟合需要大量标记的数据集，并且（ii）培训和测试数据是独立的且分布相同的。因此，不能保证它在看不见的目标域上的性能，尤其是在适应阶段遇到分布数据的数据时。目标域中数据的性能下降是部署深层神经网络的关键问题，这些网络已成功地在源域中的数据训练。通过利用标记的源域数据和未标记的目标域数据来执行目标域中的各种任务，提出了无监督的域适应（UDA）来对抗这一点。 UDA在自然图像处理，视频分析，自然语言处理，时间序列数据分析，医学图像分析等方面取得了令人鼓舞的结果。在本综述中，作为一个快速发展的主题，我们对其方法和应用程序进行了系统的比较。此外，还讨论了UDA与其紧密相关的任务的联系，例如域的概括和分布外检测。此外，突出显示了当前方法和可能有希望的方向的缺陷。

无监督的域适应性（UDA）是一个至关重要的协议，用于迁移从标记的源域中学到的信息，以促进未标记的异质目标域中的实现。尽管UDA通常经过来自两个域的数据的共同培训，但由于对患者数据隐私或知识产权的担忧，访问标记的源域数据通常受到限制。为了避开此问题，我们提出了“现成的（OS）” UDA（OSUDA），针对图像分割，通过调整在源域中训练的OS进行调整到目标域，在适应中没有源域数据的情况下， 。为了实现这一目标，我们旨在开发新的批准归一化（BN）统计适应框架。特别是，我们通过指数型衰减策略逐渐适应了特定于域的低阶BN统计数据，例如平均值和差异，同时明确执行可共享的可共享高阶BN统计的一致性，例如，扩展和转移因子缩放和转移因子。 ，通过我们的优化目标。我们还通过低阶统计差异和缩放因素来自适应量化通道的可传递性，以评估每个通道的重要性。记忆一致的自我训练策略利用可靠的伪标签来稳定，有效的无监督适应。我们评估了基于OSUDA的跨模式和交叉型脑肿瘤分割和心脏MR到CT分割任务的框架。我们的实验结果表明，我们的内存一致性的OSUDA的性能优于现有的 - 源 - 删除的UDA方法，并且具有与源数据的UDA方法相似的性能。

基于深度学习的计算机辅助诊断（CAD）在学术研究和临床应用中引起了吸引人的关注。然而，卷积神经网络（CNN）诊断系统严重依赖于标记的病变数据集，对数据分布变化的敏感性也限制了CNN在CAD中的潜在应用。开发了无监督的域适应性（UDA）方法来解决昂贵的注释和域间隙问题，并在医学图像分析中取得了巨大的成功。然而，现有的UDA方法仅适应从源病变域中汲取的知识到一个单个目标病变域，这是针对临床情况的：要诊断的新的未标记的目标域始终以在线和连续的方式到达。此外，由于新知识的知识覆盖了先前学到的知识（即灾难性的遗忘），因此现有方法的性能在先前学到的目标病变域上大大降低。为了处理上述问题，我们开发了一个名为连续病变知识元适应（CLKM）的元适应框架，该框架主要由语义适应阶段（​​SAP）和表示适应阶段（​​RAP）组成，以在线学习诊断模型和连续的方式。在SAP中，从源病变域中学到的语义知识转移到连续的靶病变域。在RAP中，优化了功能提取器以对齐整个源和多个目标病变域的可转移表示知识。

基于无监督的域适应性（UDA），由于目标情景的表现有希望的表现，面部抗散热器（FAS）方法引起了人们的注意。大多数现有的UDA FAS方法通常通过对齐语义高级功能的分布来拟合受过训练的模型。但是，对未标记的目标域的监督不足，低水平特征对齐降低了现有方法的性能。为了解决这些问题，我们提出了UDA FAS的新颖观点，该视角将目标数据直接适合于模型，即，通过图像翻译将目标数据风格化为源域样式，并进一步将风格化的数据提供给训练有素的数据分类的源模型。提出的生成域适应（GDA）框架结合了两个精心设计的一致性约束：1）域间神经统计量的一致性指导发生器缩小域间间隙。 2）双层语义一致性确保了风格化图像的语义质量。此外，我们提出了域内频谱混合物，以进一步扩大目标数据分布，以确保概括并减少域内间隙。广泛的实验和可视化证明了我们方法对最新方法的有效性。

基于视频的无监督域适应性（VUDA）方法改善了视频模型的鲁棒性，从而使它们能够应用于不同环境的动作识别任务。但是，这些方法需要在适应过程中不断访问源数据。然而，在许多现实世界中，源视频域中的主题和场景应该与目标视频域中的主题和场景无关。随着对数据隐私的越来越重视，需要源数据访问的方法会引起严重的隐私问题。因此，为应对这种关注，更实用的域适应情景被提出为基于无源的视频域的适应性（SFVDA）。尽管图像数据上有一些无源域适应性（SFDA）的方法，但由于视频的多模式性质，这些方法在SFVDA中产生了退化性能，并且存在其他时间特征。在本文中，我们提出了一个新颖的专注时间一致网络（ATCON）来通过学习时间一致性来解决SFVDA，并由两个新颖的一致性目标保证，即具有跨局部时间特征执行的特征一致性和源预测一致性。 ATCON通过基于预测置信度参与本地时间特征，进一步构建有效的总体特征。经验结果表明，ATCON在各种跨域动作识别基准中的最先进表现。

In this paper, we investigate a challenging unsupervised domain adaptation setting -unsupervised model adaptation. We aim to explore how to rely only on unlabeled target data to improve performance of an existing source prediction model on the target domain, since labeled source data may not be available in some real-world scenarios due to data privacy issues. For this purpose, we propose a new framework, which is referred to as collaborative class conditional generative adversarial net to bypass the dependence on the source data. Specifically, the prediction model is to be improved through generated target-style data, which provides more accurate guidance for the generator. As a result, the generator and the prediction model can collaborate with each other without source data. Furthermore, due to the lack of supervision from source data, we propose a weight constraint that encourages similarity to the source model. A clustering-based regularization is also introduced to produce more discriminative features in the target domain. Compared to conventional domain adaptation methods, our model achieves superior performance on multiple adaptation tasks with only unlabeled target data, which verifies its effectiveness in this challenging setting.

无监督域适应（UDA）已成功解决了可视应用程序的域移位问题。然而，由于以下原因，这些方法可能对时间序列数据的性能有限。首先，它们主要依赖于用于源预制的大规模数据集（即，ImageNet），这不适用于时间序列数据。其次，它们在域对齐步骤期间忽略源极限和目标域的特征空间上的时间维度。最后，最先前的UDA方法中的大多数只能对齐全局特征而不考虑目标域的细粒度分布。为了解决这些限制，我们提出了一个自我监督的自回归域适应（Slarda）框架。特别是，我们首先设计一个自我监督的学习模块，它利用预测作为辅助任务以提高源特征的可转换性。其次，我们提出了一种新的自回归域自适应技术，其包括在域对齐期间源和目标特征的时间依赖性。最后，我们开发了一个集合教师模型，通过自信的伪标记方法对准目标域中的类明智分发。已经在三个现实世界时间序列应用中进行了广泛的实验，具有30个跨域方案。结果表明，我们所提出的杆状方法明显优于时序序列域适应的最先进的方法。