本文比较并对11种UDA验证方法进行排名。验证者估计模型的准确性，这使它们成为任何UDA火车测试管道的重要组成部分。我们对这些验证器进行排名，以指示其中哪些最有用的目的是选择最佳模型，检查点和超参数。此外，我们建议并比较新的有效验证器，并显着改进了现有验证器的版本。据我们所知，这项大规模的基准研究是UDA领域中的第一项。

近年来，对无监督域适应（UDA）的兴趣飙升，导致血腥的新算法。但是，正如快速移动字段中的常见情况一样，基线算法未在它们应该的范围内进行测试。此外，已经注意到验证方法，即估计靶域标签的模型准确性的方法。尽管验证方法是任何UDA火车/ VAL管道的重要组成部分。在本文中，我们通过大规模实验显示1）在Oracle设置中，UDA算法之间的准确性差异小于先前认为，2）最先进的验证方法与准确性没有完全相关3）UDA算法之间的差异被验证方法引起的准确性下降。

深度学习模型的最新发展，捕捉作物物候的复杂的时间模式有卫星图像时间序列（坐在），大大高级作物分类。然而，当施加到目标区域从训练区空间上不同的，这些模型差没有任何目标标签由于作物物候区域之间的时间位移进行。为了解决这个无人监督跨区域适应环境，现有方法学域不变特征没有任何目标的监督，而不是时间偏移本身。因此，这些技术提供了SITS只有有限的好处。在本文中，我们提出TimeMatch，一种新的无监督领域适应性方法SITS直接占时移。 TimeMatch由两个部分组成：1）时间位移的估计，其估计具有源极训练模型的未标记的目标区域的时间偏移，和2）TimeMatch学习，它结合了时间位移估计与半监督学习到一个分类适应未标记的目标区域。我们还引进了跨区域适应的开放式访问的数据集与来自欧洲四个不同区域的旁边。在此数据集，我们证明了TimeMatch优于所有竞争的方法，通过11％的在五个不同的适应情景F1-得分，创下了新的国家的最先进的跨区域适应性。

无监督域适应（UDA）旨在将知识从相关但不同的良好标记的源域转移到新的未标记的目标域。大多数现有的UDA方法需要访问源数据，因此当数据保密而不相配在隐私问题时，不适用。本文旨在仅使用培训的分类模型来解决现实设置，而不是访问源数据。为了有效地利用适应源模型，我们提出了一种新颖的方法，称为源假设转移（拍摄），其通过将目标数据特征拟合到冻结源分类模块（表示分类假设）来学习目标域的特征提取模块。具体而言，拍摄挖掘出于特征提取模块的信息最大化和自我监督学习，以确保目标特征通过同一假设与看不见的源数据的特征隐式对齐。此外，我们提出了一种新的标签转移策略，它基于预测的置信度（标签信息），然后采用半监督学习来将目标数据分成两个分裂，然后提高目标域中的较为自信预测的准确性。如果通过拍摄获得预测，我们表示标记转移为拍摄++。关于两位数分类和对象识别任务的广泛实验表明，拍摄和射击++实现了与最先进的结果超越或相当的结果，展示了我们对各种视域适应问题的方法的有效性。代码可用于\ url {https：//github.com/tim-learn/shot-plus}。

许多利用移动设备中的传感器的应用以及应用机器学习以提供新颖的服务。然而，诸如不同的用户，设备，环境和超参数之类的各种因素影响了这种应用的性能，从而使域移位（即，来自训练源数据集的目标用户的分发偏移）是一个重要问题。虽然最近的域适应技术试图解决这个问题，但各种因素之间的复杂相互作用通常会限制其有效性。我们认为，准确估算未训练的域中的性能可能会显着降低性能不确定性。我们呈现Dapper（域适配性能估计器），其估计目标域中的适应性能，只有未标记的目标数据。我们的直觉是目标数据上模型的输出提供了模型在目标域中的实际性能的线索。 Dapper不需要昂贵的标签成本，也不需要在部署后涉及额外的培训。与四个基线相比，我们与四个真实世界传感数据集进行了评估，表明，估计精度平均17％平均占据了基线的表现。此外，我们的On-Device实验表明，与基线相比，Dapper达到了多达216倍的计算开销。

我们考虑了主动域适应（ADA）对未标记的目标数据的问题，其中哪个子集被主动选择并给定预算限制标记。受到对域适应性源和目标之间的标签分布不匹配的关键问题的最新分析的启发，我们设计了一种方法，该方法在ADA中首次解决该问题。它的核心是一种新颖的抽样策略，该策略寻求目标数据，以最能近似整个目标分布以及代表性，多样化和不确定。然后，采样目标数据不仅用于监督学习，还用于匹配源和目标域的标签分布，从而导致了显着的性能改善。在四个公共基准测试中，我们的方法在每个适应方案中都大大优于现有方法。

Collecting well-annotated image datasets to train modern machine learning algorithms is prohibitively expensive for many tasks. An appealing alternative is to render synthetic data where ground-truth annotations are generated automatically. Unfortunately, models trained purely on rendered images often fail to generalize to real images. To address this shortcoming, prior work introduced unsupervised domain adaptation algorithms that attempt to map representations between the two domains or learn to extract features that are domain-invariant. In this work, we present a new approach that learns, in an unsupervised manner, a transformation in the pixel space from one domain to the other. Our generative adversarial network (GAN)-based model adapts source-domain images to appear as if drawn from the target domain. Our approach not only produces plausible samples, but also outperforms the state-of-the-art on a number of unsupervised domain adaptation scenarios by large margins. Finally, we demonstrate that the adaptation process generalizes to object classes unseen during training.

Deep learning has produced state-of-the-art results for a variety of tasks. While such approaches for supervised learning have performed well, they assume that training and testing data are drawn from the same distribution, which may not always be the case. As a complement to this challenge, single-source unsupervised domain adaptation can handle situations where a network is trained on labeled data from a source domain and unlabeled data from a related but different target domain with the goal of performing well at test-time on the target domain. Many single-source and typically homogeneous unsupervised deep domain adaptation approaches have thus been developed, combining the powerful, hierarchical representations from deep learning with domain adaptation to reduce reliance on potentially-costly target data labels. This survey will compare these approaches by examining alternative methods, the unique and common elements, results, and theoretical insights. We follow this with a look at application areas and open research directions.

无监督的域适应（UDA）处理在标记数据仅适用于不同的源域时对未标记的目标域数据进行分类的问题。不幸的是，由于源数据和目标数据之间的域间隙，常用的分类方法无法充分实现这项任务。在本文中，我们提出了一种新颖的不确定性感知域适应设置，将不确定性模拟在特征空间中的多变量高斯分布。我们表明，我们提出的不确定性测量与其他常见的不确定性量化相关，并涉及平滑分类器的决策边界，从而提高泛化能力。我们在挑战UDA数据集中评估我们提出的管道，实现最先进的结果。我们的方法代码可用于https://gitlab.com/tringwald/cvp。

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.

Unsupervised domain adaptation reduces the reliance on data annotation in deep learning by adapting knowledge from a source to a target domain. For privacy and efficiency concerns, source-free domain adaptation extends unsupervised domain adaptation by adapting a pre-trained source model to an unlabeled target domain without accessing the source data. However, most existing source-free domain adaptation methods to date focus on the transductive setting, where the target training set is also the testing set. In this paper, we address source-free domain adaptation in the more realistic inductive setting, where the target training and testing sets are mutually exclusive. We propose a new semi-supervised fine-tuning method named Dual Moving Average Pseudo-Labeling (DMAPL) for source-free inductive domain adaptation. We first split the unlabeled training set in the target domain into a pseudo-labeled confident subset and an unlabeled less-confident subset according to the prediction confidence scores from the pre-trained source model. Then we propose a soft-label moving-average updating strategy for the unlabeled subset based on a moving-average prototypical classifier, which gradually adapts the source model towards the target domain. Experiments show that our proposed method achieves state-of-the-art performance and outperforms previous methods by large margins.

Unlike human learning, machine learning often fails to handle changes between training (source) and test (target) input distributions. Such domain shifts, common in practical scenarios, severely damage the performance of conventional machine learning methods. Supervised domain adaptation methods have been proposed for the case when the target data have labels, including some that perform very well despite being "frustratingly easy" to implement. However, in practice, the target domain is often unlabeled, requiring unsupervised adaptation. We propose a simple, effective, and efficient method for unsupervised domain adaptation called CORrelation ALignment (CORAL). CORAL minimizes domain shift by aligning the second-order statistics of source and target distributions, without requiring any target labels. Even though it is extraordinarily simple-it can be implemented in four lines of Matlab code-CORAL performs remarkably well in extensive evaluations on standard benchmark datasets."Everything should be made as simple as possible, but not simpler."

域适应性是现代机器学习中的一种流行范式，旨在解决培训或验证数据集之间具有用于学习和测试分类器（源域）和潜在的大型未标记数据集的培训或验证数据集之间的分歧问题，其中利用了模型（目标域）（目标域）（目标域） 。任务是找到源数据集的源和目标数据集的这种常见表示，其中源数据集提供了培训的信息，因此可以最大程度地减少来源和目标之间的差异。目前，最流行的领域适应性解决方案是基于训练神经网络，这些神经网络结合了分类和对抗性学习模块，这些模块是饥饿的，通常很难训练。我们提出了一种称为域适应性主成分分析（DAPCA）的方法，该方法发现线性减少的数据表示有助于解决域适应任务。 DAPCA基于数据点对之间引入正权重，并概括了主成分分析的监督扩展。 DAPCA代表一种迭代算法，因此在每次迭代中都解决了一个简单的二次优化问题。保证算法的收敛性，并且在实践中的迭代次数很少。我们验证了先前提出的用于解决域适应任务的基准的建议算法，还显示了在生物医学应用中对单细胞法数据集进行分析中使用DAPCA的好处。总体而言，考虑到源域和目标域之间可能的差异，DAPCA可以作为许多机器学习应用程序中有用的预处理步骤。

未经监督的域适应（UDA）用于重新识别（RE-ID）是一个具有挑战性的任务：避免昂贵的附加数据的注释，它旨在将知识从域转移到仅具有未标记数据的域的带注释数据。已证明伪标签方法已对UDA重新ID有效。然而，这些方法的有效性大量取决于通过聚类影响影响伪标签的一些超参数（HP）的选择。兴趣领域缺乏注释使得这一选择是非微不足道的。目前的方法只需重复使用所有适应任务的相同的经验值，并且无论通过伪标记培训阶段都会改变的目标数据表示。由于这种简单的选择可能会限制其性能，我们的目标是解决这个问题。我们提出了对聚类UDA RE-ID进行培训选择的新理论基础以及伪标签UDA聚类的自动和循环HP调谐方法：丘比巴。 Hyprass在伪标记方法中包含两个模块：（i）基于标记源验证集的HP选择和（ii）特征歧视的条件域对齐，以改善基于源样本的HP选择。关于常用的人员重新ID和车辆重新ID数据集的实验表明，与常用的经验HP设置相比，我们所提出的次数始终如一地提高RE-ID中最先进的方法。

半监督域适应（SSDA）是将学习者调整到新域，只有一小组标记的数据集在源域上给出时，只有一小组标记的样本。在本文中，我们提出了一种基于对的SSDA方法，使用用样品对的自蒸馏来适应靶域的模型。每个样本对由来自标记数据集（即源或标记为目标）的教师样本以及来自未标记数据集的学生样本（即，未标记的目标）组成。我们的方法通过在教师和学生之间传输中间样式来生成助手功能，然后通过最小化学生和助手之间的输出差异来培训模型。在培训期间，助手逐渐弥合了两个域之间的差异，从而让学生容易地从老师那里学习。标准基准测试的实验评估表明，我们的方法有效地减少了域间和域内的差异，从而实现了对最近的方法的显着改进。

We demonstrate that self-learning techniques like entropy minimization and pseudo-labeling are simple and effective at improving performance of a deployed computer vision model under systematic domain shifts. We conduct a wide range of large-scale experiments and show consistent improvements irrespective of the model architecture, the pre-training technique or the type of distribution shift. At the same time, self-learning is simple to use in practice because it does not require knowledge or access to the original training data or scheme, is robust to hyperparameter choices, is straight-forward to implement and requires only a few adaptation epochs. This makes self-learning techniques highly attractive for any practitioner who applies machine learning algorithms in the real world. We present state-of-the-art adaptation results on CIFAR10-C (8.5% error), ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error), theoretically study the dynamics of self-supervised adaptation methods and propose a new classification dataset (ImageNet-D) which is challenging even with adaptation.

典型的多源域适应性（MSDA）方法旨在将知识从一组标记的源域中学习的知识转移到一个未标记的目标域。然而，先前的工作严格假设每个源域都与目标域共享相同的类别类别，因为目标标签空间无法观察到，这几乎无法保证。在本文中，我们考虑了MSDA的更广泛的设置，即广义的多源域适应性，其中源域部分重叠，并且允许目标域包含任何源域中未呈现的新型类别。由于域的共存和类别跨源域和目标域的转移，因此这种新设置比任何现有的域适应协议都难以捉摸。为了解决这个问题，我们提出了一个变分域分解（VDD）框架，该框架通过鼓励尺寸独立性来分解每个实例的域表示和语义特征。为了识别未知类别的目标样本，我们利用在线伪标签，该标签将伪标签分配给基于置信分数的未标记目标数据。在两个基准数据集上进行的定量和定性实验证明了拟议框架的有效性。

当源和目标域之间存在较大差异时，无监督域适应性的有效性会降低。通过利用逐渐从源到目标转移的其他未标记数据，逐渐的域适应（GDA）是减轻此问题的一种有希望的方法。通过依次沿“索引”中间域调整模型，GDA显着提高了整体适应性性能。但是，实际上，额外的未标记数据可能不会分离为中间域并正确索引，从而限制了GDA的适用性。在本文中，我们研究了如何在尚未可用时发现中间域的序列。具体而言，我们提出了一个粗到精细的框架，该框架从通过渐进域鉴别训练的粗域发现步骤开始。然后，这种粗糙的域序列通过新的周期矛盾损失进行了精细的索引步骤，这鼓励下一个中间域，以保留对当前中间域的足够判别知识。然后可以通过GDA算法使用所得的域序列。在GDA的基准数据集上，我们表明，我们将其命名为中间域标签（偶像）的方法可以导致与预定义的域序列相比，可相当甚至更好的适应性性能，使GDA更适合质量，使GDA更适用和强大域序列。代码可从https://github.com/hongyouc/idol获得。

The cost of large scale data collection and annotation often makes the application of machine learning algorithms to new tasks or datasets prohibitively expensive. One approach circumventing this cost is training models on synthetic data where annotations are provided automatically. Despite their appeal, such models often fail to generalize from synthetic to real images, necessitating domain adaptation algorithms to manipulate these models before they can be successfully applied. Existing approaches focus either on mapping representations from one domain to the other, or on learning to extract features that are invariant to the domain from which they were extracted. However, by focusing only on creating a mapping or shared representation between the two domains, they ignore the individual characteristics of each domain. We suggest that explicitly modeling what is unique to each domain can improve a model's ability to extract domain-invariant features. Inspired by work on private-shared component analysis, we explicitly learn to extract image representations that are partitioned into two subspaces: one component which is private to each domain and one which is shared across domains. Our model is trained not only to perform the task we care about in the source domain, but also to use the partitioned representation to reconstruct the images from both domains. Our novel architecture results in a model that outperforms the state-of-the-art on a range of unsupervised domain adaptation scenarios and additionally produces visualizations of the private and shared representations enabling interpretation of the domain adaptation process.

尽管最近在改善错误信息检测系统的性能方面取得了进展，但在看不见的领域中进行错误信息进行分类仍然是一个难以捉摸的挑战。为了解决这个问题，一种常见的方法是引入域名评论家并鼓励域不变的输入功能。但是，早期的错误信息通常证明了针对现有的错误信息数据（例如，COVID-19数据集中的类不平衡）的条件和标签转移，这使得这种方法在检测早期错误信息方面的有效性较小。在本文中，我们提出了早期错误信息检测（CANMD）的对比适应网络。具体而言，我们利用伪标签来生成高信心的目标示例，用于与源数据的联合培训。我们还设计了标签校正成分，以估算和校正源和目标域之间的标签移动（即类先验）。此外，对比度适应损失已集成在目标函数中，以减少类内部差异并扩大阶层间差异。因此，改编的模型学习了校正的类先验和两个域之间不变的条件分布，以改善目标数据分布的估计。为了证明所提出的CANMD的有效性，我们研究了Covid-19的早期错误信息检测的案例，并使用多个现实世界数据集进行了广泛的实验。结果表明，与最先进的基线相比，CANMD可以有效地将错误信息检测系统适应不见的Covid-19目标域，并有显着改进。