PyTorch Adapt is a library for domain adaptation, a type of machine learning algorithm that re-purposes existing models to work in new domains. It is a fully-featured toolkit, allowing users to create a complete train/test pipeline in a few lines of code. It is also modular, so users can import just the parts they need, and not worry about being locked into a framework. One defining feature of this library is its customizability. In particular, complex training algorithms can be easily modified and combined, thanks to a system of composable, lazily-evaluated hooks. In this technical report, we explain in detail these features and the overall design of the library. Code is available at https://www.github.com/KevinMusgrave/pytorch-adapt

本文比较并对11种UDA验证方法进行排名。验证者估计模型的准确性，这使它们成为任何UDA火车测试管道的重要组成部分。我们对这些验证器进行排名，以指示其中哪些最有用的目的是选择最佳模型，检查点和超参数。此外，我们建议并比较新的有效验证器，并显着改进了现有验证器的版本。据我们所知，这项大规模的基准研究是UDA领域中的第一项。

具有预先训练的语言模型（PRLM）的无监督域适应（UDA）已经取得了有希望的结果，因为这些预先训练的模型嵌入了从各个领域学习的通用知识。但是，微调PRLM的所有参数在小型域的特定语料库上扭曲了学习的通用知识，并且为每个域部署整个细小的PRLM也是昂贵的。本文探讨了无监督域适应的基于适配器的微调方法。具体地，在PRLM中插入了几个可培训适配器模块，通过在微调时固定原始PRLM的参数来保留嵌入的通用知识。引入域融合方案以利用混合域组件培训这些适配器，以更好地捕获可转移特征。执行了两个基准数据集的详细实验，结果表明我们的方法是有效的，不同的任务，数据集大小和域相似性。

众包被视为有效监督学习的一个潜在解决方案，旨在通过人群工人建立大规模的注释培训数据。以前的研究重点是减少来自众包注释的噪音的影响。我们在这项工作中涉及不同的观点，关于所有众包作为个人注册人的金标。通过这种方式，我们发现众群可能与域适应高度相似，然后近域方法的最近进步几乎可以直接应用于众包。在这里，我们将命名实体识别（ner）作为一项研究案例，建议由尝试捕获有效域感知功能的域适配方法的吸引人感知表示学习模型。我们调查无监督和监督的众群学习，假设没有或只有小型专家注释。基准众包的实验结果表明，我们的方法非常有效，导致新的最先进的性能。此外，在监督环境下，我们只能通过非常小的专家注释来实现令人印象深刻的性能。

近年来，对无监督域适应（UDA）的兴趣飙升，导致血腥的新算法。但是，正如快速移动字段中的常见情况一样，基线算法未在它们应该的范围内进行测试。此外，已经注意到验证方法，即估计靶域标签的模型准确性的方法。尽管验证方法是任何UDA火车/ VAL管道的重要组成部分。在本文中，我们通过大规模实验显示1）在Oracle设置中，UDA算法之间的准确性差异小于先前认为，2）最先进的验证方法与准确性没有完全相关3）UDA算法之间的差异被验证方法引起的准确性下降。

关于无监督域适应性（UDA）的大多数现有研究都认为每个域的训练样本都带有域标签（例如绘画，照片）。假定每个域中的样品都遵循相同的分布，并利用域标签通过特征对齐来学习域不变特征。但是，这样的假设通常并不成立 - 通常存在许多较细粒的领域（例如，已经开发出了数十种现代绘画样式，每种绘画样式与经典风格的范围都有很大不同）。因此，在每个人工定义和粗粒结构域之间强迫特征分布对齐可能是无效的。在本文中，我们从完全不同的角度解决了单源和多源UDA，即将每个实例视为一个良好的域。因此，跨域的特征对齐是冗余。相反，我们建议执行动态实例域的适应性（DIDA）。具体而言，开发了具有自适应卷积内核的动态神经网络，以生成实例自适应残差，以使域 - 无知的深度特征适应每个单独的实例。这使得共享分类器可以同时应用于源域数据，而无需依赖任何域注释。此外，我们没有施加复杂的特征对准损失，而是仅使用标记的源和伪标记为目标数据的跨透镜损失采用简单的半监督学习范式。我们的模型被称为DIDA-NET，可以在几种常用的单源和多源UDA数据集上实现最先进的性能，包括数字，办公室房屋，域名，域名，Digit-Five和PAC。

对抗示例在不同模型之间可以转移。在我们的论文中，我们建议将此属性用于多步域适应。在无监督的域改编设置中，我们证明，用对抗性示例代替源域$ \ Mathcal {h} \ delta \ Mathcal \ Mathcal {h} $ - divergence可以提高目标域上的源分类器精度。我们的方法可以连接到大多数域适应技术。我们进行了一系列实验，并在数字和办公室数据集上的准确性提高了。

This paper solves a generalized version of the problem of multi-source model adaptation for semantic segmentation. Model adaptation is proposed as a new domain adaptation problem which requires access to a pre-trained model instead of data for the source domain. A general multi-source setting of model adaptation assumes strictly that each source domain shares a common label space with the target domain. As a relaxation, we allow the label space of each source domain to be a subset of that of the target domain and require the union of the source-domain label spaces to be equal to the target-domain label space. For the new setting named union-set multi-source model adaptation, we propose a method with a novel learning strategy named model-invariant feature learning, which takes full advantage of the diverse characteristics of the source-domain models, thereby improving the generalization in the target domain. We conduct extensive experiments in various adaptation settings to show the superiority of our method. The code is available at https://github.com/lzy7976/union-set-model-adaptation.

There is a growing interest in learning data representations that work well for many different types of problems and data. In this paper, we look in particular at the task of learning a single visual representation that can be successfully utilized in the analysis of very different types of images, from dog breeds to stop signs and digits. Inspired by recent work on learning networks that predict the parameters of another, we develop a tunable deep network architecture that, by means of adapter residual modules, can be steered on the fly to diverse visual domains. Our method achieves a high degree of parameter sharing while maintaining or even improving the accuracy of domain-specific representations. We also introduce the Visual Decathlon Challenge, a benchmark that evaluates the ability of representations to capture simultaneously ten very different visual domains and measures their ability to perform well uniformly.

在本文中，我们提出了一种使用域鉴别特征模块的双模块网络架构，以鼓励域不变的特征模块学习更多域不变的功能。该建议的架构可以应用于任何利用域不变功能的任何模型，用于无监督域适应，以提高其提取域不变特征的能力。我们在作为代表性算法的神经网络（DANN）模型的区域 - 对抗训练进行实验。在培训过程中，我们为两个模块提供相同的输入，然后分别提取它们的特征分布和预测结果。我们提出了差异损失，以找到预测结果的差异和两个模块之间的特征分布。通过对抗训练来最大化其特征分布和最小化其预测结果的差异，鼓励两个模块分别学习更多域歧视和域不变特征。进行了广泛的比较评估，拟议的方法在大多数无监督的域适应任务中表现出最先进的。

在本文中，我们解决了一次性分段的单次无监督域适应（OSUDA）的问题，其中分段器在训练期间只看到一个未标记的目标图像。在这种情况下，传统的无监督域适应模型通常失败，因为它们不能适应目标域，以具有过度拟合到一个（或几个）目标样本。为了解决这个问题，现有的OSUDA方法通常集成了一种样式传输模块，基于未标记的目标样本执行域随机化，可以在训练期间探讨目标样本周围的多个域。然而，这种样式传输模块依赖于一组额外的图像作为预训练的样式参考，并且还增加了对域适应的内存需求。在这里，我们提出了一种新的奥德达方法，可以有效地缓解这种计算负担。具体而言，我们将多个样式混合层集成到分段器中，该分段器播放样式传输模块的作用，以在不引入任何学习参数的情况下使源图像进行体现。此外，我们提出了一种剪辑的原型匹配（PPM）方法来加权考虑源像素在监督训练期间的重要性，以缓解负适应。实验结果表明，我们的方法在单次设置下的两个常用基准上实现了新的最先进的性能，并且比所有比较方法更有效。

尽管视觉变压器（VIT）表现出令人印象深刻的表示学习能力，但我们从经验上发现，它们不能很好地将其概括为具有以前的域泛化算法的看不见的域。在本文中，我们提出了一种基于迅速学习的新方法，以嵌入域中的源域的知识提示目标域预测。具体而言，在来自相应的源域中的VIT输入令牌之前先进行域提示。每个域提示都可以有效地学习特定于领域的知识，因为仅针对一个域进行了优化。同时，我们训练一个及时的适配器，根据学习的源域提示为每个输入图像生成适当的提示。在测试时，提示适配器生成的改编提示可以利用室外图像和源域的特征之间的相似性，以正确整合源域知识。广泛的实验是在四个基准数据集上进行的。我们的方法在平均准确性方面提高了1.4％，这是使用VIT主链改善最先进算法的3.5倍。

域适应是一种解决未经看线环境中缺乏大量标记数据的技术。提出了无监督的域适应，以使模型适用于使用单独标记的源数据和未标记的目标域数据的新模式。虽然已经提出了许多图像空间域适配方法来捕获像素级域移位，但是这种技术可能无法维持分割任务的高电平语义信息。对于生物医学图像的情况，在域之间的图像转换操作期间，诸如血管的细细节可能会丢失。在这项工作中，我们提出了一种模型，它使用周期 - 一致丢失在域之间适应域，同时通过在适应过程中强制执行基于边缘的损耗来维持原始图像的边缘细节。我们通过将其与其他两只眼底血管分割数据集的其他方法进行比较来证明我们的算法的有效性。与SOTA和〜5.2增量相比，我们达到了1.1〜9.2递增的骰子分数。

Recent advances in NLP are brought by a range of large-scale pretrained language models (PLMs). These PLMs have brought significant performance gains for a range of NLP tasks, circumventing the need to customize complex designs for specific tasks. However, most current work focus on finetuning PLMs on a domain-specific datasets, ignoring the fact that the domain gap can lead to overfitting and even performance drop. Therefore, it is practically important to find an appropriate method to effectively adapt PLMs to a target domain of interest. Recently, a range of methods have been proposed to achieve this purpose. Early surveys on domain adaptation are not suitable for PLMs due to the sophisticated behavior exhibited by PLMs from traditional models trained from scratch and that domain adaptation of PLMs need to be redesigned to take effect. This paper aims to provide a survey on these newly proposed methods and shed light in how to apply traditional machine learning methods to newly evolved and future technologies. By examining the issues of deploying PLMs for downstream tasks, we propose a taxonomy of domain adaptation approaches from a machine learning system view, covering methods for input augmentation, model optimization and personalization. We discuss and compare those methods and suggest promising future research directions.

Source-free domain adaptation aims to adapt a source model trained on fully-labeled source domain data to a target domain with unlabeled target domain data. Source data is assumed inaccessible due to proprietary or privacy reasons. Existing works use the source model to pseudolabel target data, but the pseudolabels are unreliable due to data distribution shift between source and target domain. In this work, we propose to leverage an ImageNet pre-trained feature extractor in a new co-learning framework to improve target pseudolabel quality for finetuning the source model. Benefits of the ImageNet feature extractor include that it is not source-biased and it provides an alternate view of features and classification decisions different from the source model. Such pre-trained feature extractors are also publicly available, which allows us to readily leverage modern network architectures that have strong representation learning ability. After co-learning, we sharpen predictions of non-pseudolabeled samples by entropy minimization. Evaluation on 3 benchmark datasets show that our proposed method can outperform existing source-free domain adaptation methods, as well as unsupervised domain adaptation methods which assume joint access to source and target data.

现有域适应（DA）算法训练目标模型，然后使用目标模型对目标数据集中的所有样本进行分类。虽然这种方法试图解决源和目标数据来自不同分布的问题，但它无法认识到目标域内的可能性，某些样本比目标域更接近源域的分布领域。在本文中，我们开发了一种新颖的DA算法，即强制转移，该算法涉及这种情况。解决这一难题的一个直接但有效的想法是，使用分布外检测算法来决定在测试阶段，给定样品是否更接近源域，目标域或两者都不接近。在第一种情况下，该样本将提供给对源样本培训的机器学习分类器。在第二种情况下，该样本将提供给对目标样本训练的机器学习分类器。在第三种情况下，该样本被丢弃，因为既不是在源训练的ML模型，也不是在目标上训练的ML模型不适合对其进行分类。众所周知，神经网络中的前几个层提取了低级特征，因此可以从三种不同情况下对样品进行分类，以在三种不同情况下经验确定的层后进行样品的激活分类。强制转移实现了这个想法。在三种类型的DA任务上，我们优于与之相比的最新算法。

The recent success of deep neural networks relies on massive amounts of labeled data. For a target task where labeled data is unavailable, domain adaptation can transfer a learner from a different source domain. In this paper, we propose a new approach to domain adaptation in deep networks that can jointly learn adaptive classifiers and transferable features from labeled data in the source domain and unlabeled data in the target domain. We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function. We enable classifier adaptation by plugging several layers into deep network to explicitly learn the residual function with reference to the target classifier. We fuse features of multiple layers with tensor product and embed them into reproducing kernel Hilbert spaces to match distributions for feature adaptation. The adaptation can be achieved in most feed-forward models by extending them with new residual layers and loss functions, which can be trained efficiently via back-propagation. Empirical evidence shows that the new approach outperforms state of the art methods on standard domain adaptation benchmarks.

洪水灾害造成巨大的社会和经济损失。但是，传统的物理模型和基于学习的洪水预测模型都需要大量的历史洪水数据来训练模型参数。当来到一些没有足够历史数据的新站点时，由于过度拟合，模型性能会大大下降。该技术报告提出了一个洪水域适应网络（Flooddan），这是将无监督的域适应性（UDA）应用于洪水预测问题的基准。具体而言，洪水的培训包括两个阶段：在第一阶段，我们训练一个降雨编码器和一个预测头，以学习有关大规模源域数据的一般可转移的水文知识；在第二阶段，我们通过对抗结构域的比对将验证编码器中的知识转移到目标域的降雨编码器中。在推断期间，我们利用了在第二阶段接受训练的目标域降雨编码器，并在第一阶段进行了训练的预测头，以获得洪水预测的预测。 Tunxi和Changhua洪水数据集的实验结果表明，Flooddan可以通过零目标域监督有效地进行洪水预测。 Flooddan的性能与使用450-500小时的监督的监督模型相当。

在少数射击域适应（FDA）中，针对目标域的分类器在源域（SD）（SD）中使用可访问的标记数据进行训练，而目标域（TD）中的标记数据很少。但是，数据通常包含当前时代的私人信息，例如分布在个人电话上的数据。因此，如果我们直接访问SD中的数据以训练目标域分类器（FDA方法要求），则将泄漏私人信息。在本文中，为了彻底防止SD中的隐私泄漏，我们考虑了一个非常具有挑战性的问题设置，必须使用很少的标签目标数据和训练有素的SD分类器对TD的分类器进行培训，并将其命名为几个示例的假设适应（FHA）。在FHA中，我们无法访问SD中的数据，因此，SD中的私人信息将得到很好的保护。为此，我们提出了一个目标定向的假设适应网络（TOHAN）来解决FHA问题，在该问题中，我们生成了高度兼容的未标记数据（即中间域），以帮助培训目标域分类器。 Tohan同时保持了两个深网，其中一个专注于学习中间域，而另一个则要照顾中间靶向分布的适应性和目标风险最小化。实验结果表明，Tohan的表现要优于竞争基线。

深度学习（DL）是各种计算机视觉任务中使用的主要方法，因为它在许多任务上取得了相关结果。但是，在具有部分或没有标记数据的实际情况下，DL方法也容易出现众所周知的域移位问题。多源无监督的域适应性（MSDA）旨在通过从一袋源模型中分配弱知识来学习未标记域的预测指标。但是，大多数作品进行域适应性仅利用提取的特征并从损失函数设计的角度降低其域的转移。在本文中，我们认为仅基于域级特征处理域移动不足，但是在功能空间上对此类信息进行对齐也是必不可少的。与以前的工作不同，我们专注于网络设计，并建议将多源版本的域对齐层（MS-DIAL）嵌入预测变量的不同级别。这些层旨在匹配不同域之间的特征分布，并且可以轻松地应用于各种MSDA方法。为了显示我们方法的鲁棒性，我们考虑了两个具有挑战性的情况：数字识别和对象分类，进行了广泛的实验评估。实验结果表明，我们的方法可以改善最新的MSDA方法，从而在其分类精度上获得 +30.64％的相对增长。