域的概括（DG）旨在在几个源域上学习一个模型，希望该模型能够很好地推广到看不见的目标域。域之间的分布移位包含协变量和条件偏移，模型都必须能够处理以获得更好的推广性。在本文中，提出了一种新颖的DG方法来处理通过视觉对齐和不确定性引导信仰集合（VAUE）的分布转移。具体而言，对于协变性移位，视觉对齐模块的设计旨在使图像样式的分布与常见的经验高斯分布对齐，以便可以在视觉空间中消除协变量移位。对于有条件的转变，我们基于主观逻辑和Dempster-Shafer理论采用了不确定性引导的信念集成策略。给定测试样品的条件分布是通过源域的动态组合估计的。进行了全面的实验，以证明在四个广泛使用的数据集上，即办公室，VLCS，TerrainCognita和PACS上提出的方法的出色性能。

当部署和培训之间存在分配变化时，深层神经网络的性能恶化严重。域的概括（DG）旨在通过仅依靠一组源域来安全地传输模型以看不见目标域。尽管已经提出了各种DG方法，但最近的一项名为Domainbed的研究表明，其中大多数没有超过简单的经验风险最小化（ERM）。为此，我们提出了一个通用框架，该框架与现有的DG算法是正交的，并且可以始终如一地提高其性能。与以前的DG作品不同的是，在静态源模型上有希望成为通用的DG，我们提出的ADAODM会在测试时间适应不同目标域的源模型。具体而言，我们在共享域形式的特征提取器上创建多个域特异性分类器。特征提取器和分类器以对抗性方式进行了训练，其中特征提取器将输入样品嵌入到域不变的空间中，并且多个分类器捕获了每个分类器与特定源域有关的独特决策边界。在测试过程中，可以通过利用源分类器之间的预测分歧来有效地衡量目标和源域之间的分布差异。通过微调源模型以最大程度地减少测试时间的分歧，目标域特征与不变特征空间很好地对齐。我们验证了两种流行的DG方法，即ERM和Coral，以及四个DG基准，即VLCS，PACS，OfficeHome和TerrainCognita。结果表明，ADAODM稳定地提高了对看不见的域的概括能力，并实现了最先进的性能。

批量归一化（BN）广泛用于现代神经网络，已被证明代表与域相关知识，因此对于跨域任务（如无监督域适应（UDA））无效。现有的BN变体方法在归一化模块中相同信道中的源和目标域知识。然而，跨域跨域的相应通道的特征之间的错位通常导致子最佳的可转换性。在本文中，我们利用跨域关系并提出了一种新颖的归一化方法，互惠归一化（RN）。具体地，RN首先呈现互易补偿（RC）模块，用于基于跨域频道明智的相关性在两个域中获取每个信道的补偿。然后，RN开发互易聚合（RA）模块，以便以其跨域补偿组件自适应地聚合特征。作为BN的替代方案，RN更适合于UDA问题并且可以容易地集成到流行的域适应方法中。实验表明，所提出的RN优于现有的正常化对应物，通过大幅度，并有助于最先进的适应方法实现更好的结果。源代码可在https://github.com/openning07/reciprocal-normalization-for-da上找到。

优化从看不见域的样本上的分类器的性能仍然是一个具有挑战性的问题。虽然大多数关于域泛化的研究侧重于学习域名特征表示，但已经提出了多专家框架作为可能的解决方案，并且已经表现出了有希望的性能。但是，当前的多专家学习框架在推理期间未能充分利用源域知识，从而导致次优性能。在这项工作中，我们建议适应变压器，以便动态解码域泛化的源域知识。具体来说，我们将一个特定于域的本地专家域每个源域和一个域 - 不可知要素分支为查询。变压器编码器将所有域特定功能编码为内存中的源域知识。在变压器解码器中，域名忽视查询与跨关注模块中的存储器交互，并且类似于输入的域将有助于注意输出。因此，源域知识得到动态解码，以推动来自未经看不见的域的电流输入。该机制使得提出的方法能够概括到看不见的域。所提出的方法已经在域泛化领域的三个基准中进行了评估，并与最先进的方法相比，具有最佳性能。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

域泛化（DG）利用多个标记的源数据集来训练未经化的目标域的概括模型。然而，由于昂贵的注释成本，在现实世界应用中难以满足标记所有源数据的要求。在本文中，我们调查单个标记的域泛化（SLDG）任务，只标有一个源域，这比传统的域泛化（CDG）更实用和具有挑战性。 SLDG任务中的主要障碍是可怜的概括偏置：标记源数据集中的鉴别信息可以包含特定于域的偏差，限制训练模型的泛化。为了解决这个具有挑战性的任务，我们提出了一种称为域特定偏置滤波（DSBF）的新方法，该方法用标记的源数据初始化识别模型，然后通过用于泛化改进的未标记的源数据来滤除其域特定的偏差。我们将过滤过程划分为（1）特征提取器扩展通过K-Means的基于聚类的语义特征重新提取和（2）分类器通过注意引导语义特征投影校准。 DSBF统一探索标签和未标记的源数据，以增强培训模型的可辨性和泛化，从而产生高度普遍的模型。我们进一步提供了理论分析，以验证所提出的域特定的偏置滤波过程。关于多个数据集的广泛实验显示了DSBF在解决具有挑战性的SLDG任务和CDG任务时的优越性。

关于无监督域适应性（UDA）的大多数现有研究都认为每个域的训练样本都带有域标签（例如绘画，照片）。假定每个域中的样品都遵循相同的分布，并利用域标签通过特征对齐来学习域不变特征。但是，这样的假设通常并不成立 - 通常存在许多较细粒的领域（例如，已经开发出了数十种现代绘画样式，每种绘画样式与经典风格的范围都有很大不同）。因此，在每个人工定义和粗粒结构域之间强迫特征分布对齐可能是无效的。在本文中，我们从完全不同的角度解决了单源和多源UDA，即将每个实例视为一个良好的域。因此，跨域的特征对齐是冗余。相反，我们建议执行动态实例域的适应性（DIDA）。具体而言，开发了具有自适应卷积内核的动态神经网络，以生成实例自适应残差，以使域 - 无知的深度特征适应每个单独的实例。这使得共享分类器可以同时应用于源域数据，而无需依赖任何域注释。此外，我们没有施加复杂的特征对准损失，而是仅使用标记的源和伪标记为目标数据的跨透镜损失采用简单的半监督学习范式。我们的模型被称为DIDA-NET，可以在几种常用的单源和多源UDA数据集上实现最先进的性能，包括数字，办公室房屋，域名，域名，Digit-Five和PAC。

We propose a novel unsupervised domain adaptation framework based on domain-specific batch normalization in deep neural networks. We aim to adapt to both domains by specializing batch normalization layers in convolutional neural networks while allowing them to share all other model parameters, which is realized by a twostage algorithm. In the first stage, we estimate pseudolabels for the examples in the target domain using an external unsupervised domain adaptation algorithm-for example, MSTN [27] or CPUA [14]-integrating the proposed domain-specific batch normalization. The second stage learns the final models using a multi-task classification loss for the source and target domains. Note that the two domains have separate batch normalization layers in both stages. Our framework can be easily incorporated into the domain adaptation techniques based on deep neural networks with batch normalization layers. We also present that our approach can be extended to the problem with multiple source domains. The proposed algorithm is evaluated on multiple benchmark datasets and achieves the state-of-theart accuracy in the standard setting and the multi-source domain adaption scenario.

虽然无监督的域适应（UDA）算法，即，近年来只有来自源域的标记数据，大多数算法和理论结果侧重于单源无监督域适应（SUDA）。然而，在实际情况下，标记的数据通常可以从多个不同的源收集，并且它们可能不仅不同于目标域而且彼此不同。因此，来自多个源的域适配器不应以相同的方式进行建模。最近基于深度学习的多源无监督域适应（Muda）算法专注于通过在通用特征空间中的所有源极和目标域的分布对齐来提取所有域的公共域不变表示。但是，往往很难提取Muda中所有域的相同域不变表示。此外，这些方法匹配分布而不考虑类之间的域特定的决策边界。为了解决这些问题，我们提出了一个新的框架，具有两个对准阶段的Muda，它不仅将每对源和目标域的分布对齐，而且还通过利用域特定的分类器的输出对准决策边界。广泛的实验表明，我们的方法可以对图像分类的流行基准数据集实现显着的结果。

域的概括方法旨在学习使用有限数量的源域，在训练过程中无需访问目标域样本的数据，以学习强大的域移动模型。用于域概括的流行域对齐方法寻求通过最大程度地降低所有域的特征分布之间的差异来提取域不变特征，从而无视域间关系。在本文中，我们提出了一种新颖的表示学习方法，该方法有选择地强制估计密切相关的源域之间的预测一致性。具体而言，我们假设域共享不同的类信息表示形式，因此，我们仅适用于所有可能导致负转移的域，而是正规化与密切相关域之间的差异。我们将我们的方法应用于时间序列分类任务，并在三个公共现实世界数据集上进行全面的实验。与最先进的方法相比，在准确性和模型校准方面，我们的方法比基线大大改善了基线，并取得更好或竞争性的性能。

当源（训练）数据和目标（测试）数据之间存在域移动时，深网很容易降级。最近的测试时间适应方法更新了通过流数据部署在新目标环境中的预训练源模型的批归归式层，以减轻这种性能降低。尽管此类方法可以在不首先收集大型目标域数据集的情况下进行调整，但它们的性能取决于流媒体条件，例如迷你批量的大小和类别分布，在实践中可能无法预测。在这项工作中，我们提出了一个框架，以适应几个域的适应性，以应对数据有效适应的实际挑战。具体而言，我们提出了在预训练的源模型中对特征归一化统计量的约束优化，该模型由目标域的小支持集监督。我们的方法易于实现，并改善每类用于分类任务的示例较小的源模型性能。对5个跨域分类和4个语义分割数据集进行了广泛的实验表明，我们的方法比测试时间适应更准确，更可靠，同时不受流媒体条件的约束。

Source-free domain adaptation aims to adapt a source model trained on fully-labeled source domain data to a target domain with unlabeled target domain data. Source data is assumed inaccessible due to proprietary or privacy reasons. Existing works use the source model to pseudolabel target data, but the pseudolabels are unreliable due to data distribution shift between source and target domain. In this work, we propose to leverage an ImageNet pre-trained feature extractor in a new co-learning framework to improve target pseudolabel quality for finetuning the source model. Benefits of the ImageNet feature extractor include that it is not source-biased and it provides an alternate view of features and classification decisions different from the source model. Such pre-trained feature extractors are also publicly available, which allows us to readily leverage modern network architectures that have strong representation learning ability. After co-learning, we sharpen predictions of non-pseudolabeled samples by entropy minimization. Evaluation on 3 benchmark datasets show that our proposed method can outperform existing source-free domain adaptation methods, as well as unsupervised domain adaptation methods which assume joint access to source and target data.

学习域不变的表示已成为域适应/概括的最受欢迎的方法之一。在本文中，我们表明不变的表示可能不足以保证良好的概括，在考虑标签函数转移的情况下。受到这一点的启发，我们首先在经验风险上获得了新的概括上限，该概括风险明确考虑了标签函数移动。然后，我们提出了特定领域的风险最小化（DRM），该风险最小化（DRM）可以分别对不同域的分布移动进行建模，并为目标域选择最合适的域。对四个流行的域概括数据集（CMNIST，PACS，VLCS和域）进行了广泛的实验，证明了所提出的DRM对域泛化的有效性，具有以下优点：1）它的表现明显超过了竞争性盆地的表现； 2）与香草经验风险最小化（ERM）相比，所有训练领域都可以在所有训练领域中具有可比性或优越的精度； 3）在培训期间，它仍然非常简单和高效，4）与不变的学习方法是互补的。

在这项工作中，我们试图通过设计简单和紧凑的条件领域的逆势培训方法来解决无监督的域适应。我们首先重新审视简单的级联调节策略，其中特征与输出预测连接为鉴别器的输入。我们发现倾斜策略遭受了弱势调节力量。我们进一步证明扩大连接预测的规范可以有效地激励条件域对齐。因此，我们通过将输出预测标准化具有相同的特征的输出预测来改善连接调节，并且派生方法作为归一化输出调节器〜（名词）。然而，对域对齐的原始输出预测的调理，名词遭受目标域的不准确预测。为此，我们建议将原型空间中的跨域特征对齐方式而不是输出空间。将新的原型基于原型的调节与名词相结合，我们将增强方法作为基于原型的归一化输出调节器〜（代词）。对象识别和语义分割的实验表明，名词可以有效地对准域跨域的多模态结构，甚至优于最先进的域侵犯训练方法。与基于原型的调节一起，代词进一步提高了UDA的多个对象识别基准上的名词的适应性能。

主流最先进的域泛化算法倾向于优先考虑跨域语义不变性的假设。同时，固有的域内风格不变性通常被低估并放在架子上。在本文中，我们揭示了利用域内风格的不变性，在提高域泛化效率方面也具有关键重要性。我们验证了网络对域功能不变并在实例之间共享的内容至关重要，以便网络锐化其理解并提高其语义判别能力。相应地，我们还提出了一种新颖的“陪审团”机制，在域之间学习有用的语义特征共性特别有效。我们的完整型号称为Steam可以被解释为新颖的概率图形模型，该图形模型需要方便的两种内存库的方便结构：语义特征银行和风格的功能库。经验结果表明，我们的拟议框架通过清晰的边缘超越了最先进的方法。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

Domain generalization (DG) is the challenging and topical problem of learning models that generalize to novel testing domains with different statistics than a set of known training domains. The simple approach of aggregating data from all source domains and training a single deep neural network end-to-end on all the data provides a surprisingly strong baseline that surpasses many prior published methods. In this paper we build on this strong baseline by designing an episodic training procedure that trains a single deep network in a way that exposes it to the domain shift that characterises a novel domain at runtime. Specifically, we decompose a deep network into feature extractor and classifier components, and then train each component by simulating it interacting with a partner who is badly tuned for the current domain. This makes both components more robust, ultimately leading to our networks producing state-of-the-art performance on three DG benchmarks. Furthermore, we consider the pervasive workflow of using an ImageNet trained CNN as a fixed feature extractor for downstream recognition tasks. Using the Visual Decathlon benchmark, we demonstrate that our episodic-DG training improves the performance of such a general purpose feature extractor by explicitly training a feature for robustness to novel problems. This shows that DG training can benefit standard practice in computer vision.

对分布（OOD）数据的概括是人类自然的能力，但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设，这在域转移导致的实践中通常会违反。域的概括（DG）旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中，DG的研究取得了长足的进步，导致了广泛的方法论，例如，基于域的一致性，元学习，数据增强或合奏学习的方法，仅举几例；还在各个应用领域进行了研究，包括计算机视觉，语音识别，自然语言处理，医学成像和强化学习。在本文中，首次提供了DG中的全面文献综述，以总结过去十年来的发展。具体而言，我们首先通过正式定义DG并将其与其他相关领域（如域适应和转移学习）联系起来来涵盖背景。然后，我们对现有方法和理论进行了彻底的审查。最后，我们通过有关未来研究方向的见解和讨论来总结这项调查。

在图像分类中，获得足够的标签通常昂贵且耗时。为了解决这个问题，域适应通常提供有吸引力的选择，给出了来自类似性质但不同域的大量标记数据。现有方法主要对准单个结构提取的表示的分布，并且表示可以仅包含部分信息，例如，仅包含部分饱和度，亮度和色调信息。在这一行中，我们提出了多代表性适应，这可以大大提高跨域图像分类的分类精度，并且特别旨在对准由名为Inception Adaption Adationation模块（IAM）提取的多个表示的分布。基于此，我们呈现多色自适应网络（MRAN）来通过多表示对准完成跨域图像分类任务，该任向性可以捕获来自不同方面的信息。此外，我们扩展了最大的平均差异（MMD）来计算适应损耗。我们的方法可以通过扩展具有IAM的大多数前进模型来轻松实现，并且网络可以通过反向传播有效地培训。在三个基准图像数据集上进行的实验证明了备的有效性。代码已在https://github.com/easezyc/deep-transfer -learning上获得。

Though impressive success has been witnessed in computer vision, deep learning still suffers from the domain shift challenge when the target domain for testing and the source domain for training do not share an identical distribution. To address this, domain generalization approaches intend to extract domain invariant features that can lead to a more robust model. Hence, increasing the source domain diversity is a key component of domain generalization. Style augmentation takes advantage of instance-specific feature statistics containing informative style characteristics to synthetic novel domains. However, all previous works ignored the correlation between different feature channels or only limited the style augmentation through linear interpolation. In this work, we propose a novel augmentation method, called \textit{Correlated Style Uncertainty (CSU)}, to go beyond the linear interpolation of style statistic space while preserving the essential correlation information. We validate our method's effectiveness by extensive experiments on multiple cross-domain classification tasks, including widely used PACS, Office-Home, Camelyon17 datasets and the Duke-Market1501 instance retrieval task and obtained significant margin improvements over the state-of-the-art methods. The source code is available for public use.