Foundation models are redefining how AI systems are built. Practitioners now follow a standard procedure to build their machine learning solutions: download a copy of a foundation model, and fine-tune it using some in-house data about the target task of interest. Consequently, the Internet is swarmed by a handful of foundation models fine-tuned on many diverse tasks. Yet, these individual fine-tunings often lack strong generalization and exist in isolation without benefiting from each other. In our opinion, this is a missed opportunity, as these specialized models contain diverse features. Based on this insight, we propose model recycling, a simple strategy that leverages multiple fine-tunings of the same foundation model on diverse auxiliary tasks, and repurposes them as rich and diverse initializations for the target task. Specifically, model recycling fine-tunes in parallel each specialized model on the target task, and then averages the weights of all target fine-tunings into a final model. Empirically, we show that model recycling maximizes model diversity by benefiting from diverse auxiliary tasks, and achieves a new state of the art on the reference DomainBed benchmark for out-of-distribution generalization. Looking forward, model recycling is a contribution to the emerging paradigm of updatable machine learning where, akin to open-source software development, the community collaborates to incrementally and reliably update machine learning models.

最大化模型准确性的常规配方是（1）具有各种超参数的多个模型，以及（2）选择在固定验证集中表现最佳的单个模型，从而丢弃其余部分。在本文中，我们在微调大型预训练的模型的背景下重新审视了该过程的第二步，其中微调模型通常位于单个低误差盆地中。我们表明，平均多种模型的权重以不同的超参数配置进行了微调通常提高准确性和鲁棒性。与传统的合奏不同，我们可能会平均许多模型，而不会产生任何其他推理或记忆成本 - 我们将结果称为“模型汤”。当微调大型预训练的模型，例如夹子，Align和VIT-G在JFT上预先训练的VIT-G时，我们的汤食谱可为ImageNet上的超参数扫描中的最佳模型提供显着改进。所得的VIT-G模型在Imagenet上达到90.94％的TOP-1准确性，实现了新的最新状态。此外，我们表明，模型汤方法扩展到多个图像分类和自然语言处理任务，改善分发性能，并改善新下游任务的零局部性。最后，我们通过分析将权重平衡和与logit浓度的性能相似与预测的损失和信心的平坦度联系起来，并经过经验验证这种关系。代码可从https://github.com/mlfoundations/model-soups获得。

执行零摄像推理时（即，在特定数据集上不进行微调）时，大型预训练的模型（例如剪辑或ALIGN）在一系列数据分布中提供一致的精度。尽管现有的微调方法显着提高了给定目标分布的准确性，但它们通常会降低分配变化的稳健性。我们通过引入一种简单有效的方法来提高鲁棒性，同时进行微调：结合零拍和微调模型（Wise-ft）的重量。与标准的微调相比，Wise-FT在分配变化下提供了巨大的准确性提高，同时保留了目标分布的高精度。在Imagenet和五个派生的分布变化上，Wise-FT在先前的工作中提高了分布转移的准确性4至6个百分点（PP），同时将Imagenet精度提高1.6pp。Wise-ft的稳健性相似（2至23 pp），明智之前与七个常用的转移学习数据集的标准微调相比，在一组进一步的分配转移的各种集合中，准确性增长率为0.8至3.3 pp。这些改进在微调或推理期间没有任何额外的计算成本。

Contrastive Language-Image Pre-trained (CLIP) models have zero-shot ability of classifying an image belonging to "[CLASS]" by using similarity between the image and the prompt sentence "a [CONTEXT] of [CLASS]". Based on exhaustive text cues in "[CONTEXT]", CLIP model is aware of different contexts, e.g. background, style, viewpoint, and exhibits unprecedented robustness against a wide range of distribution shifts. However, recent works find further fine-tuning of CLIP models improves accuracy but sacrifices the robustness on downstream tasks. We conduct an empirical investigation to show fine-tuning will corrupt the context-aware ability of pre-trained CLIP features. To solve this problem, we propose Context-Aware Robust Fine-tuning (CAR-FT). CAR-FT regularizes the model during fine-tuning to capture the context information. Specifically, we use zero-shot prompt weights to get the context distribution contained in the image. By minimizing the Kullback-Leibler Divergence (KLD) between context distributions induced by original/fine-tuned CLIP models, CAR-FT makes the context-aware ability of CLIP inherited into downstream tasks, and achieves both higher In-Distribution (ID) and Out-Of-Distribution (OOD) accuracy. The experimental results show CAR-FT achieves superior robustness on five OOD test datasets of ImageNet, and meanwhile brings accuracy gains on nine downstream tasks. Additionally, CAR-FT surpasses previous Domain Generalization (DG) methods and gets 78.5% averaged accuracy on DomainBed benchmark, building the new state-of-the-art.

转移学习提供了一种在学习另一个任务时从一个任务中利用知识的方式。执行转移学习通常涉及通过训练数据集上的梯度下降来迭代地更新模型的参数。在本文中，我们介绍了一种基本上不同的方法，用于将知识转移到跨模型，这些方法将多个模型“合并”成一个。我们的方法有效地涉及计算模型参数的加权平均值。我们表明，该平均值相当于从模型权重的后部的大致抽样。在某些情况下使用各向同性高斯近似时，我们还通过Fisher信息近似于精确矩阵来证明优势。总之，我们的方法使得与基于标准梯度的培训相比，可以以极低的计算成本将多种模型中的“知识”组合。我们展示了模型合并在中间任务培训和域适应问题上实现了基于梯度下降的转移学习的可比性。我们还表明，我们的合并程序使得可以以先前未开发的方式结合模型。为了测量我们方法的稳健性，我们对我们算法的设计进行了广泛的消融。

Does the dominant approach to learn representations (as a side effect of optimizing an expected cost for a single training distribution) remain a good approach when we are dealing with multiple distributions. Our thesis is that such scenarios are better served by representations that are "richer" than those obtained with a single optimization episode. This is supported by a collection of empirical results obtained with an apparently na\"ive ensembling technique: concatenating the representations obtained with multiple training episodes using the same data, model, algorithm, and hyper-parameters, but different random seeds. These independently trained networks perform similarly. Yet, in a number of scenarios involving new distributions, the concatenated representation performs substantially better than an equivalently sized network trained from scratch. This proves that the representations constructed by multiple training episodes are in fact different. Although their concatenation carries little additional information about the training task under the training distribution, it becomes substantially more informative when tasks or distributions change. Meanwhile, a single training episode is unlikely to yield such a redundant representation because the optimization process has no reason to accumulate features that do not incrementally improve the training performance.

在许多图像分类任务中，诸如夹子之类的开放式摄影模型具有高精度。但是，在某些设置中，他们的零拍摄性能远非最佳。我们研究模型修补程序，目的是提高对特定任务的准确性，而不会在表现已经足够的任务上降低准确性。为了实现这一目标，我们引入了油漆，这是一种修补方法，该方法在微调之前使用模型的权重与要修补的任务进行微调后的权重。在零机夹的性能差的九个任务上，油漆可将精度提高15至60个百分点，同时将ImageNet上的精度保留在零拍模型的一个百分点之内。油漆还允许在多个任务上修补单个模型，并通过模型刻度进行改进。此外，我们确定了广泛转移的案例，即使任务不相交，对一个任务进行修补也会提高其他任务的准确性。最后，我们研究了超出常见基准的应用程序，例如计数或减少印刷攻击对剪辑的影响。我们的发现表明，可以扩展一组任务集，开放式摄影模型可实现高精度，而无需从头开始重新训练它们。

由于分布式概括是一个普遍不足的问题，因此在不同的研究计划中研究了各种代理目标（例如，校准，对抗性鲁棒性，算法腐败，跨轮班的不变性），导致不同的研究计划，从而提出不同的建议。在共享相同的抱负目标的同时，这些方法从未在相同的实验条件下对真实数据进行测试。在本文中，我们对以前的工作进行了统一的看法，突出了我们经验解决的消息差异，并提供有关如何衡量模型鲁棒性以及如何改进它的建议。为此，我们收集了172个公开可用的数据集对，用于培训和分布外评估准确性，校准错误，对抗性攻击，环境不变性和合成腐败。我们从九个不同的架构中的九个不同的架构中微调了31k网络。我们的发现证实，分布的精度往往会共同增加，但表明它们的关系在很大程度上取决于数据集依赖性，并且通常比以前较小的规模研究所提出的更加细微和更复杂。

Changing how pre-trained models behave -- e.g., improving their performance on a downstream task or mitigating biases learned during pre-training -- is a common practice when developing machine learning systems. In this work, we propose a new paradigm for steering the behavior of neural networks, centered around \textit{task vectors}. A task vector specifies a direction in the weight space of a pre-trained model, such that movement in that direction improves performance on the task. We build task vectors by subtracting the weights of a pre-trained model from the weights of the same model after fine-tuning on a task. We show that these task vectors can be modified and combined together through arithmetic operations such as negation and addition, and the behavior of the resulting model is steered accordingly. Negating a task vector decreases performance on the target task, with little change in model behavior on control tasks. Moreover, adding task vectors together can improve performance on multiple tasks at once. Finally, when tasks are linked by an analogy relationship of the form ``A is to B as C is to D", combining task vectors from three of the tasks can improve performance on the fourth, even when no data from the fourth task is used for training. Overall, our experiments with several models, modalities and tasks show that task arithmetic is a simple, efficient and effective way of editing models.

几项研究在经验上比较了各种模型的分布（ID）和分布（OOD）性能。他们报告了计算机视觉和NLP中基准的频繁正相关。令人惊讶的是，他们从未观察到反相关性表明必要的权衡。这重要的是确定ID性能是否可以作为OOD概括的代理。这篇简短的论文表明，ID和OOD性能之间的逆相关性确实在现实基准中发生。由于模型的选择有偏见，因此在过去的研究中可能被错过。我们使用来自多个训练时期和随机种子的模型展示了Wilds-Amelyon17数据集上模式的示例。我们的观察结果尤其引人注目，对经过正规化器训练的模型，将解决方案多样化为ERM目标。我们在过去的研究中得出了细微的建议和结论。 （1）高OOD性能有时确实需要交易ID性能。 （2）仅专注于ID性能可能不会导致最佳OOD性能：它可能导致OOD性能的减少并最终带来负面回报。 （3）我们的示例提醒人们，实证研究仅按照现有方法来制定制度：在提出规定的建议时有必要进行护理。

机器学习（ML）模型通常是针对给定数据集的精度进行优化的。但是，此预测标准很少捕获模型的所有理想属性，特别是它与域专家对任务的理解的匹配程度。指定的是指多种模型的存在，这些模型在其内域准确性上是无法区分的，即使它们在其他期望的属性（例如分布（OOD）性能）上有所不同。确定这些情况对于评估ML模型的可靠性至关重要。我们正式化了指定的概念，并提出了一种识别和部分解决它的方法。我们训练多个模型具有独立约束，迫使他们实施不同的功能。他们发现了预测性特征，否则标准经验风险最小化（ERM）忽略了这些特征，然后我们将其提炼成具有出色OOD性能的全球模型。重要的是，我们限制了模型以与数据歧管保持一致，以确保它们发现有意义的功能。我们在计算机视觉（拼贴，wild-camelyon17，gqa）中演示了多个数据集的方法，并讨论了指定规定的一般含义。最值得注意的是，没有其他假设，内域性能无法用于OOD模型选择。

机器学习中的终身学习范式是一个有吸引力的替代方案，不仅是由于其与生物学学习的相似之处，而且它通过避免过度模型重新训练来减少能量浪费的可能性。对此范式的关键挑战是灾难性遗忘的现象。随着在机器学习中训练有素的模型的越来越受欢迎和成功，我们提出了问题：终身学习中的训练前比赛，特别是关于灾难性的遗忘？我们在大型预先训练模型的上下文中调查现有方法，并在各种文本和图像分类任务中评估其性能，包括使用15个不同的NLP任务的新型数据集进行大规模研究。在所有设置中，我们观察到，通用预训练隐含地减轻了在与随机初始化模型相比依次学习多个任务时灾难性忘记的影响。然后，我们进一步调查为什么预先训练缓解在这个环境中忘记。我们通过分析损失景观来研究这种现象，发现预先训练的重量似乎可以通过导致更宽的最小值来缓解遗忘。基于这一洞察力，我们提出了对当前任务损失和损失盆地锐利的共同优化，以便在连续微调期间明确鼓励更广泛的盆地。我们表明，这种优化方法导致与跨多个设置的任务顺序持续学习的性能相当，而无需保留具有任务数量的大小的内存。

最近证明，接受SGD训练的神经网络优先依赖线性预测的特征，并且可以忽略复杂的，同样可预测的功能。这种简单性偏见可以解释他们缺乏分布（OOD）的鲁棒性。学习任务越复杂，统计工件（即选择偏见，虚假相关性）的可能性就越大比学习的机制更简单。我们证明可以减轻简单性偏差并改善了OOD的概括。我们使用对其输入梯度对齐的惩罚来训练一组类似的模型以不同的方式拟合数据。我们从理论和经验上展示了这会导致学习更复杂的预测模式的学习。 OOD的概括从根本上需要超出I.I.D.示例，例如多个培训环境，反事实示例或其他侧面信息。我们的方法表明，我们可以将此要求推迟到独立的模型选择阶段。我们获得了SOTA的结果，可以在视觉域偏置数据和概括方面进行视觉识别。该方法 - 第一个逃避简单性偏见的方法 - 突出了需要更好地理解和控制深度学习中的归纳偏见。

我们考虑无监督的域适应性（UDA），其中使用来自源域（例如照片）的标记数据，而来自目标域（例如草图）的未标记数据用于学习目标域的分类器。常规的UDA方法（例如，域对抗训练）学习域不变特征，以改善对目标域的概括。在本文中，我们表明，对比的预训练，它在未标记的源和目标数据上学习功能，然后在标记的源数据上进行微调，具有强大的UDA方法的竞争力。但是，我们发现对比前训练不会学习域不变特征，这与常规的UDA直觉不同。从理论上讲，我们证明了对比的预训练可以学习在跨域下微调但仍通过解开域和类信息来概括到目标域的特征。我们的结果表明，UDA不需要域的不变性。我们从经验上验证了基准视觉数据集的理论。

域泛化（DG）方法旨在开发概括到测试分布与训练数据不同的设置的模型。在本文中，我们专注于多源零拍DG的挑战性问题，其中来自多个源域的标记训练数据可用，但无法从目标域中访问数据。虽然这个问题已成为研究的重要话题，但令人惊讶的是，将所有源数据汇集在一起​​和培训单个分类器的简单解决方案在标准基准中具有竞争力。更重要的是，即使在不同域中明确地优化不变性的复杂方法也不一定提供对ERM的非微不足道的增益。在本文中，我们首次研究了预先指定的域标签和泛化性能之间的重要链接。使用动机案例研究和分布稳健优化算法的新变种，我们首先演示了如何推断的自定义域组可以通过数据集的原始域标签来实现一致的改进。随后，我们介绍了一种用于多域泛化，Muldens的一般方法，它使用基于ERM的深度合并骨干，并通过元优化算法执行隐式域重标。使用对多个标准基准测试的经验研究，我们表明Muldens不需要定制增强策略或特定于数据集的培训过程，始终如一地优于ERM，通过显着的边距，即使在比较时也会产生最先进的泛化性能对于利用域标签的现有方法。

从自然语言监督中学习视觉表示，最近在许多开创性的作品中表现出了巨大的希望。通常，这些具有语言的视觉模型表现出对各种数据集和任务的强大可传递性。但是，由于缺乏易于使用的评估工具包和公共基准，评估这些模型的可转让性仍然很具有挑战性。为了解决这个问题，我们构建了高级版（评估语言的视觉任务级传输），这是用于评估（预训练）语言增强视觉模型的第一个基准和工具包。升华由三个组成部分组成。 （i）数据集。作为下游评估套件，它由20个图像分类数据集和35个对象检测数据集组成，每个数据集都用外部知识来增强。 （ii）工具包。开发了自动高参数调谐工具包，以促进下游任务的模型评估。 （iii）指标。多种评估指标用于测量样品效率（零射击和少量）和参数效率（线性探测和完整模型微调）。我们在https://computer-vision-in-the-wild.github.io/elevater/上公开发布leverater

虽然大型审计的基础模型（FMS）对数据集级别的分布变化显示出显着的零击分类鲁棒性，但它们对亚群或组移动的稳健性相对却相对不受欢迎。我们研究了这个问题，并发现诸如剪辑之类的FMS可能对各种群体转移可能不健壮。在9个稳健性基准中，其嵌入式分类零射击分类导致平均和最差组精度之间的差距高达80.7个百分点（PP）。不幸的是，现有的改善鲁棒性的方法需要重新培训，这在大型基础模型上可能非常昂贵。我们还发现，改善模型推理的有效方法（例如，通过适配器，具有FM嵌入式作为输入的轻量级网络）不会持续改进，有时与零击相比会伤害组鲁棒性（例如，将精度差距提高到50.1 pp on 50.1 pp on On on 50.1 pp on Celeba）。因此，我们制定了一种适配器培训策略，以有效有效地改善FM组的鲁棒性。我们激励的观察是，尽管同一阶级中的群体中较差的鲁棒性在基础模型“嵌入空间”中分开，但标准适配器训练可能不会使这些要点更加紧密。因此，我们提出了对比度的适应，该适应器会通过对比度学习进行训练适配器，以使样品嵌入在同一类中的地面真相类嵌入和其他样品嵌入。在整个9个基准测试中，我们的方法始终提高组鲁棒性，使最差的组精度提高了8.5至56.0 pp。我们的方法也是有效的，这样做的方法也没有任何FM芬太尼，只有一组固定的冷冻FM嵌入。在水鸟和Celeba等基准上，这导致最差的组精度可与最先进的方法相媲美，而最先进的方法可以重新训练整个模型，而仅训练$ \ leq $ 1％的模型参数。

域的概括（DG）旨在仅使用有限的源域学习一个通用模型。先前的DG尝试仅由于训练和测试域之间的显着域移动而无法从源域中学习域不变表示。取而代之的是，我们使用Oracle模型使用共同信息重新构建了DG目标，该模型将概括为任何可能的域。我们通过通过预训练的模型近似oracle模型来得出一个可拖动的变化下限，称为使用Oracle（Miro）的相互信息正则化。我们的广泛实验表明，Miro可显着提高分布性能。此外，我们的缩放实验表明，预训练模型的尺度越大，miro的性能提高就越大。源代码可在https://github.com/kakaobrain/miro中获得。

With the ever-growing model size and the limited availability of labeled training data, transfer learning has become an increasingly popular approach in many science and engineering domains. For classification problems, this work delves into the mystery of transfer learning through an intriguing phenomenon termed neural collapse (NC), where the last-layer features and classifiers of learned deep networks satisfy: (i) the within-class variability of the features collapses to zero, and (ii) the between-class feature means are maximally and equally separated. Through the lens of NC, our findings for transfer learning are the following: (i) when pre-training models, preventing intra-class variability collapse (to a certain extent) better preserves the intrinsic structures of the input data, so that it leads to better model transferability; (ii) when fine-tuning models on downstream tasks, obtaining features with more NC on downstream data results in better test accuracy on the given task. The above results not only demystify many widely used heuristics in model pre-training (e.g., data augmentation, projection head, self-supervised learning), but also leads to more efficient and principled fine-tuning method on downstream tasks that we demonstrate through extensive experimental results.

差异隐私（DP）提供了正式的隐私保证，以防止对手可以访问机器学习模型，从而从提取有关单个培训点的信息。最受欢迎的DP训练方法是差异私有随机梯度下降（DP-SGD），它通过在训练过程中注入噪声来实现这种保护。然而，以前的工作发现，DP-SGD通常会导致标准图像分类基准的性能显着降解。此外，一些作者假设DP-SGD在大型模型上固有地表现不佳，因为保留隐私所需的噪声规范与模型维度成正比。相反，我们证明了过度参数化模型上的DP-SGD可以比以前想象的要好得多。将仔细的超参数调整与简单技术结合起来，以确保信号传播并提高收敛速率，我们获得了新的SOTA，而没有额外数据的CIFAR-10，在81.4％的81.4％下（8，10^{ - 5}） - 使用40 -layer wide-Resnet，比以前的SOTA提高了71.7％。当对预训练的NFNET-F3进行微调时，我们在ImageNet（0.5，8*10^{ - 7}）下达到了83.8％的TOP-1精度。此外，我们还在（8，8 \ cdot 10^{ - 7}）下达到了86.7％的TOP-1精度，DP仅比当前的非私人SOTA仅4.3％。我们认为，我们的结果是缩小私人图像分类和非私有图像分类之间准确性差距的重要一步。