我们介绍了域名感知持续零射击学习（DACZSL），顺序地在视觉域中视觉识别未经证实的类别的图像。我们通过将其划分为一系列任务，在DomainEnt数据集之上创建了DACZSL，其中类在培训期间在所见的域中逐步提供，并且在看见和看不见的课程上进行了看不见的域。我们还提出了一种新颖的域名不变的CZSL网络（DIN），这胜过了我们适用于DACZSL设置的最先进的基线模型。除了全球共享网络之外，我们采用基于结构的方法来缓解来自以前的任务的知识，并使用小的每任务私有网络。为了鼓励私人网络捕获域和任务特定的表示，我们用一个新的对抗性知识解除义目设置训练我们的模型，以使我们的全局网络任务 - 不变和域中的所有任务都是不变的。我们的方法还要学习类明智的学习提示，以获取更好的类级文本表示，用于表示侧面信息，以启用未来的未经看不见的类的零拍摄预测。我们的代码和基准将公开可用。

对比性语言图像预训练（剪辑）模型是最近提出的大规模训练模型，它吸引了计算机视觉社区越来越多的关注。从其巨大的图像文本训练集中受益，剪辑模型在零拍学习和图像文本匹配方面学习了出色的功能。为了提高剪辑在某些目标视觉概念上的识别性能，通常希望通过在额外的培训数据上微调一些利益来进一步更新剪辑模型。但是，此操作引起了一个重要的关注：更新会损害零镜头学习或剪辑的图像文本匹配能力，即灾难性的遗忘问题吗？如果是，是否可以适应现有的持续学习算法来减轻灾难性遗忘的风险？为了回答这些问题，这项工作对剪辑模型的持续学习问题进行了系统性研究。我们构建评估协议，以衡量微调更新的影响，并探索不同的方法来升级现有的持续学习方法，以减轻剪辑模型的遗忘问题。我们的研究揭示了剪辑持续学习问题的特殊挑战，并为进一步的研究奠定了基础。此外，我们提出了一种新算法，被称为学习，而无需通过重播词汇（VR-LWF）忘记，该算法显示出减轻剪辑模型遗忘问题的确切有效性。

Modern machine learning pipelines are limited due to data availability, storage quotas, privacy regulations, and expensive annotation processes. These constraints make it difficult or impossible to maintain a large-scale model trained on growing annotation sets. Continual learning directly approaches this problem, with the ultimate goal of devising methods where a neural network effectively learns relevant patterns for new (unseen) classes without significantly altering its performance on previously learned ones. In this paper, we address the problem of continual learning for video data. We introduce PIVOT, a novel method that leverages the extensive knowledge in pre-trained models from the image domain, thereby reducing the number of trainable parameters and the associated forgetting. Unlike previous methods, ours is the first approach that effectively uses prompting mechanisms for continual learning without any in-domain pre-training. Our experiments show that PIVOT improves state-of-the-art methods by a significant 27% on the 20-task ActivityNet setup.

我们在本文中解决的主要问题是如何扩展对看不见类（也称为零局学习）的视觉识别，以达到成千上万的类别，如Imagenet-21K基准中。在这个规模上，尤其是ImageNet-21K中包含许多细粒类别的规模，学习质量的视觉语义表示至关重要，它们具有足够的歧视性，足以识别看不见的类别并将其与见证的类别区分开来。我们提出了一个\ emph {h} ierarchical \ emph {g} raphical知识\ emph {r}基于置信度的分类方法（被称为HGR-net）的EPRESENTATION框架。我们的实验结果表明，HGR-NET可以利用层次结构概念知识来掌握类遗传关系。与Imagenet-21K基准的亚军方法相比，我们的方法大大优于所有现有技术，使性能提高了7 \％。我们表明，HGR-NET在几个场景中学习有效。我们还分析了较小的数据集（例如ImageNet-21K-P，2-s-s和3-shops）的方法，证明了其泛化能力。我们的基准和代码可在https://kaiyi.me/p/hgrnet.html上获得。

最新的深层神经网络仍在努力解决持续学习中的灾难性遗忘问题。在本文中，我们提出了一种简单的范式（称为S宣传）和两种具体方法，以高度降低最典型的连续学习场景之一，即域增量学习（DIL）。范式的关键思想是通过预先训练的变压器独立学习提示，以避免使用常规方法中通常出现的示例。这导致了双赢游戏，提示可以为每个域获得最佳状态。跨域的独立提示仅请求一个单一的跨凝结损失，以进行训练，而一个简单的K-NN操作作为推理的域标识符。学习范式得出了图像及时的学习方法和全新的语言图像及时学习方法。拥有出色的可伸缩性（每个域的参数增加0.03％），我们最好的方法在三个标准的最先进的无典范方法上实现了显着的相对改进（平均约30％）当他们使用示例时，DIL任务甚至相对超过了他们的最好的任务。

Prompt learning is one of the most effective and trending ways to adapt powerful vision-language foundation models like CLIP to downstream datasets by tuning learnable prompt vectors with very few samples. However, although prompt learning achieves excellent performance over in-domain data, it still faces the major challenge of generalizing to unseen classes and domains. Some existing prompt learning methods tackle this issue by adaptively generating different prompts for different tokens or domains but neglecting the ability of learned prompts to generalize to unseen domains. In this paper, we propose a novel prompt learning paradigm that directly generates domain invariant prompt generalizable to unseen domains, called MetaPrompt. Specifically, a dual-modality prompt tuning network is proposed to generate prompts for inputs from both image and text modalities. More importantly, we propose a meta-learning-based prompt tuning algorithm that explicitly constrains the prompt tuned on a specific domain or class also to achieve good performance on another domain or class. Extensive experiments on 11 datasets for base-to-new generalization and four datasets for domain generalization demonstrate that our method consistently and significantly outperforms existing methods.

持续学习旨在使单个模型能够学习一系列任务，而不会造成灾难性的遗忘。表现最好的方法通常需要排练缓冲区来存储过去的原始示例以进行经验重播，但是，由于隐私和内存约束，这会限制其实际价值。在这项工作中，我们提出了一个简单而有效的框架，即DualPrompt，该框架学习了一组称为提示的参数，以正确指示预先训练的模型，以依次学习到达的任务，而不会缓冲过去的示例。 DualPrompt提出了一种新颖的方法，可以将互补提示附加到预训练的主链上，然后将目标提出为学习任务不变和特定于任务的“指令”。通过广泛的实验验证，双启示始终在具有挑战性的课堂开发环境下始终设置最先进的表现。尤其是，双启示的表现优于最近的高级持续学习方法，其缓冲尺寸相对较大。我们还引入了一个更具挑战性的基准Split Imagenet-R，以帮助概括无连续的持续学习研究。源代码可在https://github.com/google-research/l2p上找到。

持续学习背后的主流范例一直在使模型参数调整到非静止数据分布，灾难性遗忘是中央挑战。典型方法在测试时间依赖排练缓冲区或已知的任务标识，以检索学到的知识和地址遗忘，而这项工作呈现了一个新的范例，用于持续学习，旨在训练更加简洁的内存系统而不在测试时间访问任务标识。我们的方法学会动态提示（L2P）预先训练的模型，以在不同的任务转换下顺序地学习任务。在我们提出的框架中，提示是小型可学习参数，这些参数在内存空间中保持。目标是优化提示，以指示模型预测并明确地管理任务不变和任务特定知识，同时保持模型可塑性。我们在流行的图像分类基准下进行全面的实验，具有不同挑战的持续学习环境，其中L2P始终如一地优于现有最先进的方法。令人惊讶的是，即使没有排练缓冲区，L2P即使没有排练缓冲，L2P也能实现竞争力的结果，并直接适用于具有挑战性的任务不可行的持续学习。源代码在https://github.com/google-Research/l2p中获得。

尽管视觉变压器（VIT）表现出令人印象深刻的表示学习能力，但我们从经验上发现，它们不能很好地将其概括为具有以前的域泛化算法的看不见的域。在本文中，我们提出了一种基于迅速学习的新方法，以嵌入域中的源域的知识提示目标域预测。具体而言，在来自相应的源域中的VIT输入令牌之前先进行域提示。每个域提示都可以有效地学习特定于领域的知识，因为仅针对一个域进行了优化。同时，我们训练一个及时的适配器，根据学习的源域提示为每个输入图像生成适当的提示。在测试时，提示适配器生成的改编提示可以利用室外图像和源域的特征之间的相似性，以正确整合源域知识。广泛的实验是在四个基准数据集上进行的。我们的方法在平均准确性方面提高了1.4％，这是使用VIT主链改善最先进算法的3.5倍。

Domain adaptation has been vastly investigated in computer vision but still requires access to target images at train time, which might be intractable in some conditions, especially for long-tail samples. In this paper, we propose the task of `Prompt-driven Zero-shot Domain Adaptation', where we adapt a model trained on a source domain using only a general textual description of the target domain, i.e., a prompt. First, we leverage a pretrained contrastive vision-language model (CLIP) to optimize affine transformations of source features, bringing them closer to target text embeddings, while preserving their content and semantics. Second, we show that augmented features can be used to perform zero-shot domain adaptation for semantic segmentation. Experiments demonstrate that our method significantly outperforms CLIP-based style transfer baselines on several datasets for the downstream task at hand. Our prompt-driven approach even outperforms one-shot unsupervised domain adaptation on some datasets, and gives comparable results on others. The code is available at https://github.com/astra-vision/PODA.

域泛化（DG）是一个难度的学习问题，旨在学习一个概念域的概念模型。最近的巨型预训练模型，如剪辑和GPT-3，即基础模型（FMS），已被证明对许多分布换档具有强大，因此应导致DG的大量改进。在这项工作中，我们研究了在图像分类中采用DG问题采用剪辑的通用方法，在那里我们评估了天真零射击学习和全DG学习设置。对于后者，我们提出了AP（摊销提示），作为迅速生成形式的域推断的新方法。在域泛化基准上使用多个标准数据集，即PACS，VLC，OfficeHome和Terraincognita，Clip提供了可比的性能而无需微调任何参数，这表明FM在DG中的适用性和重要性。此外，我们表明，组合域提示跟踪带剪辑使AP能够以大的余量越大，从71.3 \％升高到79.3 \％的精度。我们希望我们的方法的简单性和成功强调强调的重要性并导致更广泛采用和分析域泛化领域的基础模型。

预训练的视觉模型（例如，剪辑）在许多下游任务中显示出有希望的零弹性概括，并具有正确设计的文本提示。最近的作品不依赖手工设计的提示，而是使用下游任务的培训数据来学习提示。虽然有效，但针对领域数据的培训却降低了模型的概括能力，使其无法看到新领域。在这项工作中，我们提出了测试时间提示调整（TPT），该方法可以通过单个测试样本即时学习自适应提示。对于图像分类，TPT通过使用置信度选择最小化熵来优化提示，以便模型在每个测试样本的不同增强视图上都具有一致的预测。在评估对自然分布变化的概括时，TPT平均将零击的TOP-1精度提高了3.6％，超过了先前需要其他特定于任务的训练数据的迅速调整方法。在评估看不见类别的跨数据集泛化时，TPT与使用其他培训数据的最先进方法相当。项目页面：https：//azshue.github.io/tpt。

在低标签制度中，解决图像的多标签识别（MLR）是许多现实世界应用的一项艰巨任务。最近的工作学会了文本和视觉空间之间的一致性，以补偿图像标签不足，但由于可用的MLR注释量有限，因此失去了准确性。在这项工作中，我们利用数百万辅助图像文本对预测的文本和视觉特征的牢固对齐，并提出双背景优化（dualCoop）作为部分标签MLR和零发射MLR的统一框架。 DualCoop用类名来编码正面和负面的上下文，作为语言输入的一部分（即提示）。由于DualCoop仅在验证的视觉语言框架上引入了非常轻松的开销，因此它可以迅速适应具有有限的注释甚至看不见的类别的多标签识别任务。对两个挑战性低标签设置的标准多标签识别基准测试的实验证明了我们方法比最新方法的优势。

Prompt tuning is a new few-shot transfer learning technique that only tunes the learnable prompt for pre-trained vision and language models such as CLIP. However, existing prompt tuning methods tend to learn spurious or entangled representations, which leads to poor generalization to unseen concepts. Towards non-spurious and efficient prompt learning from limited examples, this paper presents a novel \underline{\textbf{C}}ounterfactual \underline{\textbf{P}}rompt \underline{\textbf{L}}earning (CPL) method for vision and language models, which simultaneously employs counterfactual generation and contrastive learning in a joint optimization framework. Particularly, CPL constructs counterfactual by identifying minimal non-spurious feature change between semantically-similar positive and negative samples that causes concept change, and learns more generalizable prompt representation from both factual and counterfactual examples via contrastive learning. Extensive experiments demonstrate that CPL can obtain superior few-shot performance on different vision and language tasks than previous prompt tuning methods on CLIP. On image classification, we achieve 3.55\% average relative improvement on unseen classes across seven datasets; on image-text retrieval and visual question answering, we gain up to 4.09\% and 25.08\% relative improvements across three few-shot scenarios on unseen test sets respectively.

视觉模型最近在许多计算机视觉任务上显示出巨大的潜力。同时，与线性探针相比，先前的工作表明，与线性探针相比，这是较少的图像识别的迅速调整，可以在很少的图像识别上获得卓越的性能。在实际应用程序中，相关的几个射击任务是相关的，尤其是在专业领域。但是，以前的工作忽略了此类信息。受到以下事实的启发，即通过多任务学习通常可以提高性能，我们提出了一种新颖的方法softcpt（迅速调整的软上下文共享），以微调多个目标几个目标任务的预训练的视觉模型， 同时。具体来说，我们设计了一个任务共享的元网络，以使用预定义的任务名称以及可学习的元提示为输入为每个任务生成提示向量。因此，所有任务的迅速向量将以软的方式共享。该共享的元网络的参数以及元提示向量都在所有目标任务的联合培训集中调整。在三个多任务少量数据集上进行的广泛实验表明，SoftCpt的表现优于代表性的单任务提示方法Coop [78]，这意味着多任务学习在视觉及时及时调整中的有效性。源代码和数据将公开可用。

Contrastive Language-Image Pre-trained (CLIP) models have zero-shot ability of classifying an image belonging to "[CLASS]" by using similarity between the image and the prompt sentence "a [CONTEXT] of [CLASS]". Based on exhaustive text cues in "[CONTEXT]", CLIP model is aware of different contexts, e.g. background, style, viewpoint, and exhibits unprecedented robustness against a wide range of distribution shifts. However, recent works find further fine-tuning of CLIP models improves accuracy but sacrifices the robustness on downstream tasks. We conduct an empirical investigation to show fine-tuning will corrupt the context-aware ability of pre-trained CLIP features. To solve this problem, we propose Context-Aware Robust Fine-tuning (CAR-FT). CAR-FT regularizes the model during fine-tuning to capture the context information. Specifically, we use zero-shot prompt weights to get the context distribution contained in the image. By minimizing the Kullback-Leibler Divergence (KLD) between context distributions induced by original/fine-tuned CLIP models, CAR-FT makes the context-aware ability of CLIP inherited into downstream tasks, and achieves both higher In-Distribution (ID) and Out-Of-Distribution (OOD) accuracy. The experimental results show CAR-FT achieves superior robustness on five OOD test datasets of ImageNet, and meanwhile brings accuracy gains on nine downstream tasks. Additionally, CAR-FT surpasses previous Domain Generalization (DG) methods and gets 78.5% averaged accuracy on DomainBed benchmark, building the new state-of-the-art.

Prompt Tuning, conditioning on task-specific learned prompt vectors, has emerged as a data-efficient and parameter-efficient method for adapting large pretrained vision-language models to multiple downstream tasks. However, existing approaches usually consider learning prompt vectors for each task independently from scratch, thereby failing to exploit the rich shareable knowledge across different vision-language tasks. In this paper, we propose multitask vision-language prompt tuning (MVLPT), which incorporates cross-task knowledge into prompt tuning for vision-language models. Specifically, (i) we demonstrate the effectiveness of learning a single transferable prompt from multiple source tasks to initialize the prompt for each target task; (ii) we show many target tasks can benefit each other from sharing prompt vectors and thus can be jointly learned via multitask prompt tuning. We benchmark the proposed MVLPT using three representative prompt tuning methods, namely text prompt tuning, visual prompt tuning, and the unified vision-language prompt tuning. Results in 20 vision tasks demonstrate that the proposed approach outperforms all single-task baseline prompt tuning methods, setting the new state-of-the-art on the few-shot ELEVATER benchmarks and cross-task generalization benchmarks. To understand where the cross-task knowledge is most effective, we also conduct a large-scale study on task transferability with 20 vision tasks in 400 combinations for each prompt tuning method. It shows that the most performant MVLPT for each prompt tuning method prefers different task combinations and many tasks can benefit each other, depending on their visual similarity and label similarity. Code is available at https://github.com/sIncerass/MVLPT.

Recently, CLIP has been applied to pixel-level zero-shot learning tasks via a two-stage scheme. The general idea is to first generate class-agnostic region proposals and then feed the cropped proposal regions to CLIP to utilize its image-level zero-shot classification capability. While effective, such a scheme requires two image encoders, one for proposal generation and one for CLIP, leading to a complicated pipeline and high computational cost. In this work, we pursue a simpler-and-efficient one-stage solution that directly extends CLIP's zero-shot prediction capability from image to pixel level. Our investigation starts with a straightforward extension as our baseline that generates semantic masks by comparing the similarity between text and patch embeddings extracted from CLIP. However, such a paradigm could heavily overfit the seen classes and fail to generalize to unseen classes. To handle this issue, we propose three simple-but-effective designs and figure out that they can significantly retain the inherent zero-shot capacity of CLIP and improve pixel-level generalization ability. Incorporating those modifications leads to an efficient zero-shot semantic segmentation system called ZegCLIP. Through extensive experiments on three public benchmarks, ZegCLIP demonstrates superior performance, outperforming the state-of-the-art methods by a large margin under both "inductive" and "transductive" zero-shot settings. In addition, compared with the two-stage method, our one-stage ZegCLIP achieves a speedup of about 5 times faster during inference. We release the code at https://github.com/ZiqinZhou66/ZegCLIP.git.

现有的时间动作检测（TAD）方法依赖于大型培训数据，包括细分级注释，仅限于在推理期间单独识别先前看到的课程。为每类兴趣收集和注释一个大型培训集是昂贵的，因此无法计算。零射TAD（ZS-TAD）通过启用预训练的模型来识别任何看不见的动作类别来解决这一障碍。同时，ZS-TAD的调查大大降低，ZS-Tad也更具挑战性。受零摄像图像分类的成功的启发，我们旨在解决更复杂的TAD任务。一种直观的方法是将现成的建议探测器与剪辑样式分类集成。但是，由于顺序定位（例如，提案生成）和分类设计，它很容易进行定位误差传播。为了克服这个问题，在本文中，我们通过视觉提示（陈旧）提出了一种新型的零射击时间动作检测模型。这种新颖的设计通过破坏介于两者之间的错误传播途径来有效地消除了定位和分类之间的依赖性。我们进一步介绍了分类和定位之间的相互作用机制，以改善优化。对标准ZS-TAD视频基准测试的广泛实验表明，我们的陈旧的表现明显优于最先进的替代方案。此外，我们的模型还与最近的强大竞争对手相比，在受到监督的TAD上还能产生卓越的成果。 Stale的Pytorch实现可从https://github.com/sauradip/stale获得。

随着大型预训练的Vison语言模型（如剪辑）的出现，可以通过及时调整来调整可转让表示形式。及时调整试图从存储在预训练的视觉模型的图像和文本编码器中的常识中探索有益信息，以探索下游任务。最近提出的名为“上下文优化”（COP）的方法将一组可学习的向量从语言侧引入文本提示符，而单独调整文本提示符则不会影响图像编码器的计算视觉特征，从而导致了次级优势。在本文中，我们通过学习文本提示并同时为文本和图像编码器提供双重模式提示调整范式。此外，为了使视觉提示更多地集中在目标视觉概念上，我们提出了类感知的视觉及时调整（CAVPT），该调整是通过在模板提示和视觉类别令牌嵌入的语言描述之间进行交叉注意来动态生成的。我们的方法提供了一种新的范式来调整大型预训练的视觉模型，并在8个数据集上进行了广泛的实验结果，证明了该方法的有效性。我们的代码在补充材料中可用。