基于信息瓶颈（IB）的多视图学习提供了一种信息理论原则，用于寻找异质数据描述中包含的共享信息。但是，它的巨大成功通常归因于估计网络变得复杂时棘手的多元互助信息。此外，表示折衷的表示，{\ it}，预测压缩和足够的一致性权衡，使IB难以同时满足这两个要求。在本文中，我们设计了几种变分信息瓶颈，以利用两个关键特征（{\ it，即}，充分性和一致性）用于多视图表示学习。具体而言，我们提出了一种多视图变量蒸馏（MV $^2 $ d）策略，以通过给出观点的任意输入，但没有明确估算它，从而为拟合MI提供了可扩展，灵活和分析的解决方案。在严格的理论保证下，我们的方法使IB能够掌握观测和语义标签之间的内在相关性，从而自然产生预测性和紧凑的表示。同样，我们的信息理论约束可以通过消除任务 - 求核和特定信息的信息来有效地中和对异质数据的敏感性，从而阻止在多种视图情况下两种权衡。为了验证理论上的策略，我们将方法应用于三种不同应用下的各种基准。广泛的定量和定性实验证明了我们对最新方法的方法的有效性。

The Information Bottleneck (IB) provides an information theoretic principle for representation learning, by retaining all information relevant for predicting label while minimizing the redundancy. Though IB principle has been applied to a wide range of applications, its optimization remains a challenging problem which heavily relies on the accurate estimation of mutual information. In this paper, we present a new strategy, Variational Self-Distillation (VSD), which provides a scalable, flexible and analytic solution to essentially fitting the mutual information but without explicitly estimating it. Under rigorously theoretical guarantee, VSD enables the IB to grasp the intrinsic correlation between representation and label for supervised training. Furthermore, by extending VSD to multi-view learning, we introduce two other strategies, Variational Cross-Distillation (VCD) and Variational Mutual-Learning (VML), which significantly improve the robustness of representation to view-changes by eliminating view-specific and task-irrelevant information. To verify our theoretically grounded strategies, we apply our approaches to cross-modal person Re-ID, and conduct extensive experiments, where the superior performance against state-of-the-art methods are demonstrated. Our intriguing findings highlight the need to rethink the way to estimate mutual

Learning effective joint embedding for cross-modal data has always been a focus in the field of multimodal machine learning. We argue that during multimodal fusion, the generated multimodal embedding may be redundant, and the discriminative unimodal information may be ignored, which often interferes with accurate prediction and leads to a higher risk of overfitting. Moreover, unimodal representations also contain noisy information that negatively influences the learning of cross-modal dynamics. To this end, we introduce the multimodal information bottleneck (MIB), aiming to learn a powerful and sufficient multimodal representation that is free of redundancy and to filter out noisy information in unimodal representations. Specifically, inheriting from the general information bottleneck (IB), MIB aims to learn the minimal sufficient representation for a given task by maximizing the mutual information between the representation and the target and simultaneously constraining the mutual information between the representation and the input data. Different from general IB, our MIB regularizes both the multimodal and unimodal representations, which is a comprehensive and flexible framework that is compatible with any fusion methods. We develop three MIB variants, namely, early-fusion MIB, late-fusion MIB, and complete MIB, to focus on different perspectives of information constraints. Experimental results suggest that the proposed method reaches state-of-the-art performance on the tasks of multimodal sentiment analysis and multimodal emotion recognition across three widely used datasets. The codes are available at \url{https://github.com/TmacMai/Multimodal-Information-Bottleneck}.

不完整的多视图聚类旨在通过使用来自多种模式的数据来增强聚类性能。尽管已经提出了几种研究此问题的方法，但以下缺点仍然存在：1）很难学习潜在的互补性但不使用标签信息而保持一致性的潜在表示； 2）因此，当完整的数据稀缺时，在不完整的数据中未能充分利用不完整数据中的隐藏信息会导致次优群集性能。在本文中，我们提出了与生成对抗网络（CIMIC-GAN）的对比度不完整的多视图图像聚类，该网络使用GAN填充不完整的数据并使用双对比度学习来学习完整和不完整的数据的一致性。更具体地说，考虑到多种方式之间的多样性和互补信息，我们将完整和不完整数据的自动编码表示为双对比度学习，以实现学习一致性。将gan集成到自动编码过程中不仅可以充分利用不完整数据的新功能，而且可以在存在高数据缺失率的情况下更好地概括该模型。在\ textColor {black} {四}广泛使用的数据集上进行的实验表明，cimic-gan优于最先进的不完整的多视图聚类方法。

作为3D对象的两个基本表示方式，2D多视图图像和3D点云反映了来自视觉外观和几何结构各个方面的形状信息。与基于深度学习的2D多视图图像建模不同，该模型在各种3D形状分析任务中展示了领先的性能，基于3D点云的几何建模仍然遭受学习能力不足。在本文中，我们创新地构建了一个统一的跨模式知识转移框架，该框架将2D图像的歧视性视觉描述器提炼成3D点云的几何描述符。从技术上讲，在经典的教师学习范式下，我们提出了多视觉愿景到几何的蒸馏，由深入的2D图像编码器作为老师和深层的3D点云编码器组成。为了实现异质特征对齐，我们进一步提出了可见性感知的特征投影，通过该投影可以通过该投影将每个点嵌入可以汇总到多视图几何描述符中。对3D形状分类，部分分割和无监督学习的广泛实验验证了我们方法的优势。我们将公开提供代码和数据。

弱监督的点云语义分割方法需要1 \％或更少的标签，希望实现与完全监督的方法几乎相同的性能，这些方法最近引起了广泛的研究关注。该框架中的一个典型解决方案是使用自我训练或伪标记来从点云本身挖掘监督，但忽略了图像中的关键信息。实际上，在激光雷达场景中广泛存在相机，而这种互补信息对于3D应用似乎非常重要。在本文中，我们提出了一种用于3D分割的新型交叉模式弱监督的方法，并结合了来自未标记图像的互补信息。基本上，我们设计了一个配备有效标签策略的双分支网络，以最大程度地发挥标签的力量，并直接实现2D到3D知识转移。之后，我们以期望最大（EM）的视角建立了一个跨模式的自我训练框架，该框架在伪标签估计和更新参数之间进行了迭代。在M-Step中，我们提出了一个跨模式关联学习，通过增强3D点和2D超级像素之间的周期矛盾性，从图像中挖掘互补的监督。在E-Step中，伪标签的自我校准机制被得出过滤噪声标签，从而为网络提供了更准确的标签，以进行全面训练。广泛的实验结果表明，我们的方法甚至优于最先进的竞争对手，而少于1 \％的主动选择注释。

尽管自我监督的学习技术通常用于通过建模多种观点来从未标记的数据中挖掘隐性知识，但尚不清楚如何在复杂且不一致的环境中执行有效的表示学习。为此，我们提出了一种方法，特别是一致性和互补网络（Coconet），该方法利用了严格的全局视图一致性和局部跨视图互补性，以维护正则化，从而从多个视图中全面学习表示形式。在全球阶段，我们认为关键知识在观点之间隐含地共享，并增强编码器以从数据中捕获此类知识可以提高学习表示表示的可区分性。因此，保留多种观点的全球一致性可确保获得常识。 Coconet通过利用基于广义切成薄片的Wasserstein距离利用有效的差异度量测量来对齐视图的概率分布。最后，在本地阶段，我们提出了一个启发式互补性因素，该因素是跨观看歧视性知识的，它指导编码者不仅要学习视图的可辨别性，而且还学习跨视图互补信息。从理论上讲，我们提供了我们提出的椰子的基于信息理论的分析。从经验上讲，为了研究我们方法的改善，我们进行了足够的实验验证，这表明椰子的表现优于最先进的自我监督方法，这证明了这种隐含的一致性和互补性可以增强正则化的能力潜在表示的可区分性。

图像文本聚类（ITC）的目标是通过整合这些异质样品的多模式的互补和一致信息来找到正确的簇。但是，目前的大多数研究都根据理想的前提分析了ITC，即每种模式中的样本都是完整的。但是，在现实情况下，这种推定并不总是有效的。缺少的数据问题使图像文本特征学习性能退化，并最终会影响ITC任务中的概括能力。尽管已经提出了一系列方法来解决此不完整的图像文本群集问题（IITC），但仍然存在以下问题：1）大多数现有方法几乎不考虑异质特征域之间的明显差距。 2）对于缺少数据，很少保证由现有方法生成的表示形式适合聚类任务。 3）现有方法不利用内部和内部模式的潜在连接。在本文中，我们提出了一个聚类引起的生成不完整的图像文本聚类（CIGIT-C）网络，以应对上述挑战。更具体地说，我们首先使用特定于模态的编码器将原始功能映射到更独特的子空间。通过使用对抗生成网络在另一种模态上产生一种方式，可以彻底探索内部内部和模式之间的潜在连接。最后，我们使用两个KL DiverGence损失更新相应的模态特异性编码器。公共图像文本数据集的实验结果表明，建议的方法优于IITC作业更有效。

在本文中，我们采用了最大化的互信息（MI）方法来解决无监督的二进制哈希代码的问题，以实现高效的跨模型检索。我们提出了一种新颖的方法，被称为跨模型信息最大散列（CMIMH）。首先，要学习可以保留模跨和跨间相似性的信息的信息，我们利用最近估计MI的变分的进步，以最大化二进制表示和输入特征之间的MI以及不同方式的二进制表示之间的MI。通过在假设由多变量Bernoulli分布模型的假设下联合最大化这些MIM，我们可以学习二进制表示，该二进制表示，其可以在梯度下降中有效地以微量批量方式有效地保留帧内和模态的相似性。此外，我们发现尝试通过学习与来自不同模式的相同实例的类似二进制表示来最小化模态差距，这可能导致更少的信息性表示。因此，在减少模态间隙和失去模态 - 私人信息之间平衡对跨模型检索任务很重要。标准基准数据集上的定量评估表明，该方法始终如一地优于其他最先进的跨模型检索方法。

The past two decades have seen increasingly rapid advances in the field of multi-view representation learning due to it extracting useful information from diverse domains to facilitate the development of multi-view applications. However, the community faces two challenges: i) how to learn robust representations from a large amount of unlabeled data to against noise or incomplete views setting, and ii) how to balance view consistency and complementary for various downstream tasks. To this end, we utilize a deep fusion network to fuse view-specific representations into the view-common representation, extracting high-level semantics for obtaining robust representation. In addition, we employ a clustering task to guide the fusion network to prevent it from leading to trivial solutions. For balancing consistency and complementary, then, we design an asymmetrical contrastive strategy that aligns the view-common representation and each view-specific representation. These modules are incorporated into a unified method known as CLustering-guided cOntrastiVE fusioN (CLOVEN). We quantitatively and qualitatively evaluate the proposed method on five datasets, demonstrating that CLOVEN outperforms 11 competitive multi-view learning methods in clustering and classification. In the incomplete view scenario, our proposed method resists noise interference better than those of our competitors. Furthermore, the visualization analysis shows that CLOVEN can preserve the intrinsic structure of view-specific representation while also improving the compactness of view-commom representation. Our source code will be available soon at https://github.com/guanzhou-ke/cloven.

随着相机和激光雷达传感器捕获用于自主驾驶的互补信息，已经做出了巨大的努力，通过多模式数据融合来开发语义分割算法。但是，基于融合的方法需要配对的数据，即具有严格的点对像素映射的激光点云和相机图像，因为培训和推理的输入都严重阻碍了在实际情况下的应用。因此，在这项工作中，我们建议通过充分利用具有丰富外观的2D图像来提高对点云上的代表性学习的2D先验辅助语义分割（2DPass），以增强对点云的表示。实际上，通过利用辅助模态融合和多尺度融合到单个知识蒸馏（MSFSKD），2DAPS从多模式数据中获取更丰富的语义和结构信息，然后在线蒸馏到纯3D网络。结果，配备了2DAPS，我们的基线仅使用点云输入显示出显着的改进。具体而言，它在两个大规模的基准（即Semantickitti和Nuscenes）上实现了最先进的方法，其中包括TOP-1的semantickitti的单扫描和多次扫描竞赛。

在本文中，我们探讨了一项新颖而雄心勃勃的知识转移任务，称为知识分解〜（KF）。 KF的核心思想在于知识的模块化和组装性：鉴于验证的网络模型作为输入，KF旨在将其分解为多个因素网络，每个网络仅处理专用任务，并从源中维护特定于任务的知识，并从源网络。此类因素网络是由任务分开的，可以直接组装，而无需进行任何微调，以产生更有能力的组合任务网络。换句话说，因子网络用作像乐高积木一样的构建块，使我们能够以插件的方式构建自定义网络。具体而言，每个因素网络都包含两个模块，这是一个通用知识模块，该模块是任务无关并由所有因素网络共享的模块，以及一个专门针对因子网络本身的任务特定模块。我们介绍了一个信息理论目标，即Infomax-Bottleneck〜（IMB），以通过优化学习表示和输入之间的相互信息来执行KF。各种基准的实验表明，派生因子网络不仅在专用任务，而且还可以分离，同时享有更好的解释性和模块化。此外，学到的公共知识表示会为转移学习带来令人印象深刻的结果。

深度强化学习（DRL）代理通常对在训练环境中看不见的视觉变化敏感。为了解决此问题，我们利用RL的顺序性质来学习可靠的表示，这些表示仅根据无监督的多视图设置编码与任务相关的信息。具体而言，我们引入了时间数据的多视图信息瓶颈（MIB）目标的新颖对比版本。我们以这个辅助目标来训练RL代理，以学习可以压缩任务 - 无关的信息并预测与任务相关的动态的强大表示形式。这种方法使我们能够训练具有强大的视觉分散注意力的高性能政策，并且可以很好地推广到看不见的环境。我们证明，当背景被自然视频替换时，我们的方法可以在DeepMind Control Suite的各种视觉控制任务上实现SOTA性能。此外，我们表明我们的方法优于公认的基准，用于概括在Procgen基准上看不见的环境。我们的代码是开源的，可在https：// github上找到。 com/bu依赖-lab/dribo。

迄今为止，通信系统主要旨在可靠地交流位序列。这种方法提供了有效的工程设计，这些设计对消息的含义或消息交换所旨在实现的目标不可知。但是，下一代系统可以通过将消息语义和沟通目标折叠到其设计中来丰富。此外，可以使这些系统了解进行交流交流的环境，从而为新颖的设计见解提供途径。本教程总结了迄今为止的努力，从早期改编，语义意识和以任务为导向的通信开始，涵盖了基础，算法和潜在的实现。重点是利用信息理论提供基础的方法，以及学习在语义和任务感知通信中的重要作用。

零射击跨模式检索（ZS-CMR）处理了来自看不见类别的异源数据之间的检索问题。通常，为了确保概括，使用自然语言处理（NLP）模型的预定义类嵌入方式用于构建公共空间。在本文中，我们考虑了一种完全不同的方法来从信息理论的角度考虑构造（或学习）通用锤击空间的完全不同的方法，而不是使用额外的NLP模型来定义公共空间。我们将模型称为信息理论哈希（ITH），该图案由两个级联模块组成：一个自适应信息聚合（AIA）模块；和语义保存编码（SPE）模块。具体而言，我们的AIA模块从相关信息的原理（PRI）中汲取灵感来构建一个共同空间，该空间可适应地汇总了不同数据模式的固有语义，并滤除了多余或无关紧要的信息。另一方面，我们的SPE模块通过保留固有语义与元素的Kullback-Leibler（KL）差异的相似性，进一步生成了不同模态的哈希代码。还施加了总相关性项，以减少哈希码不同维度之间的冗余。在三个基准数据集上进行了足够的实验，证明了ZS-CMR中提出的ITH的优势。源代码在补充材料中可用。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

现有的多视图分类算法专注于通过利用不同的视图来促进准确性，通常将它们集成到常见的随访任务中。尽管有效，但至关重要的是要确保多视图集成和最终决定的可靠性，尤其是对于嘈杂，腐败和分发数据的可靠性。动态评估不同样本的每种观点的可信度可以提供可靠的集成。这可以通过不确定性估计来实现。考虑到这一点，我们提出了一种新颖的多视图分类算法，称为受信任的多视图分类（TMC），通过在证据级别上动态整合不同的观点，为多视图学习提供了新的范式。提出的TMC可以通过考虑每种观点的证据来促进分类可靠性。具体而言，我们介绍了变异性差异来表征类概率的分布，该分布与不同观点的证据进行了参数，并与Dempster-Shafer理论集成在一起。统一的学习框架会引起准确的不确定性，因此，该模型具有可靠性和鲁棒性，以抵抗可能的噪音或腐败。理论和实验结果都证明了所提出的模型在准确性，鲁棒性和可信度方面的有效性。

多视图表示学习对于许多多视图任务（例如聚类和分类）至关重要。但是，困扰社区的两个具有挑战性的问题：i）如何从群众未标记的数据中学习强大的多视图表示，ii）如何平衡视图一致性和视图特异性。为此，在本文中，我们提出了一种混合对比融合算法，以从未标记的数据中提取强大的视图符号表示。具体而言，我们发现在此空间中引入附加表示空间并对齐表示形式使模型能够学习强大的视图符号表示形式。同时，我们设计了一种不对称的对比策略，以确保模型无法获得微不足道的解决方案。实验结果表明，在聚类和分类方面，该方法在四个现实世界数据集上优于12种竞争性多视图方法。我们的源代码很快将在\ url {https://github.com/guanzhou-ke/mori-ran}上找到。

受益于大规模预处理的视觉语言模型（VL-PMS），视觉问答的性能（VQA）已开始接近人类的甲骨文表现。但是，对VQA数据有限的大规模VL-PM的固定通常面临过度拟合和泛化问题，从而导致缺乏健壮性。在本文中，我们旨在提高VQA系统的鲁棒性（即，当系统对VQA的VL-PMS进行验证时，从信息瓶颈的角度来看，系统能够防御投入变化和人类对抗攻击的能力）。通常，通过VL-PMS获得的内部表示不可避免地包含有关下游VQA任务的无关和冗余信息，从而导致统计上的虚假相关性和对输入变化的不敏感性。为了鼓励表示形式收敛到视觉学习中的足够统计量，我们提出了相关信息瓶颈（CIB）原则，该原则通过最大程度地减少投入和内部表示之间的相互信息（MI）来寻求表示压缩和冗余之间的权衡。同时最大化输出和表示之间的MI。同时，CIB通过对称的关节MI估计来测量视觉和语言输入和表示之间的内部相关性。对五个VQA的投入鲁棒性和两个VQA基准的大量实验证明了拟议CIB在改善VQA系统鲁棒性方面的有效性和优越性。