多模式学习，尤其是大规模的多模式预训练，在过去的几年中已经迅速发展，并带来了人工智能（AI）的最大进步。尽管具有有效性，但了解多模式预训练模型的潜在机制仍然是一个巨大的挑战。揭示此类模型的解释性可能会使AI领域中新型学习范式的突破。为此，鉴于人脑的多模式性质，我们建议借助非侵入性脑成像技术（例如功能磁共振成像（fMRI））探索多模式学习模型的解释性。具体而言，我们首先提出了1500万个图像文本对预训练的新设计的多模式基础模型，该模型在各种认知下游任务中显示出强烈的多模式理解和概括能力。此外，从神经编码的角度来看（基于我们的基础模型），我们发现，与单峰相比，经过多模式训练的视觉和舌编码器都更像脑状。特别是，我们确定了许多大脑区域，其中多模式训练的编码器表现出更好的神经编码性能。这与现有有关探索大脑多感觉整合的研究的发现是一致的。因此，我们认为，多模式基础模型是神经科学家研究人脑中多模式信号处理机制的更合适的工具。我们的发现还证明了多模式基础模型作为理想的计算模拟器的潜力，以促进脑和大脑的AI研究。

常规的多视图聚类试图基于所有观点的假设，以完全观察到所有观点的假设。但是，在诸如疾病诊断，多媒体分析和建议系统之类的实际应用中，常见的是，在许多情况下，并非所有样品的观点都可以使用，这导致常规多视图聚类方法的失败。在此不完整的多视图数据上的聚类称为不完整的多视图聚类。鉴于有前途的应用前景，近年来对不完整的多视图聚类的研究取得了明显的进步。但是，没有调查可以总结当前的进展并指出未来的研究方向。为此，我们回顾了最新的关于多视图聚类的研究。重要的是，我们提供一些框架来统一相应的不完整的多视图聚类方法，并从理论和实验角度对某些代表性方法进行深入的比较分析。最后，为研究人员提供了不完整的多视图聚类领域中的一些开放问题。

查找最佳消息量化是低复杂性信念传播（BP）解码的关键要求。为此，我们提出了一个浮点替代模型，该模型模仿量化效果，作为均匀噪声的添加，其幅度是可训练的变量。我们验证替代模型与定点实现的行为非常匹配，并提出了手工制作的损失功能，以实现复杂性和误差率性能之间的权衡。然后，采用一种基于深度学习的方法来优化消息位。此外，我们表明参数共享既可以确保实现友好的解决方案，又比独立参数导致更快的培训收敛。我们为5G低密度均衡检查（LDPC）代码提供模拟结果，并在浮点分解的0.2 dB内报告误差率性能，平均消息量化位低于3.1位。此外，我们表明，学到的位宽也将其推广到其他代码速率和渠道。

最近对压缩的最新研究表明，失真和感知质量相互矛盾，这使失真和感知之间的权衡取舍（D-P）。直观地，要获得不同的感知质量，必须培训不同的解码器。在本文中，我们提出了一个非平凡的发现，即只有两个解码器足以实现任意（无限数量的不同）D-P取舍。我们证明，通过最小MSE解码器的输出和专门构建的完美感知解码器之间的简单线性插值可以实现D-P权衡约束的任意点。同时，可以通过插值因子定量控制感知质量（就平方的Wasserstein-2距离度量而言）。此外，为了构建一个完美的感知解码器，我们提出了两个理论上最佳的培训框架。新框架不同于基于扭曲 - 对抗损失的启发式框架，广泛用于现有方法，这些框架不仅在理论上是最佳的，而且可以在实践感知解码中产生最先进的性能。最后，我们验证了我们的理论发现，并通过实验证明了框架的优势。代码可在以下网址找到：https：//github.com/zeyuyan/controllable-cocceptual-compression

在缺少标签（MLML）的情况下，多标签学习是一个具有挑战性的问题。现有方法主要关注网络结构或培训方案的设计，这提高了实现的复杂性。这项工作旨在满足MLML中的损失函数的潜力，而不增加程序和复杂性。为此，我们通过鲁棒损失设计提出了两种简单但有效的方法，基于观察到模型可以在高精度训练期间识别丢失的标签。首先是对底层的良好损失，即山损，重量底部以山的形状重量否定，以减轻虚假底片的效果。第二个是自定步损耗校正（SPLC）方法，其利用缺失标签的近似分布下的最大似然标准导出的丢失。在各种多标签图像分类数据集上的综合实验表明，我们的方法可以显着提高MLML的性能，并在MLML中实现新的最先进的损失函数。

人工智能（AI）的基本目标是模仿人类的核心认知活动。尽管在AI研究中取得了巨大的成功，但大多数现有方法仅具有单认知能力。为了克服这一局限性并迈出了朝着人工通用智能（AGI）迈出的坚实一步，我们开发了一个通过庞大的多模式数据进行预训练的基础模型，可以快速适应各种下游认知任务。为了实现这一目标，我们建议通过从Internet上拖延的语义相关数据进行自我监督的学习来预先培训我们的基础模型，并表明可以在各种下游任务上获得有希望的结果。特别是，使用开发的模型解剖工具，我们证明了我们的基础模型现在拥有强大的想象力。我们认为，我们的工作从我们的“弱或狭窄AI”的常见实践到“强或广泛的AI”迈出了转变的迈向AGI。

点云识别是工业机器人和自主驾驶中的重要任务。最近，几个点云处理模型已经实现了最先进的表演。然而，这些方法缺乏旋转稳健性，并且它们的性能严重降低了随机旋转，未能扩展到具有不同方向的现实情景。为此，我们提出了一种名为基于自行轮廓的转换（SCT）的方法，该方法可以灵活地集成到针对任意旋转的各种现有点云识别模型中。 SCT通过引入轮廓感知的转换（CAT）提供有效的旋转和翻译不变性，该转换（CAT）线性地将点数的笛卡尔坐标转换为翻译和旋转 - 不变表示。我们证明猫是一种基于理论分析的旋转和翻译不变的转换。此外，提出了帧对准模块来增强通过捕获轮廓并将基于自平台的帧转换为帧内帧来增强鉴别特征提取。广泛的实验结果表明，SCT在合成和现实世界基准的有效性和效率的任意旋转下表现出最先进的方法。此外，稳健性和一般性评估表明SCT是稳健的，适用于各种点云处理模型，它突出了工业应用中SCT的优势。

Weakly-supervised object localization aims to indicate the category as well as the scope of an object in an image given only the image-level labels. Most of the existing works are based on Class Activation Mapping (CAM) and endeavor to enlarge the discriminative area inside the activation map to perceive the whole object, yet ignore the co-occurrence confounder of the object and context (e.g., fish and water), which makes the model inspection hard to distinguish object boundaries. Besides, the use of CAM also brings a dilemma problem that the classification and localization always suffer from a performance gap and can not reach their highest accuracy simultaneously. In this paper, we propose a casual knowledge distillation method, dubbed KD-CI-CAM, to address these two under-explored issues in one go. More specifically, we tackle the co-occurrence context confounder problem via causal intervention (CI), which explores the causalities among image features, contexts, and categories to eliminate the biased object-context entanglement in the class activation maps. Based on the de-biased object feature, we additionally propose a multi-teacher causal distillation framework to balance the absorption of classification knowledge and localization knowledge during model training. Extensive experiments on several benchmarks demonstrate the effectiveness of KD-CI-CAM in learning clear object boundaries from confounding contexts and addressing the dilemma problem between classification and localization performance.

Knowledge graph embedding (KGE), which maps entities and relations in a knowledge graph into continuous vector spaces, has achieved great success in predicting missing links in knowledge graphs. However, knowledge graphs often contain incomplete triples that are difficult to inductively infer by KGEs. To address this challenge, we resort to analogical inference and propose a novel and general self-supervised framework AnKGE to enhance KGE models with analogical inference capability. We propose an analogical object retriever that retrieves appropriate analogical objects from entity-level, relation-level, and triple-level. And in AnKGE, we train an analogy function for each level of analogical inference with the original element embedding from a well-trained KGE model as input, which outputs the analogical object embedding. In order to combine inductive inference capability from the original KGE model and analogical inference capability enhanced by AnKGE, we interpolate the analogy score with the base model score and introduce the adaptive weights in the score function for prediction. Through extensive experiments on FB15k-237 and WN18RR datasets, we show that AnKGE achieves competitive results on link prediction task and well performs analogical inference.

For Prognostics and Health Management (PHM) of Lithium-ion (Li-ion) batteries, many models have been established to characterize their degradation process. The existing empirical or physical models can reveal important information regarding the degradation dynamics. However, there is no general and flexible methods to fuse the information represented by those models. Physics-Informed Neural Network (PINN) is an efficient tool to fuse empirical or physical dynamic models with data-driven models. To take full advantage of various information sources, we propose a model fusion scheme based on PINN. It is implemented by developing a semi-empirical semi-physical Partial Differential Equation (PDE) to model the degradation dynamics of Li-ion-batteries. When there is little prior knowledge about the dynamics, we leverage the data-driven Deep Hidden Physics Model (DeepHPM) to discover the underlying governing dynamic models. The uncovered dynamics information is then fused with that mined by the surrogate neural network in the PINN framework. Moreover, an uncertainty-based adaptive weighting method is employed to balance the multiple learning tasks when training the PINN. The proposed methods are verified on a public dataset of Li-ion Phosphate (LFP)/graphite batteries.