在多模式情绪分析（MSA）中，模型的性能高度取决于合成嵌入的质量。这些嵌入来自称为多模式融合的上游进程，旨在提取并结合输入的单向原始数据以产生更丰富的多峰表示。以前的工作要么返回传播任务丢失或操纵要素空间的几何属性，以产生有利的融合结果，它忽略了从输入到融合结果的关键任务相关信息的保存。在这项工作中，我们提出了一个名为多模式InfoMax（MMIM）的框架，该框架是分层地最大化单向输入对（互别级别）的互信息（MI），以及多模式融合结果和单向输入之间以便通过多模式融合。该框架与主要任务（MSA）共同培训，以提高下游MSA任务的性能。为了解决MI界限的棘手问题，我们进一步制定了一组计算简单的参数和非参数方法来近似于其真实值。两个广泛使用的数据集上的实验结果表明了我们的方法的功效。此工作的实施是公开可用的，在https://github.com/declare-lab/multimodal-infomax上。

多模式情绪分析（MSA）是一种基本复杂的研究问题，因为不同方式与人类情绪表达的模糊性之间的异质性差距。虽然已经成功地建造了MSA的多模式表示，但仍有两个挑战需要解决：1）需要构建更强大的多模式表示来弥合异质性间隙并应对复杂的多模式相互作用和2）必须在整个信息流中有效地建模上下文动态。在这项工作中，我们提出了一种基于相互信息最大化和最小化和身份嵌入（MMMIE）的多模式表示模型。我们将模态对之间的相互信息最大化以及输入数据和相应功能之间的相互信息最小化，以挖掘模态不变和任务相关信息。此外，提出了身份嵌入，以提示下游网络来感知语境信息。两个公共数据集的实验结果证明了所提出的模型的有效性。

人类通过不同的渠道表达感受或情绪。以语言为例，它在不同的视觉声学上下文下需要不同的情绪。为了精确了解人类意图，并减少歧义和讽刺引起的误解，我们应该考虑多式联路信号，包括文本，视觉和声学信号。至关重要的挑战是融合不同的特征模式以进行情绪分析。为了有效地融合不同的方式携带的信息，更好地预测情绪，我们设计了一种基于新的多主题的融合网络，这是由任何两个对方式之间的相互作用不同的观察来启发，它们是不同的，并且它们不同样有助于最终的情绪预测。通过分配具有合理关注和利用残余结构的声学 - 视觉，声学 - 文本和视觉文本特征，我们参加了重要的特征。我们对四个公共多模式数据集进行了广泛的实验，包括中文和三种英文中的一个。结果表明，我们的方法优于现有的方法，并可以解释双模相互作用在多种模式中的贡献。

随着用户生成的在线视频的扩散，多模式情感分析（MSA）最近引起了越来越多的关注。尽管取得了重大进展，但在稳健的MSA方面仍然存在两个主要挑战：1）在未对准的多模式数据中对跨模式相互作用进行建模时效率低下； 2）通常在现实设置中出现的随机模态特征的脆弱性。在本文中，我们提出了一个通用和统一的框架来解决它们，以双级特征恢复（EMT-DLFR）为有效的多模式变压器。具体而言，EMT采用了从每种模式的语音级表示作为全球多模式上下文，以与局部单峰特征相互作用并相互促进。它不仅避免了以前本地局部跨模式相互作用方法的二次缩放成本，而且还可以提高性能。一方面，为了提高模型鲁棒性，DLFR执行低级功能重建，以隐式鼓励模型从不完整的数据中学习语义信息。另一方面，它是一种创新的，将完整的数据视为一个样本的两个不同视图，并利用暹罗代表学学习明确吸引其高级表示。在三个流行数据集上进行的全面实验表明，我们的方法在完整和不完整的模态设置中都能达到卓越的性能。

融合技术是多模式情绪分析中的关键研究主题。最近的关注的融合表明了基于简单的操作融合的进步。然而，这些融合作品采用单规模，即令牌级或话语水平，单峰代表。这种单尺度融合是次优，因为不同的模态应该以不同的粒度对齐。本文提出了名为Scalevlad的融合模型，从文本，视频和音频中收集多尺度表示，与本地聚合描述符的共享向量，以改善未对准的多模式情绪分析。这些共享向量可以被视为共享主题以对齐不同的模态。此外，我们提出了一种自我监督的移位聚类损失，以保持样本之间的融合特征差异化。底部是对应于三个模态的三个变压器编码器，并且从融合模块产生的聚合特征将馈送到变压器加上完成任务预测的完全连接。在三个流行的情感分析基准，IEMocap，MOSI和MOSEI的实验，证明了基准的显着收益。

Learning effective joint embedding for cross-modal data has always been a focus in the field of multimodal machine learning. We argue that during multimodal fusion, the generated multimodal embedding may be redundant, and the discriminative unimodal information may be ignored, which often interferes with accurate prediction and leads to a higher risk of overfitting. Moreover, unimodal representations also contain noisy information that negatively influences the learning of cross-modal dynamics. To this end, we introduce the multimodal information bottleneck (MIB), aiming to learn a powerful and sufficient multimodal representation that is free of redundancy and to filter out noisy information in unimodal representations. Specifically, inheriting from the general information bottleneck (IB), MIB aims to learn the minimal sufficient representation for a given task by maximizing the mutual information between the representation and the target and simultaneously constraining the mutual information between the representation and the input data. Different from general IB, our MIB regularizes both the multimodal and unimodal representations, which is a comprehensive and flexible framework that is compatible with any fusion methods. We develop three MIB variants, namely, early-fusion MIB, late-fusion MIB, and complete MIB, to focus on different perspectives of information constraints. Experimental results suggest that the proposed method reaches state-of-the-art performance on the tasks of multimodal sentiment analysis and multimodal emotion recognition across three widely used datasets. The codes are available at \url{https://github.com/TmacMai/Multimodal-Information-Bottleneck}.

多模式情感分析是一项重要的研究任务，可以根据特定意见视频的不同模式数据来预测情绪得分。以前的许多研究都证明了利用不同模式的共享和独特信息的重要性。但是，来自多模式数据的高阶组合信号也将有助于提取满足表示形式。在本文中，我们提出了CMGA，这是MSA的跨模式门控注意融合模型，倾向于在不同的模态对上进行足够的相互作用。CMGA还添加了一个忘记的门来过滤交互过程中引入的嘈杂和冗余信号。我们在MSA，MOSI和MOSEI的两个基准数据集上进行了实验，以说明CMGA在几种基线模型上的性能。我们还进行了消融研究，以证明CMGA内部不同组件的功能。

Modality representation learning is an important problem for multimodal sentiment analysis (MSA), since the highly distinguishable representations can contribute to improving the analysis effect. Previous works of MSA have usually focused on multimodal fusion strategies, and the deep study of modal representation learning was given less attention. Recently, contrastive learning has been confirmed effective at endowing the learned representation with stronger discriminate ability. Inspired by this, we explore the improvement approaches of modality representation with contrastive learning in this study. To this end, we devise a three-stages framework with multi-view contrastive learning to refine representations for the specific objectives. At the first stage, for the improvement of unimodal representations, we employ the supervised contrastive learning to pull samples within the same class together while the other samples are pushed apart. At the second stage, a self-supervised contrastive learning is designed for the improvement of the distilled unimodal representations after cross-modal interaction. At last, we leverage again the supervised contrastive learning to enhance the fused multimodal representation. After all the contrast trainings, we next achieve the classification task based on frozen representations. We conduct experiments on three open datasets, and results show the advance of our model.

Humans are sophisticated at reading interlocutors' emotions from multimodal signals, such as speech contents, voice tones and facial expressions. However, machines might struggle to understand various emotions due to the difficulty of effectively decoding emotions from the complex interactions between multimodal signals. In this paper, we propose a multimodal emotion analysis framework, InterMulti, to capture complex multimodal interactions from different views and identify emotions from multimodal signals. Our proposed framework decomposes signals of different modalities into three kinds of multimodal interaction representations, including a modality-full interaction representation, a modality-shared interaction representation, and three modality-specific interaction representations. Additionally, to balance the contribution of different modalities and learn a more informative latent interaction representation, we developed a novel Text-dominated Hierarchical High-order Fusion(THHF) module. THHF module reasonably integrates the above three kinds of representations into a comprehensive multimodal interaction representation. Extensive experimental results on widely used datasets, (i.e.) MOSEI, MOSI and IEMOCAP, demonstrate that our method outperforms the state-of-the-art.

In the field of multimodal sentiment analysis (MSA), a few studies have leveraged the inherent modality correlation information stored in samples for self-supervised learning. However, they feed the training pairs in a random order without consideration of difficulty. Without human annotation, the generated training pairs of self-supervised learning often contain noise. If noisy or hard pairs are used for training at the easy stage, the model might be stuck in bad local optimum. In this paper, we inject curriculum learning into weakly supervised modality correlation learning. The weakly supervised correlation learning leverages the label information to generate scores for negative pairs to learn a more discriminative embedding space, where negative pairs are defined as two unimodal embeddings from different samples. To assist the correlation learning, we feed the training pairs to the model according to difficulty by the proposed curriculum learning, which consists of elaborately designed scoring and feeding functions. The scoring function computes the difficulty of pairs using pre-trained and current correlation predictors, where the pairs with large losses are defined as hard pairs. Notably, the hardest pairs are discarded in our algorithm, which are assumed as noisy pairs. Moreover, the feeding function takes the difference of correlation losses as feedback to determine the feeding actions (`stay', `step back', or `step forward'). The proposed method reaches state-of-the-art performance on MSA.

关于多模式情感分析的现有研究在很大程度上依赖文本方式，不可避免地会引起文本单词和情感标签之间的虚假相关性。这极大地阻碍了模型的概括能力。为了解决这个问题，我们定义了分发（OOD）多模式分析的任务。该任务旨在估计和减轻文本方式对强大概括的不良影响。为此，我们接受了因果推断，该因果通过因果图检查了因果关系。从图中，我们发现虚假相关性归因于文本模式对模型预测的直接影响，而间接相关性通过考虑多模式语义来更可靠。受此启发的启发，我们设计了一个模型不足的反事实框架，用于多模式情感分析，该框架通过额外的文本模型捕获文本模式的直接效果，并通过多模型估算间接模型。在推断期间，我们首先通过反事实推断估算直接效应，然后从所有模式的总效应中减去它以获得可靠预测的间接效应。广泛的实验显示了我们提出的框架的卓越有效性和概括能力。

多模式情感分析和抑郁估计是两个重要的研究主题，旨在使用多模式数据预测人类精神状态。先前的研究重点是制定有效的融合策略，以交换和整合不同模式的与思想有关的信息。一些基于MLP的技术最近在各种计算机视觉任务中取得了巨大的成功。受到这一点的启发，我们探索了本研究中具有混合视角的多模式方法。为此，我们介绍了完全基于MLP的多模式特征处理框架CubeMLP。 CUBEMLP由三个独立的MLP单元组成，每个单元都有两个仿射转换。 CUBEMLP接受所有相关的模态特征作为输入，并在三个轴上混合它们。使用CubeMLP提取特性后，将混合的多模式特征扁平以进行任务预测。我们的实验是在情感分析数据集上进行的：CMU-MOSI和CMU-MOSEI，以及抑郁估计数据集：AVEC2019。结果表明，CUBEMLP可以以低得多的计算成本来实现最先进的性能。

多模式情感分析由于其在多模式相互作用中的信息互补性而具有广泛的应用。以前的作品更多地着重于研究有效的联合表示，但他们很少考虑非峰值提取和多模层融合的数据冗余性的不足。在本文中，提出了一个基于视频的跨模式辅助网络（VCAN），该网络由音频特征映射模块和跨模式选择模块组成。第一个模块旨在大大提高音频功能提取的特征多样性，旨在通过提供更全面的声学表示来提高分类精度。为了授权该模型处理冗余视觉功能，第二个模块是在集成视听数据时有效地过滤冗余视觉框架的。此外，引入了由几个图像分类网络组成的分类器组，以预测情感极性和情感类别。关于RAVDESS，CMU-MOSI和CMU-MOSEI基准的广泛实验结果表明，VCAN明显优于提高多模式情感分析的分类准确性的最新方法。

Human language is often multimodal, which comprehends a mixture of natural language, facial gestures, and acoustic behaviors. However, two major challenges in modeling such multimodal human language time-series data exist: 1) inherent data non-alignment due to variable sampling rates for the sequences from each modality; and 2) long-range dependencies between elements across modalities. In this paper, we introduce the Multimodal Transformer (MulT) to generically address the above issues in an end-to-end manner without explicitly aligning the data. At the heart of our model is the directional pairwise crossmodal attention, which attends to interactions between multimodal sequences across distinct time steps and latently adapt streams from one modality to another. Comprehensive experiments on both aligned and non-aligned multimodal time-series show that our model outperforms state-of-the-art methods by a large margin. In addition, empirical analysis suggests that correlated crossmodal signals are able to be captured by the proposed crossmodal attention mechanism in MulT.

已显示来自各种来源的多模式信息的集成可以提高机器学习模型的性能，因此近年来受到了越来越多的关注。通常，这样的模型使用深度模式特异性网络来获得单峰特征，这些特征合并以获得“晚融合”表示。但是，这些设计承担了各自单峰管道中信息损失的风险。另一方面，结合早期特征的“早期融合”方法遭受了与特征异质性和高样本复杂性相关的问题。在这项工作中，我们提出了一种迭代表示的改进方法，称为渐进式融合，该方法减轻了晚期融合表示的问题。我们的模型不足的技术引入了向后连接，使后期融合的表示形式可用于早期层，从而提高了这些阶段的表示表现力，同时保留了晚期融合设计的优势。我们在任务上测试渐进式融合，包括情感检测，多媒体分析以及与不同模型的时间序列融合，以证明其多功能性。我们表明，我们的方法始终提高性能，例如，在多模式时间序列预测中，MSE降低了5％，鲁棒性提高了40％。

随着电子商务的繁荣，旨在按照预测的有用性分数对产品评论进行分类的多模式审查帮助预测（MRHP）已成为研究热点。此任务的先前工作集中于基于注意力的模态融合，信息集成和关系建模，该模型主要暴露了以下缺点：1）由于其不加区分的注意公式，该模型可能无法捕获真正的基本信息； 2）缺乏适当的建模方法，可以充分利用提供的数据之间的相关性。在本文中，我们提出了SANCL：MRHP的选择性关注和自然对比学习。 SANCL采用基于探测的策略来对更大意义的区域进行高度注意权重。它还基于数据集中的自然匹配属性构建了对比度学习框架。两个基准数据集的实验结果（三个类别）表明，SANCL在记忆消耗较低的情况下实现了最先进的基线性能。

现有的多模式情感计算任务的工作，例如情感识别，通常采用两相管线，首先用手工制作算法提取每个单个模态的特征表示，然后用提取的特征执行端到端学习。然而，提取的特征是固定的，并且不能在不同的目标任务上进一步微调，并且手动查找特征提取算法不概括或缩放到不同的任务，这可能导致次优性能。在本文中，我们开发了一个完全端到端的模型，可以联系两个阶段并共同优化它们。此外，我们还会重新计算当前数据集以启用完全结束的培训。此外，为了减少端到端模型所带来的计算开销，我们引入了一种特征提取的稀疏跨模型注意机制。实验结果表明，我们全面的端到端模型基于两相管道显着超越了当前的最先进模型。此外，通过增加稀疏的跨模型注意力，我们的模型可以在特征提取部分中的计算中保持性能。

学习脱消自然语言的表示对于许多NLP任务至关重要，例如，条件文本生成，样式转移，个性化对话系统等。已经广泛研究了类似的问题，以其他形式的数据，例如图像和视频。然而，自然语言的离散性质使得脱屑更具挑战性（例如，无法轻易实现数据空间的操纵）。受到信息理论的启发，我们提出了一种新的方法，有效地体现了案文的解散表示，没有任何关于语义的监督。派生和利用新的相互信息上限以测量风格和内容之间的依赖。通过最小化该上限，提出的方法将嵌入式和内容嵌入到两个独立的低维空间中。条件文本生成和文本式转移的实验表明了在内容和风格保存方面的高质量。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

关于多模式情绪识别的最新作品转向端到端模型，该模型可以提取与两阶段管道相比，目标任务监督的特定任务特征。但是，以前的方法仅模拟文本和声学和视觉方式之间的特征相互作用，而忽略了捕获声学和视觉方式之间的特征相互作用。在本文中，我们提出了多模式的端到端变压器（ME2ET），该变压器可以有效地对低级和高级水平的文本，声学和视觉方式之间的三模式特征进行建模。在低水平，我们提出了进行性三模式的注意，可以通过采用两次通行策略来对三模式特征相互作用进行建模，并可以进一步利用这种相互作用，以通过降低输入令牌来显着降低计算和记忆复杂性长度。在高水平上，我们引入了三模式特征融合层，以明确汇总三种模式的语义表示。 CMU-MOSEI和IEMOCAP数据集的实验结果表明，ME2ET实现了最新性能。进一步的深入分析证明了拟议的渐进三模式关注的有效性，效率和解释性，这可以帮助我们的模型实现更好的性能，同时显着降低计算和记忆成本。我们的代码将公开可用。