会话分析系统使用嘈杂的人体标签培训，并且在多模态特征提取期间通常需要重型预处理。在单任务学习中使用嘈杂的标签会增加过度拟合的风险。辅助任务可以在同一培训期间提高主要任务学习的性能 - 这种方法坐在转移学习和多任务学习（MTL）的交叉点。在本文中，我们探讨了用于特征工程的预处理数据如何重新用作辅助任务，从而促进数据的生产使用。我们的主要贡献是：（1）鉴定六四有利的辅助任务，（2）研究主要和辅助任务之间的学习能力的方法，以及（3）研究主要和辅助任务之间的相对监督层次结构。对IEMocap和Semaine数据的广泛实验验证了对单任务方法的改进，并建议它可以跨多个主要任务概括。

情绪识别（ER）旨在将人的话语分类为不同的情感类别。基于本文和声学模式之间的早期融合和基于自我注意力的多模式相互作用，在本文中，我们提出了一种多模式多任务学习方法，用于从孤立的单个话语中进行ER。Iemocap基准测试的实验表明，我们提出的模型的表现要比我们对最新的改性的重新实现要好，并且比文献中所有其他单峰和多模式方法更好地实现了性能。此外，强大的基准和消融研究证明了我们提出的方法的有效性。我们在GitHub上公开提供所有代码。

谈话中的情感认可（ERC）是一个重要而积极的研究问题。最近的工作表明了ERC任务使用多种方式（例如，文本，音频和视频）的好处。在谈话中，除非一些外部刺激唤起改变，否则参与者倾向于维持特定的情绪状态。在谈话中持续的潮起潮落和情绪流动。灵感来自这种观察，我们提出了一种多模式ERC模型，并通过情感转换组件增强。所提出的情感移位组件是模块化的，可以添加到任何现有的多模式ERC模型（具有几种修改），以改善情绪识别。我们尝试模型的不同变体，结果表明，包含情感移位信号有助于模型以优于ERC的现有多模型模型，从而展示了MOSEI和IEMOCAP数据集的最先进的性能。

语音情感识别（SER）有许多挑战，但是主要挑战之一是每个框架都没有统一的标准。在本文中，我们提出了Speecheq，这是一个基于多尺度统一度量的统一SER任务的框架。该指标可以通过多任务学习（MTL）培训，其中包括情感状态类别（EIS）和情感强度量表（EIS）的两个情感识别任务，以及两个音素识别和性别识别的辅助任务。对于此框架，我们构建了一个普通话SER数据集-Secemeeq数据集（SEQD）。我们对普通话的公共CASIA和ESD数据集进行了实验，这些实验表明我们的方法比基线方法相对较大，分别获得8.0 \％和6.5 \％的准确性提高。关于Iemocap的其他实验，具有四个情感类别（即生气，快乐，悲伤和中性）也表明所提出的方法达到了78.16％的加权准确性（WA）的最新方法，并且准确性不体（UA） 77.47％。

由于它存在的挑战以及甚至进行预测准确性或预测的潜在奖励，财务预测是机器学习研究的一个重要而活跃的机器学习研究领域。传统上，财务预测严重依赖于结构化财务报表的定量指标和指标。盈利会议呼叫数据（包括文本和音频）是使用深度盈利和相关方法的各种预测任务的重要非结构化数据的重要来源。但是，当前基于深度学习的方法在他们处理数字数据的方式有限;数字通常被视为普通文本令牌，而不利用其底层数字结构。本文介绍了一个以数字为导向的分层变压器模型，以预测库存退货，以及使用多模态对齐收益的财务风险通过利用不同类别的数字（货币，时间，百分比等）及其幅度来调用数据。我们使用现实世界公共可公共数据集介绍了对几个最先进的基线的NumHTML的全面评估结果。结果表明，NumHTML在各种评估指标中显着优于当前最先进的指标，并且它有可能在实际交易环境中提供重大的财务收益。

整合不同域的知识是人类学习的重要特征。学习范式如转移学习，元学习和多任务学习，通过利用新任务的先验知识，鼓励更快的学习和新任务的良好普遍来反映人类学习过程。本文提供了这些学习范例的详细视图以及比较分析。学习算法的弱点是另一个的力量，从而合并它们是文献中的一种普遍的特征。这项工作提供了对文章的文献综述，这些文章融合了两种算法来完成多个任务。这里还介绍了全球通用学习网络，在此介绍了元学习，转移学习和多任务学习的集合，以及一些开放的研究问题和未来研究的方向。

在对抗环境中识别有说服力的扬声器是一项关键任务。在全国选举中，政客们希望代表他们有说服力的发言人。当一家公司面临不利的宣传时，他们希望在对他们批评的对手存在的对手存在中，他们希望有说服力的倡导者。辩论代表了这些形式的对抗性劝说的共同平台。本文解决了两个问题：辩论结果预测（DOP）问题预测谁赢得了辩论的争论，而劝说预测强度（IPP）问题预测发言者发言前后投票数量的变化。虽然DOP先前已经研究过，但我们是第一个研究IPP的研究。关于DOP的过去的研究未能利用多模式数据的两个重要方面：1）多种方式通常是语义对齐，而2）不同的方式可以提供用于预测的不同信息。我们的M2P2（多模式说服预测）框架是第一个使用多模式（声学，视觉，语言）数据来解决IPP问题的框架。为了利用不同方式的对准，同时保持所提供的提示的多样性，M2P2设计了一种新的自适应融合学习框架，其保留了从两个模块获得的嵌入式的嵌入式 - 一种对准模块，其提取模态和学习的异构性模块之间的共享信息。具有三种单独培训的单峰参考模型的指导的不同方式的重量。我们在为DOP设计的流行IQ2US数据集中测试M2P2。我们还介绍了一个名为QPS的新数据集（来自QIPASHUO，一个受欢迎的中国辩论电视节目）为IPP。 M2P2显着优于两个数据集上的4个最近基线。

Social networking sites, blogs, and online articles are instant sources of news for internet users globally. However, in the absence of strict regulations mandating the genuineness of every text on social media, it is probable that some of these texts are fake news or rumours. Their deceptive nature and ability to propagate instantly can have an adverse effect on society. This necessitates the need for more effective detection of fake news and rumours on the web. In this work, we annotate four fake news detection and rumour detection datasets with their emotion class labels using transfer learning. We show the correlation between the legitimacy of a text with its intrinsic emotion for fake news and rumour detection, and prove that even within the same emotion class, fake and real news are often represented differently, which can be used for improved feature extraction. Based on this, we propose a multi-task framework for fake news and rumour detection, predicting both the emotion and legitimacy of the text. We train a variety of deep learning models in single-task and multi-task settings for a more comprehensive comparison. We further analyze the performance of our multi-task approach for fake news detection in cross-domain settings to verify its efficacy for better generalization across datasets, and to verify that emotions act as a domain-independent feature. Experimental results verify that our multi-task models consistently outperform their single-task counterparts in terms of accuracy, precision, recall, and F1 score, both for in-domain and cross-domain settings. We also qualitatively analyze the difference in performance in single-task and multi-task learning models.

社交媒体网络已成为人们生活的重要方面，它是其思想，观点和情感的平台。因此，自动化情绪分析（SA）对于以其他信息来源无法识别人们的感受至关重要。对这些感觉的分析揭示了各种应用，包括品牌评估，YouTube电影评论和医疗保健应用。随着社交媒体的不断发展，人们以不同形式发布大量信息，包括文本，照片，音频和视频。因此，传统的SA算法已变得有限，因为它们不考虑其他方式的表现力。通过包括来自各种物质来源的此类特征，这些多模式数据流提供了新的机会，以优化基于文本的SA之外的预期结果。我们的研究重点是多模式SA的最前沿领域，该领域研究了社交媒体网络上发布的视觉和文本数据。许多人更有可能利用这些信息在这些平台上表达自己。为了作为这个快速增长的领域的学者资源，我们介绍了文本和视觉SA的全面概述，包括数据预处理，功能提取技术，情感基准数据集以及适合每个字段的多重分类方法的疗效。我们还简要介绍了最常用的数据融合策略，并提供了有关Visual Textual SA的现有研究的摘要。最后，我们重点介绍了最重大的挑战，并调查了一些重要的情感应用程序。

讽刺可以被定义为说或写讽刺与一个人真正想表达的相反，通常是为了侮辱，刺激或娱乐某人。由于文本数据中讽刺性的性质晦涩难懂，因此检测到情感分析研究社区的困难和非常感兴趣。尽管讽刺检测的研究跨越了十多年，但最近已经取得了一些重大进步，包括在多模式环境中采用了无监督的预训练的预训练的变压器，并整合了环境以识别讽刺。在这项研究中，我们旨在简要概述英语计算讽刺研究的最新进步和趋势。我们描述了与讽刺有关的相关数据集，方法，趋势，问题，挑战和任务，这些数据集，趋势，问题，挑战和任务是无法检测到的。我们的研究提供了讽刺数据集，讽刺特征及其提取方法以及各种方法的性能分析，这些表可以帮助相关领域的研究人员了解当前的讽刺检测中最新实践。

In vision and linguistics; the main input modalities are facial expressions, speech patterns, and the words uttered. The issue with analysis of any one mode of expression (Visual, Verbal or Vocal) is that lot of contextual information can get lost. This asks researchers to inspect multiple modalities to get a thorough understanding of the cross-modal dependencies and temporal context of the situation to analyze the expression. This work attempts at preserving the long-range dependencies within and across different modalities, which would be bottle-necked by the use of recurrent networks and adds the concept of delta-attention to focus on local differences per modality to capture the idiosyncrasy of different people. We explore a cross-attention fusion technique to get the global view of the emotion expressed through these delta-self-attended modalities, in order to fuse all the local nuances and global context together. The addition of attention is new to the multi-modal fusion field and currently being scrutinized for on what stage the attention mechanism should be used, this work achieves competitive accuracy for overall and per-class classification which is close to the current state-of-the-art with almost half number of parameters.

Twitter上的自动抑郁症检测可以帮助个人在早期阶段私下方便地了解其心理健康状况，然后再见心理健康专业人员。大多数现有的黑盒样深度学习方法用于抑郁症检测主要集中在改善分类性能上。但是，在健康研究中解释模型决策至关重要，因为决策通常可以是高风险和死亡。可靠的自动诊断精神健康问题在内的抑郁症应得到可靠的解释，以证明模型的预测是合理的。在这项工作中，我们提出了一个新颖的可解释模型，用于在Twitter上检测抑郁症。它包括一个新颖的编码器，结合了分层注意机制和前馈神经网络。为了支持心理语言学研究，我们的模型利用隐喻概念映射作为输入。因此，它不仅检测到沮丧的人，还可以确定此类用户推文和相关隐喻概念映射的功能。

自动识别面部和声音的明显情绪很难，部分原因是各种不确定性来源，包括输入数据和机器学习框架中使用的标签。本文介绍了一种不确定性感知的视听融合方法，该方法量化了对情绪预测的模态不确定性。为此，我们提出了一个新颖的融合框架，在该框架中，我们首先通过视听时间上下文向量学习潜在分布，然后限制单峰潜在分布的方差向量，以便它们表示每种模式的信息量，以提供W.R.T.情绪识别。特别是，我们对视听潜在分布的方差向量施加了校准和序数排名约束。当经过良好校准时，将模态不确定性得分表明它们的相应预测可能与地面真实标签有多大不同。排名良好的不确定性得分允许在模式中对不同框架进行顺序排名。为了共同施加这两种约束，我们提出了软马克斯分布匹配损失。在分类和回归设置中，我们将不确定性感知的融合模型与标准模型 - 静态融合基线进行了比较。我们对两个情绪识别语料库（AVEC 2019 CES和IEMOCAP）的评估表明，视听情绪识别可以从良好的和良好的潜在不确定性度量中受益匪浅。

The goal of building dialogue agents that can converse with humans naturally has been a long-standing dream of researchers since the early days of artificial intelligence. The well-known Turing Test proposed to judge the ultimate validity of an artificial intelligence agent on the indistinguishability of its dialogues from humans'. It should come as no surprise that human-level dialogue systems are very challenging to build. But, while early effort on rule-based systems found limited success, the emergence of deep learning enabled great advance on this topic. In this thesis, we focus on methods that address the numerous issues that have been imposing the gap between artificial conversational agents and human-level interlocutors. These methods were proposed and experimented with in ways that were inspired by general state-of-the-art AI methodologies. But they also targeted the characteristics that dialogue systems possess.

Many real-world problems are inherently multimodal, from the communicative modalities humans use to express social and emotional states to the force, proprioception, and visual sensors ubiquitous on robots. While there has been an explosion of interest in multimodal representation learning, these methods are still largely focused on a small set of modalities, primarily in the language, vision, and audio space. In order to accelerate generalization towards diverse and understudied modalities, this paper studies efficient representation learning for high-modality scenarios. Since adding new models for every new modality or task becomes prohibitively expensive, a critical technical challenge is heterogeneity quantification: how can we measure which modalities encode similar information and interactions in order to permit parameter sharing with previous modalities? We propose two new information-theoretic metrics for heterogeneity quantification: (1) modality heterogeneity studies how similar 2 modalities $\{X_1,X_2\}$ are by measuring how much information can be transferred from $X_1$ to $X_2$, while (2) interaction heterogeneity studies how similarly pairs of modalities $\{X_1,X_2\}, \{X_3,X_4\}$ interact by measuring how much interaction information can be transferred from $\{X_1,X_2\}$ to $\{X_3,X_4\}$. We show the importance of these proposed metrics in high-modality scenarios as a way to automatically prioritize the fusion of modalities that contain unique information or interactions. The result is a single model, HighMMT, that scales up to $10$ modalities and $15$ tasks from $5$ different research areas. Not only does HighMMT outperform prior methods on the tradeoff between performance and efficiency, it also demonstrates a crucial scaling behavior: performance continues to improve with each modality added, and transfers to entirely new modalities and tasks during fine-tuning.

近年来，多任务学习在各种应用程序中都取得了巨大的成功。尽管这些年来，单个模型培训已承诺取得出色的成果，但它忽略了有价值的信息，这些信息可能有助于我们更好地估计一个指标。在与学习相关的任务下，多任务学习能够更好地概括模型。我们试图通过在相关任务和归纳转移学习之间共享功能来增强多任务模型的功能映射。此外，我们的兴趣是学习各种任务之间的任务关系，以从多任务学习中获得更好的收益。在本章中，我们的目标是可视化现有的多任务模型，比较其性能，用于评估多任务模型性能的方法，讨论在各个领域的设计和实施过程中所面临的问题，以及他们实现的优势和里程碑

The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.

使用文本，图像，音频，视频等多种方式的多模式深度学习系统，与单独的方式（即单向）系统相比，显示出更好的性能。多式联机学习涉及多个方面：表示，翻译，对齐，融合和共同学习。在当前多式联机学习状态下，假设是在训练和测试时间期间存在，对齐和无噪声。然而，在现实世界的任务中，通常，观察到一个或多个模式丢失，嘈杂，缺乏注释数据，具有不可靠的标签，并且在训练或测试中稀缺，或两者都稀缺。这种挑战是由称为多式联合学习的学习范例解决的。通过使用模态之间的知识传输，包括其表示和预测模型，通过从另一个（资源丰富的）方式利用来自另一（资源丰富的）模型的知识来帮助实现（资源差）模型的建模。共同学习是一个新兴地区，没有专注的评论，明确地关注共同学习所解决的所有挑战。为此，在这项工作中，我们对新兴的多式联合学习领域提供了全面的调查，尚未完整探讨。我们审查实施的实施，以克服一个或多个共同学习挑战，而不明确地将它们视为共同学习挑战。我们基于共同学习和相关实施解决的挑战，展示了多式联合学习的综合分类。用于包括最新的技术与一些应用程序和数据集一起审查。我们的最终目标是讨论挑战和观点以及未来工作的重要思想和方向，我们希望对整个研究界的有益，重点关注这一令人兴奋的领域。

在本文中，我们介绍了2022年多模式情感分析挑战（MUSE）的解决方案，其中包括Muse-Humor，Muse-Rection和Muse Surns Sub-Challenges。 2022年穆斯穆斯（Muse 2022）着重于幽默检测，情绪反应和多模式的情感压力，利用不同的方式和数据集。在我们的工作中，提取了不同种类的多模式特征，包括声学，视觉，文本和生物学特征。这些功能由Temma和Gru融合到自发机制框架中。在本文中，1）提取了一些新的音频功能，面部表达功能和段落级文本嵌入以进行准确的改进。 2）我们通过挖掘和融合多模式特征来显着提高多模式情感预测的准确性和可靠性。 3）在模型培训中应用有效的数据增强策略，以减轻样本不平衡问题并防止模型形成学习有偏见的主题字符。对于博物馆的子挑战，我们的模型获得了0.8932的AUC分数。对于Muse Rection子挑战，我们在测试集上的Pearson相关系数为0.3879，它的表现优于所有其他参与者。对于Muse Surst Sub-Challenge，我们的方法在测试数据集上的唤醒和价值都优于基线，达到了0.5151的最终综合结果。

已经普遍研究了具有精确唇部同步的语音驱动的3D面部动画。然而，在演讲中为整个面部的综合制造动作很少被探索。在这项工作中，我们介绍了一个联合音频文本模型，用于捕捉表达语音驱动的3D面部动画的上下文信息。收集现有数据集以覆盖尽可能多的不同音素而不是句子，从而限制了基于音频的模型的能力，以了解更多不同的上下文。为解决此问题，我们建议利用从强大的预先培训的语言模型中提取的上下文文本嵌入，该模型从大规模文本数据中学习了丰富的上下文表示。我们的假设是文本特征可以消除上面表达式的变化，这与音频没有强烈相关。与从文本中学习音素级别功能的先前方法相比，我们调查语音驱动3D面部动画的高级上下文文本特征。我们表明，组合的声学和文本方式可以在维持抖动同步的同时综合现实的面部表达式。我们进行定量和定性评估以及感知用户学习。结果展示了我们模型对现有最先进的方法的卓越表现。