这项工作结合了有关预先训练模型编码的对话历史的信息，其含义表示当前系统话语，以实现面向任务对话中的语境语言生成。我们利用预先训练的多上下文转换模型进行从头开始培训的模型中的上下文表示;并利用从预训练的GPT-2调整的模型中的上下文生成的立即使用前面的用户话语。与多种数据集的两个实验表明，通过预先训练的模型编码的上下文信息可提高自动指标和人类评估中的响应生成的性能。我们所呈现的上下文发电机使得更高种类的响应能够更好地适应正在进行的对话。分析上下文大小显示，较长的上下文不会自动导致更好的性能，但是前面的用户话语的直接对上下文生成起着重要作用。此外，我们还提出了一种基于GPT的生成模型的重新排名。实验表明，RE-Ranker选择的响应对自动度量有重大改进。

预先接受训练的语言模型的最新进展具有显着改善的神经反应生成。但是，现有方法通常将对话背景视为令牌的线性序列，并通过令牌级自我关注学习生成下一个单词。这些令牌级编码阻碍了话语中话语水平一致性的探索。本文介绍了对话贝特，这是一种新的会话响应生成模型，可以增强以前的基于PLM的对话模型。 DialogBert采用分层变压器架构。为了有效地捕捉话语中的话语水平一致性，我们提出了两种培训目标，包括蒙面的话语回归和分布式话语秩序与原始BERT训练相比。在三个多转对谈话数据集上的实验表明，在定量评估方面，我们的方法非常优于BART和Dialogpt等基线。人类评估表明，DialogBert比具有显着利润率的基线产生更加连贯，信息和人类的反应。

本文介绍了一种自动评估对话系统中自然语言生成的自然。虽然这项任务以前通过昂贵且耗时的人类劳动力提供，但我们提出了这种新的生成语言自然评估的新任务。通过微调BERT模型，我们所提出的自然评估方法显示了稳健的结果，优于基线：支持向量机，双向LSTM和BLEurt。此外，通过从质量和信息性语言知识转移学习，改善了自然模型的训练速度和评估性能。

当在现实世界中以任务为导向的对话系统中实现自然语言（NLG）组件时，不仅需要在训练数据上学习的自然话语，而且还需要适应对话环境（例如，环境中的噪音）听起来）和用户（例如，理解能力水平较低的用户）。受到语言生成任务的强化学习（RL）的最新进展的启发，我们提出了Antor，这是一种通过强化学习来适应以任务为导向对话的自然语言生成的方法。在Antor中，与用户对系统话语的理解相对应的自然语言理解（NLU）模块已纳入RL的目标函数中。如果将NLG的意图正确传达给了NLU，该意图理解了系统的话语，则NLG将获得积极的回报。我们在Multiwoz数据集上进行了实验，并确认Antor可以对语音识别错误和用户的不同词汇水平产生适应性话语。

预先接受的语言模型（PLM）在神经对话建模中标志着巨大的飞跃。虽然PLMS在大型文本语料库上进行预先培训，但通常在具有特定领域知识和对话风格的稀缺对话数据上进行微调。然而，在大型预先训练模型中充分利用现有知识的同时定制语言模型仍然是一个挑战。在本文中，我们提出了一种预先接受训练的对话建模的新方法，将对话生成问题作为一个快速学习任务。而不是在有限的对话数据上进行微调，我们的方法，DialogPrompt学习针对对话背景优化的连续提示嵌入，从而从大型预训练模型中促进了知识。为了鼓励模型更好地利用提示嵌入，提示编码器被设计为在输入对话框上下文中的条件。流行对话数据集的实验表明，我们的方法显着优于微调基线和通用及时学习方法。此外，人类评估强烈支持对DialialPrompt的优越性在响应生成质量方面。

Long-range context modeling is crucial to both dialogue understanding and generation. The most popular method for dialogue context representation is to concatenate the last-$k$ previous utterances. However, this method may not be ideal for conversations containing long-range dependencies. In this work, we propose DialoGX, a novel encoder-decoder based framework for conversational response generation with a generalized and explainable context representation that can look beyond the last-$k$ utterances. Hence the method is adaptive to conversations with long-range dependencies. The main idea of our approach is to identify and utilize the most relevant historical utterances instead of the last-$k$ utterances in chronological order. We study the effectiveness of our proposed method on both dialogue generation (open-domain) and understanding (DST) tasks. DialoGX achieves comparable performance with the state-of-the-art models on DailyDialog dataset. We also observe performance gain in existing DST models with our proposed context representation strategy on MultiWOZ dataset. We justify our context representation through the lens of psycholinguistics and show that the relevance score of previous utterances agrees well with human cognition which makes DialoGX explainable as well.

医学对话生成是一项重要但具有挑战性的任务。以前的大多数作品都依赖于注意力机制和大规模预处理的语言模型。但是，这些方法通常无法从长时间的对话历史中获取关键信息，从而产生准确和信息丰富的响应，因为医疗实体通常散布在多种话语中以及它们之间的复杂关系。为了减轻此问题，我们提出了一个具有关键信息召回（Medpir）的医疗响应生成模型，该模型建立在两个组件上，即知识吸引的对话图形编码器和召回增强的生成器。知识吸引的对话图编码器通过利用话语中的实体之间的知识关系，并使用图形注意力网络对话图来构建对话图。然后，召回增强的发电机通过在产生实际响应之前生成对话的摘要来增强这些关键信息的使用。两个大型医学对话数据集的实验结果表明，Medpir在BLEU分数和医疗实体F1度量中的表现优于强大的基准。

用户模拟器（USS）通常用于通过增强学习训练面向任务的对话系统（DSS）。相互作用通常是在语义层面上以提高效率的，但是从语义动作到自然语言仍然存在差距，这会导致培训和部署环境之间的不匹配。在培训期间，将自然语言生成（NLG）模块与USS结合在一起可以部分解决此问题。但是，由于US的策略和NLG是单独优化的，因此在给定的情况下，这些模拟的用户话语可能不够自然。在这项工作中，我们提出了一个基于生成变压器的用户模拟器（Gentus）。 Gentus由编码器结构组成，这意味着它可以共同优化用户策略和自然语言。 Gentus既产生语义动作又产生自然语言话语，从而保留了解释性和增强语言的变化。另外，通过将输入和输出表示为单词序列以及使用大型的预训练语言模型，我们可以在功能表示中实现普遍性。我们通过自动指标和人类评估评估绅士。我们的结果表明，绅士会产生更多的自然语言，并能够以零拍的方式转移到看不见的本体论中。此外，通过加强学习为培训专业用户模拟器打开大门，可以进一步塑造其行为。

良好的善解人意对话系统应首先跟踪并理解用户的情绪，然后以适当的情感回复。但是，目前对此任务的方法要么集中于提高对用户情绪的理解或提出更好的反应策略，而且很少有作品同时考虑这两种工作。我们的工作试图填补这一空缺。受到任务导向对话系统的启发，我们提出了一种具有情感感知对话管理的新颖善解人意的响应生成模型。情绪感知对话管理包含两个部分：（1）情绪状态跟踪保持当前用户的情绪状态，（2）善解人意的对话策略选择预测目标情绪和用户的意图，基于情绪状态跟踪的结果。然后，预测信息用于指导响应的产生。实验结果表明，与自动评估和人类评估下的几个基准相比，动态管理不同的信息可以帮助模型产生更多的移情反应。

学习高质量的对话表示对于解决各种面向对话的任务至关重要，尤其是考虑到对话系统通常会遇到数据稀缺。在本文中，我们介绍了对话句子嵌入（DSE），这是一种自我监督的对比学习方法，它学习有效的对话表示，适合各种对话任务。 DSE通过连续进行与对比度学习的正面对话的连续对话来从对话中学习。尽管它很简单，但DSE的表现能力比其他对话表示和普遍的句子表示模型要好得多。我们评估DSE的五个下游对话任务，这些任务检查了不同语义粒度的对话表示。几次射击和零射击设置的实验表明，DSE的表现要优于基线。例如，它在6个数据集中的1-Shot意图分类中比最强的无监督基线实现了13％的平均绩效提高。我们还提供了有关模型的好处和局限性的分析。

语言是人类交流的主要工具，其中幽默是最有吸引力的部分之一。使用计算机，又称自然语言生成（NLG）的人类产生自然语言，已广泛用于对话系统，聊天机器人，机器翻译以及计算机AID创建，例如Idea Generations，剧本。但是，自然语言的幽默方面相对不足，尤其是在预训练的语言模型时代。在这项工作中，我们旨在初步测试NLG是否可以像人类一样产生幽默。我们构建了一个新的数据集，该数据集由众多数字化的中国可笑的串扰脚本（称为c $^3 $简称），该脚本适用于1800年代以来名为“ Xiangsheng”的流行中国表演艺术。 （为了方便非中国扬声器，我们在本文中称为“ Xiangsheng”的“ Crosstalk”。）我们基准了各种一代方法，包括训练seq2seq，微调中级PLMS和大型PLMS（大型PLMS）（有无微调）。此外，我们还进行了人类评估，表明1）大规模预处理在很大程度上提高了串扰的产生质量； 2）即使是从最佳PLM产生的脚本也远非我们的期望，只有65％的人类创建的串扰质量。我们得出结论，使用大型PLM可以在很大程度上改善幽默的产生，但仍处于起步阶段。 \ url {https://github.com/anonno2/crosstalk-generation}公开可用数据和基准代码。

开发会话剂与患者相互作用并提供主要的临床建议，由于其巨大的应用潜力引起了人们的关注，尤其是在COVID-19-19大流行时期。但是，端到端神经对话系统的培训受到数量不足的医学对话语料库的限制。在这项工作中，我们首次尝试建立和发布与12种常见的胃肠道疾病相关的大规模高质量医学对话数据集，名为MEDDG，并从在线健康咨询社区收集了超过17K的对话。在MEDDG的每次对话中，都会注释五种不同类别的实体，包括疾病，症状，属性，测试和药物。为了推动对建立专家敏感的医学对话系统的未来研究，我们提出了基于MEDDG数据集的两种医疗对话任务。一个是下一个实体预测，另一个是医生的反应生成。为了明确理解这两项医学对话任务，我们实施了几个最先进的基准，并设计了两个对话模型，并进一步考虑了预测的实体。实验结果表明，训练前语言模型和其他基线在我们数据集中的性能差的两项任务上都挣扎，并且可以在辅助实体信息的帮助下增强响应质量。从人类评估来看，简单的检索模型的表现优于几个最新的生成模型，这表明仍然有一个很大的改进空间可以改善产生有意义的反应。

我们的目标是克服当前对话系统的响应中缺乏多样性，并开发作为对话伙伴的对话系统。我们提出了一个生成器评估器模型，该模型评估了响应生成器生成的多个响应，并选择了评估器的最佳响应。通过产生多个响应，我们获得了多种响应。我们进行人体评估，将提议系统的输出与基线系统的输出进行比较。人类评估的结果表明，拟议系统的响应通常被认为比基线系统更好，并指出了拟议方法的有效性。

Interview has been regarded as one of the most crucial step for recruitment. To fully prepare for the interview with the recruiters, job seekers usually practice with mock interviews between each other. However, such a mock interview with peers is generally far away from the real interview experience: the mock interviewers are not guaranteed to be professional and are not likely to behave like a real interviewer. Due to the rapid growth of online recruitment in recent years, recruiters tend to have online interviews, which makes it possible to collect real interview data from real interviewers. In this paper, we propose a novel application named EZInterviewer, which aims to learn from the online interview data and provides mock interview services to the job seekers. The task is challenging in two ways: (1) the interview data are now available but still of low-resource; (2) to generate meaningful and relevant interview dialogs requires thorough understanding of both resumes and job descriptions. To address the low-resource challenge, EZInterviewer is trained on a very small set of interview dialogs. The key idea is to reduce the number of parameters that rely on interview dialogs by disentangling the knowledge selector and dialog generator so that most parameters can be trained with ungrounded dialogs as well as the resume data that are not low-resource. Evaluation results on a real-world job interview dialog dataset indicate that we achieve promising results to generate mock interviews. With the help of EZInterviewer, we hope to make mock interview practice become easier for job seekers.

End-to-end (E2E) task-oriented dialogue (ToD) systems are prone to fall into the so-called 'likelihood trap', resulting in generated responses which are dull, repetitive, and often inconsistent with dialogue history. Comparing ranked lists of multiple generated responses against the 'gold response' (from training data) reveals a wide diversity in response quality, with many good responses placed lower in the ranked list. The main challenge, addressed in this work, is then how to reach beyond greedily generated system responses, that is, how to obtain and select such high-quality responses from the list of overgenerated responses at inference without availability of the gold response. To this end, we propose a simple yet effective reranking method which aims to select high-quality items from the lists of responses initially overgenerated by the system. The idea is to use any sequence-level (similarity) scoring function to divide the semantic space of responses into high-scoring versus low-scoring partitions. At training, the high-scoring partition comprises all generated responses whose similarity to the gold response is higher than the similarity of the greedy response to the gold response. At inference, the aim is to estimate the probability that each overgenerated response belongs to the high-scoring partition, given only previous dialogue history. We validate the robustness and versatility of our proposed method on the standard MultiWOZ dataset: our methods improve a state-of-the-art E2E ToD system by 2.4 BLEU, 3.2 ROUGE, and 2.8 METEOR scores, achieving new peak results. Additional experiments on the BiTOD dataset and human evaluation further ascertain the generalisability and effectiveness of the proposed framework.

最近，在自动开放域对话框评估中应用预先接受训练的语言模型（PR-LM），有兴趣的兴趣。PR-LMS提供了满足多域评估挑战的有希望的方向。然而，不同PR-LMS对自动度量的性能的影响是不太理解的。本文审查了8种不同的PRM，并研究了三种不同对话评估基准的三种典型自动对话对话指标的影响。具体而言，我们分析PR-LMS的选择如何影响自动度量的性能。执行对每个度量的广泛相关分析以评估不同PR-LMS沿各种轴的影响，包括预训练目标，对话对话标准，模型规模和跨数据集鲁棒性。本研究有助于第一次全面评估不同PR-LMS对自动对话评估的影响。

预培训语言模型的浪潮一直不断提高机器生成的对话的质量，然而，一些产生的响应仍然遭受过度重复，有时重复从话语中重复单词，有时重复自我产生的响应中的单词，或者两个都。不当重复单词可以显着降低生成文本的质量。受到惩罚的采样是一种流行的解决方案，减少了推理期间现有词的采样概率，但是，它非常容易受到静态的不适当的设置。将其设置得太高可以产生奇怪和不切实际的句子，同时将其设置得太低，使得抑制重复微不足道的任务。要解决上述方法的缺点，我们设计了一个上下文感知的分类器，以明确决定何时允许重复和何时采用惩罚的采样。这种分类器可以容易地与现有的解码方法集成，在保持文本的分集的同时在适当的情况下减少重复。实验结果表明，我们的方法可以产生更高质量和更真实的对话。

预训练的语言模型在对话任务上取得了长足的进步。但是，这些模型通常在表面对话文本上进行训练，因此被证明在理解对话环境的主要语义含义方面是薄弱的。我们研究抽象含义表示（AMR）作为预训练模型的明确语义知识，以捕获预训练期间对话中的核心语义信息。特别是，我们提出了一个基于语义的前训练框架，该框架通过三个任务来扩展标准的预训练框架（Devlin等，2019）。根据AMR图表示。关于聊天聊天和面向任务的对话的理解的实验表明了我们的模型的优势。据我们所知，我们是第一个利用深层语义表示进行对话预训练的人。

The goal of building dialogue agents that can converse with humans naturally has been a long-standing dream of researchers since the early days of artificial intelligence. The well-known Turing Test proposed to judge the ultimate validity of an artificial intelligence agent on the indistinguishability of its dialogues from humans'. It should come as no surprise that human-level dialogue systems are very challenging to build. But, while early effort on rule-based systems found limited success, the emergence of deep learning enabled great advance on this topic. In this thesis, we focus on methods that address the numerous issues that have been imposing the gap between artificial conversational agents and human-level interlocutors. These methods were proposed and experimented with in ways that were inspired by general state-of-the-art AI methodologies. But they also targeted the characteristics that dialogue systems possess.

面向任务的对话框（TOD）系统通常需要与外部知识库的互动，以检索必要的实体（例如餐厅）信息以支持响应生成。大多数当前的端到端TOD系统要么明确检索KB信息，要么将其嵌入模型参数中以进行隐式访问。后一种方法显示出更高的灵活性和效率。在这两种方法中，系统都可以通过冲突的实体信息产生响应。为了解决此问题，我们建议先生成实体自动加压，并利用它来指导端到端系统中的响应生成。为了确保实体的一致性，我们对实体生成强加了三位一体的约束。我们还引入了logit串联策略，以促进梯度反向传播进行端到端培训。 Multiwoz 2.1单一和CAMREST的实验表明，我们的系统可以产生更多的高质量和实体一致的响应。