Text style transfer aims to alter the style of a sentence while preserving its content. Due to the lack of parallel corpora, most recent work focuses on unsupervised methods and often uses cycle construction to train models. Since cycle construction helps to improve the style transfer ability of the model by rebuilding transferred sentences back to original-style sentences, it brings about a content loss in unsupervised text style transfer tasks. In this paper, we propose a novel disentanglement-based style transfer model StyleFlow to enhance content preservation. Instead of the typical encoder-decoder scheme, StyleFlow can not only conduct the forward process to obtain the output, but also infer to the input through the output. We design an attention-aware coupling layers to disentangle the content representations and the style representations of a sentence. Besides, we propose a data augmentation method based on Normalizing Flow to improve the robustness of the model. Experiment results demonstrate that our model preserves content effectively and achieves the state-of-the-art performance on the most metrics.

文本样式传输（TST）旨在在保持相同内容的同时将源文本的底层样式更改为另一种特定样式。由于高质量平行训练数据的稀缺性，无监督的学习已成为TST任务的趋势方向。在本文中，我们提出了一种新的基于VAE的文本方式转移，具有Pivot词增强学习（VT-LOWER）方法，该方法利用变分AutiConder（VAE）和外部风格嵌入，共同学习语义和风格分布。此外，我们介绍了枢轴词学习，它用于学习特定风格的决定性词语，从而进一步提高风格转移的整体性能。所提出的vt-rtower可以缩放到不同的TST场景，因为具有新颖和灵活的风格强度控制机制的非常有限和非平行训练数据。实验表明，VT-BURER优于语言，形式和代码切换TST任务的最先进。

近年来，文本的风格特性吸引了计算语言学研究人员。具体来说，研究人员研究了文本样式转移（TST）任务，该任务旨在在保留其样式独立内容的同时改变文本的风格属性。在过去的几年中，已经开发了许多新颖的TST算法，而该行业利用这些算法来实现令人兴奋的TST应用程序。由于这种共生，TST研究领域迅速发展。本文旨在对有关文本样式转移的最新研究工作进行全面审查。更具体地说，我们创建了一种分类法来组织TST模型，并提供有关最新技术状况的全面摘要。我们回顾了针对TST任务的现有评估方法，并进行了大规模的可重复性研究，我们在两个公开可用的数据集上实验基准了19个最先进的TST TST算法。最后，我们扩展了当前趋势，并就TST领域的新开发发展提供了新的观点。

非平行文本样式转移是自然语言生成的重要任务。但是，先前的研究集中在令牌或句子级别上，例如句子情绪和形式转移，但在话语水平上忽略了长时间的转移。长文本通常涉及更复杂的作者语言偏好，例如话语结构，而不是句子。在本文中，我们制定了非并行故事作者风格转移的任务，该任务需要将输入故事传输到指定的作者样式的同时，同时维护源语义。为了解决这个问题，我们提出了一个名为StoryTrans的一代模型，该模型利用话语表示捕获源内容信息并将其传输到具有可学习样式嵌入的目标样式中。我们使用额外的培训目标将文学的文学特征与学习的话语表示，以防止模型退化为自动编码器。此外，为了增强内容保存，我们设计了一个面具和填充框架，以将源文本的特定于特定于样式的关键字定为生成。此外，我们分别用中文和英语构建了此任务的新数据集。广泛的实验表明，我们的模型在样式传输和内容保存的总体性能方面优于强大的基线。

学习脱消自然语言的表示对于许多NLP任务至关重要，例如，条件文本生成，样式转移，个性化对话系统等。已经广泛研究了类似的问题，以其他形式的数据，例如图像和视频。然而，自然语言的离散性质使得脱屑更具挑战性（例如，无法轻易实现数据空间的操纵）。受到信息理论的启发，我们提出了一种新的方法，有效地体现了案文的解散表示，没有任何关于语义的监督。派生和利用新的相互信息上限以测量风格和内容之间的依赖。通过最小化该上限，提出的方法将嵌入式和内容嵌入到两个独立的低维空间中。条件文本生成和文本式转移的实验表明了在内容和风格保存方面的高质量。

文本样式传输是自然语言生成中的重要任务，旨在控制生成的文本中的某些属性，例如礼貌，情感，幽默和许多其他特性。它在自然语言处理领域拥有悠久的历史，最近由于深神经模型带来的有希望的性能而重大关注。在本文中，我们对神经文本转移的研究进行了系统调查，自2017年首次神经文本转移工作以来跨越100多个代表文章。我们讨论了任务制定，现有数据集和子任务，评估，以及丰富的方法在存在并行和非平行数据存在下。我们还提供关于这项任务未来发展的各种重要主题的讨论。我们的策据纸张列表在https://github.com/zhijing-jin/text_style_transfer_survey

优化所需特性的化学分子在于药物发育的核心。尽管深度生成模型和加强学习方法进行了初步成功，但这些方法主要受到预定义属性函数或通过手动预编译的原始和优化分子的并行数据的限制。在本文中，我们首次制定了作为样式转移问题的分子优化，并提出了一种新的生成模型，可以通过对抗训练策略自动学习两组非并行数据之间的内部差异。我们的模型通过组合辅助引导变分自身额和生成流动技术，可以通过组合辅助引导变分自动化器和经常性流动技术来保存分子内容和分子特性的优化。两种分子优化任务的实验，毒性修饰和合成性改进，证明我们的模型显着优于几种最先进的方法。

我们提出了两种小型无监督方法，用于消除文本中的毒性。我们的第一个方法结合了最近的两个想法：（1）使用小型条件语言模型的生成过程的指导和（2）使用释义模型进行风格传输。我们使用良好的令人措辞的令人愉快的释放器，由风格培训的语言模型引导，以保持文本内容并消除毒性。我们的第二种方法使用BERT用他们的非攻击性同义词取代毒性单词。我们通过使BERT替换具有可变数量的单词的屏蔽令牌来使该方法更灵活。最后，我们介绍了毒性去除任务的风格转移模型的第一个大规模比较研究。我们将模型与许多用于样式传输的方法进行比较。使用无监督的样式传输指标的组合以可参考方式评估该模型。两种方法都建议产生新的SOTA结果。

真实世界的文本应用程序通常涉及组成广泛的文本控制操作，例如编辑文本W.R.T.属性，操纵关键字和结构，并生成所需属性的新文本。事先的工作通常会学习/芬太尼语言模型（LM）以执行操作的个人或特定子集。最近的研究以插件方式研究了合并操作，通常在复杂序列空间中以昂贵的搜索或优化进行了研究。本文提出了一种新的有效方法，用于在紧凑的文本潜在空间中进行可复合的文本操作。文本潜在矢量的低维度和不同性使我们能够基于给定的任意插入运算符（例如属性分类器）基于普通微分方程（ODE）开发有效的采样器。通过通过有效的适应性将预告片的LMS（例如GPT2）连接到潜在空间，然后我们将采样向量解码为所需的文本序列。灵活的方法允许使用来自不同域中的任何相关数据获取的各种控制操作员（情感，时态，形式，关键字等）。实验表明，在我们的方法中构成这些操作员可以生成或编辑高质量文本，从而在发电质量和效率方面显着改善了以前的方法。

本文对过去二十年来对自然语言生成（NLG）的研究提供了全面的审查，特别是与数据到文本生成和文本到文本生成深度学习方法有关，以及NLG的新应用技术。该调查旨在（a）给出关于NLG核心任务的最新综合，以及该领域采用的建筑;（b）详细介绍各种NLG任务和数据集，并提请注意NLG评估中的挑战，专注于不同的评估方法及其关系;（c）强调一些未来的强调和相对近期的研究问题，因为NLG和其他人工智能领域的协同作用而增加，例如计算机视觉，文本和计算创造力。

图像到图像（I2i）翻译是计算机视觉中的一个具有挑战性的话题。我们将此问题分为三个任务：强烈约束的翻译，通常受约束的翻译和弱约束的翻译。这里的约束表示保留原始图像中的内容或语义信息的程度。尽管以前的方法在弱限制的任务中取得了良好的性能，但他们未能完全保留强烈和正常受限的任务中的内容，包括照片真实性的综合，样式转移和着色等，以实现强烈约束的内容传递通常，我们提出了styleflow，这是一种新的I2I翻译模型，该模型由标准化流量和一种新颖的样式意识归一化（SAN）模块组成。借助可逆的网络结构，StyleFlow首先将图像输入向前通行中的深色特征空间，而后退通行证则利用SAN模块执行内容固定的特征转换，然后将其投影回图像空间。我们的模型支持图像引导的翻译和多模式合成。我们在几个I2I翻译基准中评估了我们的模型，结果表明，在强烈约束和正常约束任务中，所提出的模型比以前的方法具有优势。

Unavailability of parallel corpora for training text style transfer (TST) models is a very challenging yet common scenario. Also, TST models implicitly need to preserve the content while transforming a source sentence into the target style. To tackle these problems, an intermediate representation is often constructed that is devoid of style while still preserving the meaning of the source sentence. In this work, we study the usefulness of Abstract Meaning Representation (AMR) graph as the intermediate style agnostic representation. We posit that semantic notations like AMR are a natural choice for an intermediate representation. Hence, we propose T-STAR: a model comprising of two components, text-to-AMR encoder and a AMR-to-text decoder. We propose several modeling improvements to enhance the style agnosticity of the generated AMR. To the best of our knowledge, T-STAR is the first work that uses AMR as an intermediate representation for TST. With thorough experimental evaluation we show T-STAR significantly outperforms state of the art techniques by achieving on an average 15.2% higher content preservation with negligible loss (3% approx.) in style accuracy. Through detailed human evaluation with 90,000 ratings, we also show that T-STAR has up to 50% lesser hallucinations compared to state of the art TST models.

专家员工的文字式传输技术有可能改善科学社区成员与公众之间的沟通。专家制作的高质量信息往往充满了困难的术语外国人，努力了解。这是医疗领域的一个特别值得注意的问题，其中Layman经常在线医学文本混淆。目前，两个瓶颈干扰了建立高质量医学专家外延式转移系统的目标：曾经专家和外行术语的缺点是普及的预押医学域语言模型，缺乏并行的Corpora培训转让任务本身。为了缓解第一个问题，我们提出了一种新颖的语言模型（LM）预测任务，知识基础同化，从自我监督学习期间将来自专家和外行式医学术语术语的边缘的预先训练数据综合为LM的LM。 。要缓解第二个问题，我们使用基于边缘的标准在医学专家 - Layman域中建立大规模并行语料库。我们的实验表明，基于变压器的模型，以知识库同化和其他良好的预先预订任务对我们的新并行语料库进行了微调，这导致专家外部转账基准的相当大，达到了我们人类评估的平均相对改善总体成功率（OSR），达106％。我们释放我们的代码和并行语料库以供未来的研究。

Controllable Text Generation (CTG) is emerging area in the field of natural language generation (NLG). It is regarded as crucial for the development of advanced text generation technologies that are more natural and better meet the specific constraints in practical applications. In recent years, methods using large-scale pre-trained language models (PLMs), in particular the widely used transformer-based PLMs, have become a new paradigm of NLG, allowing generation of more diverse and fluent text. However, due to the lower level of interpretability of deep neural networks, the controllability of these methods need to be guaranteed. To this end, controllable text generation using transformer-based PLMs has become a rapidly growing yet challenging new research hotspot. A diverse range of approaches have emerged in the recent 3-4 years, targeting different CTG tasks which may require different types of controlled constraints. In this paper, we present a systematic critical review on the common tasks, main approaches and evaluation methods in this area. Finally, we discuss the challenges that the field is facing, and put forward various promising future directions. To the best of our knowledge, this is the first survey paper to summarize CTG techniques from the perspective of PLMs. We hope it can help researchers in related fields to quickly track the academic frontier, providing them with a landscape of the area and a roadmap for future research.

深度神经语言模型的最新进展与大规模数据集的能力相结合，加速了自然语言生成系统的发展，这些系统在多种任务和应用程序上下文中产生流利和连贯的文本（在各种成功程度上）。但是，为所需的用户控制这些模型的输出仍然是一个开放的挑战。这不仅对于自定义生成语言的内容和样式至关重要，而且对于他们在现实世界中的安全可靠部署至关重要。我们提出了一项关于受约束神经语言生成的新兴主题的广泛调查，在该主题中，我们通过区分条件和约束（后者是在输出文本上而不是输入的可检验条件），正式定义和分类自然语言生成问题，目前是可检验的）约束文本生成任务，并查看受限文本生成的现有方法和评估指标。我们的目的是强调这个新兴领域的最新进展和趋势，以告知最有希望的方向和局限性，以推动受约束神经语言生成研究的最新作品。

Attribute-controlled text rewriting, also known as text style-transfer, has a crucial role in regulating attributes and biases of textual training data and a machine generated text. In this work we present SimpleStyle, a minimalist yet effective approach for style-transfer composed of two simple ingredients: controlled denoising and output filtering. Despite the simplicity of our approach, which can be succinctly described with a few lines of code, it is competitive with previous state-of-the-art methods both in automatic and in human evaluation. To demonstrate the adaptability and practical value of our system beyond academic data, we apply SimpleStyle to transfer a wide range of text attributes appearing in real-world textual data from social networks. Additionally, we introduce a novel "soft noising" technique that further improves the performance of our system. We also show that teaching a student model to generate the output of SimpleStyle can result in a system that performs style transfer of equivalent quality with only a single greedy-decoded sample. Finally, we suggest our method as a remedy for the fundamental incompatible baseline issue that holds progress in the field. We offer our protocol as a simple yet strong baseline for works that wish to make incremental advancements in the field of attribute controlled text rewriting.

在本文中，我们通过生成的对抗网络（GAN）架构探索机器翻译改进。我们从Relgan，一个文本制造模型和鼻孔机械翻译模型中获取灵感，实现了一个学习将尴尬，非流利的英语句子转换为流利的模型，同时只培训在单梅换语料库上。我们利用参数$ \ lambda $来控制从输入句子的偏差量，即保持原始令牌和修改它更流利之间的权衡。在某些情况下，我们的结果改进了基于短语的机器翻译。特别是，带变压器发生器的GaN显示出一些有希望的结果。我们建议将来的一些方向建立在这种概念上建立。

图像修饰，旨在再生给定图像的视觉令人愉悦的演绎，是用户具有不同美学感觉的主观任务。大多数现有的方法都部署了确定性模型，以从特定的专家那里学习修饰样式，从而使其不太灵活地满足各种主观偏好。此外，由于对不同图像的有针对性处理，专家的内在多样性也被缺乏描述。为了避免此类问题，我们建议通过基于流动的架构来学习各种图像修饰。与直接生成输出图像的当前基于流的方法不同，我们认为在样式域中学习可以（i）将修饰样式从图像内容中解开，（ii）导致稳定的样式表现形式，并且（iii）避免空间不和谐效果。为了获得有意义的图像音调样式表示，设计了联合培训管道，设计由样式编码器，条件修饰网和图像音调样式正常化流量（TSFLOW）模块组成。特别是，样式编码器预测了输入图像的目标样式表示，该图像是用于修饰的修饰网中的条件信息，而TSFlow将样式表示向量映射到前向通行中的高斯分布。训练后，TSFlow可以通过从高斯分布中取样来生成多样的图像音调矢量。关于MIT-Adobe Fivk和PPR10K数据集的广泛实验表明，我们提出的方法对最新方法有利，并且有效地产生了不同的结果以满足不同的人类美学偏好。源代码和预培训模型可在https://github.com/ssrheart/tsflow上公开获得。

平面设计在人们的日常生活中普遍存在。对于图形设计，最耗时的任务是在接口中铺设各种组件。重复的手动布局设计将浪费大量的专业图形设计师。现有模板通常是基本的，不适合大多数设计，降低效率和限制创造力。本文实现了变压器模型和条件变形Autiachoder（CVAE）到图形设计布局生成任务。它提出了一个名为layoutt-cvae的端到端图形设计布局生成模型。我们还提出了基于元素解剖和特征的解剖策略，并将新的图形设计原则和相似性指标引入了模型中，这显着提高了深度模型的可控性和可解释性。与现有的最先进模型相比，我们由我们生成的布局在许多指标上表现更好。

样式是自然语言文本的重要组成部分，反映了文本语调的变化，同时保持基础信息相同。即使编程语言具有严格的语法规则，它们也具有风格。代码可以使用相同的功能编写，但使用不同的语言功能。但是，编程样式很难量化，因此，作为这项工作的一部分，我们定义了专门针对Python的样式属性。为了构建样式的定义，我们利用层次聚类来捕获样式定义，而无需指定转换。除了定义样式外，我们还探索了预训练的代码语言模型的功能，以捕获有关代码样式的信息。为此，我们微调了预训练的代码语言模型，并在代码样式转移任务中评估了其性能。