基于分数的生成模型（SGM）是生成假图像的最新突破。已知SGM可以超越其他生成模型，例如生成对抗网络（GAN）和变异自动编码器（VAE）。在这项工作中，我们受到了他们的巨大成功的启发，我们将它们完全自定义以生成伪造的表格数据。特别是，我们对过度采样较小的课程感兴趣，因为不平衡的课程经常导致次优训练成果。据我们所知，我们是第一个提出基于得分的表格数据超采样方法的人。首先，我们必须重新设计自己的分数网络，因为我们必须处理表格数据。其次，我们为我们的生成方法提出了两个选项：前者等同于表格数据的样式传输，后者使用SGMS的标准生成策略。最后，我们定义了一种微调方法，该方法进一步提高了过度采样质量。在我们使用6个数据集和10个基线的实验中，我们的方法在所有情况下都优于其他过采样方法。

基于得分的生成模型（SGM）是最近提出的深层生成任务范式，现在显示出最新的采样性能。众所周知，原始SGM设计解决了生成三元素的两个问题：i）取样质量，ii）采样多样性。但是，三元素的最后一个问题没有解决，即，众所周知，他们的训练/采样复杂性很高。为此，将SGM蒸馏成更简单的模型，例如生成对抗网络（GAN），目前正在引起很多关注。我们提出了一种增强的蒸馏方法，称为直透插值GAN（SPI-GAN），可以将其与最新的基于快捷方式的蒸馏方法进行比较，称为Denoising扩散GAN（DD-GAN）。但是，我们的方法对应于一种极端方法，该方法不使用反向SDE路径的任何中间快捷方式，在这种情况下，DD-GAN无法获得良好的结果。然而，我们的直径插值方法极大地稳定了整体训练过程。结果，就CIFAR-10，Celeba-HQ-256和Lsun-Church-256的采样质量/多样性/时间而言，SPI-GAN是最佳模型之一。

In data-driven systems, data exploration is imperative for making real-time decisions. However, big data is stored in massive databases that are difficult to retrieve. Approximate Query Processing (AQP) is a technique for providing approximate answers to aggregate queries based on a summary of the data (synopsis) that closely replicates the behavior of the actual data, which can be useful where an approximate answer to the queries would be acceptable in a fraction of the real execution time. In this paper, we discuss the use of Generative Adversarial Networks (GANs) for generating tabular data that can be employed in AQP for synopsis construction. We first discuss the challenges associated with constructing synopses in relational databases and then introduce solutions to those challenges. Following that, we organized statistical metrics to evaluate the quality of the generated synopses. We conclude that tabular data complexity makes it difficult for algorithms to understand relational database semantics during training, and improved versions of tabular GANs are capable of constructing synopses to revolutionize data-driven decision-making systems.

过去十年已经开发了各种各样的深度生成模型。然而，这些模型通常同时努力解决三个关键要求，包括：高样本质量，模式覆盖和快速采样。我们称之为这些要求所征收的挑战是生成的学习Trielemma，因为现有模型经常为他人交易其中一些。特别是，去噪扩散模型表明了令人印象深刻的样本质量和多样性，但它们昂贵的采样尚未允许它们在许多现实世界应用中应用。在本文中，我们认为这些模型中的缓慢采样基本上归因于去噪步骤中的高斯假设，这些假设仅针对小型尺寸的尺寸。为了使得具有大步骤的去噪，从而减少去噪步骤的总数，我们建议使用复杂的多模态分布来模拟去噪分布。我们引入了去噪扩散生成的对抗网络（去噪扩散GANS），其使用多模式条件GaN模拟每个去噪步骤。通过广泛的评估，我们表明去噪扩散GAN获得原始扩散模型的样本质量和多样性，而在CIFAR-10数据集中是2000 $ \时代。与传统的GAN相比，我们的模型表现出更好的模式覆盖和样本多样性。据我们所知，去噪扩散GaN是第一模型，可在扩散模型中降低采样成本，以便允许它们廉价地应用于现实世界应用。项目页面和代码：https://nvlabs.github.io/denoising-diffusion-gan

我们研究了GaN调理问题，其目标是使用标记数据将普雷雷尼的无条件GaN转换为条件GaN。我们首先识别并分析这一问题的三种方法 - 从头开始​​，微调和输入重新编程的条件GaN培训。我们的分析表明，当标记数据的数量很小时，输入重新编程执行最佳。通过稀缺标记数据的现实世界情景，我们专注于输入重编程方法，并仔细分析现有算法。在识别出先前输入重新编程方法的一些关键问题之后，我们提出了一种名为INREP +的新算法。我们的算法INREP +解决了现有问题，具有可逆性神经网络的新颖用途和正面未标记（PU）学习。通过广泛的实验，我们表明Inrep +优于所有现有方法，特别是当标签信息稀缺，嘈杂和/或不平衡时。例如，对于用1％标记数据调节CiFar10 GaN的任务，Inrep +实现了82.13的平均峰值，而第二个最佳方法达到114.51。

数据通常以表格格式存储。几个研究领域（例如，生物医学，断层/欺诈检测），容易出现不平衡的表格数据。由于阶级失衡，对此类数据的监督机器学习通常很困难，从而进一步增加了挑战。合成数据生成，即过采样是一种用于提高分类器性能的常见补救措施。最先进的线性插值方法，例如洛拉斯和普罗拉斯，可用于从少数族裔类的凸空间中生成合成样本，以在这种情况下提高分类器的性能。生成的对抗网络（GAN）是合成样本生成的常见深度学习方法。尽管GAN被广泛用于合成图像生成，但在不平衡分类的情况下，它们在表格数据上的范围没有充分探索。在本文中，我们表明，与线性插值方法相比，现有的深层生成模型的性能较差，该方法从少数族裔类的凸空间中生成合成样本，对于小规模的表格数据集中的分类问题不平衡。我们提出了一个深厚的生成模型，将凸出空间学习和深层生成模型的思想结合在一起。 Convgen了解了少数族类样品的凸组合的系数，因此合成数据与多数类的不同。我们证明，与现有的深层生成模型相比，我们提出的模型Convgen在与现有的线性插值方法相当的同时，改善了此类小数据集的不平衡分类。此外，我们讨论了如何将模型用于一般的综合表格数据生成，甚至超出了数据不平衡的范围，从而提高了凸空间学习的整体适用性。

本文介绍了一种用于合成包含连续，二进制和离散柱的表格数据集的双鉴别器GaN。我们所提出的方法采用适应的预处理方案和用于发电机网络的新型条件术语，以更有效地捕获输入样本分布。此外，我们为旨在向发电机提供更多辨别型梯度信息的鉴别器网络来实施直接但有效的架构。我们对四个基准测试公共数据集的实验结果证实了我们在可能性健身度量和机器学习效果方面的卓越性能。

表格数据通常包含私人和重要信息；因此，必须在与他人共享之前采取预防措施。尽管已经提出了几种方法（例如，差异隐私和K-匿名性）以防止信息泄漏，但近年来，表格数据合成模型已变得流行，因为它们可以在数据实用程序和隐私之间进行易于权衡。但是，最近的研究表明，图像数据的生成模型容易受到会员推理攻击的影响，这可以确定是否使用给定记录来训练受害者合成模型。在本文中，我们在表格数据合成的背景下研究了成员推理攻击。我们在两个攻击方案（即一个黑色框和一个白盒攻击）下对4个最先进的表格数据合成模型进行实验，并发现成员推理攻击会严重危害这些模型。下一步，我们进行实验，以评估两种流行的差异深度学习训练算法DP-SGD和DP-GAN如何能够保护模型免受攻击。我们的主要发现是，两种算法都可以通过牺牲生成质量来减轻这种威胁。代码和数据可用：https：//github.com/jayoungkim408/mia

Generative Adversarial Networks (GANs) typically suffer from overfitting when limited training data is available. To facilitate GAN training, current methods propose to use data-specific augmentation techniques. Despite the effectiveness, it is difficult for these methods to scale to practical applications. In this work, we present ScoreMix, a novel and scalable data augmentation approach for various image synthesis tasks. We first produce augmented samples using the convex combinations of the real samples. Then, we optimize the augmented samples by minimizing the norms of the data scores, i.e., the gradients of the log-density functions. This procedure enforces the augmented samples close to the data manifold. To estimate the scores, we train a deep estimation network with multi-scale score matching. For different image synthesis tasks, we train the score estimation network using different data. We do not require the tuning of the hyperparameters or modifications to the network architecture. The ScoreMix method effectively increases the diversity of data and reduces the overfitting problem. Moreover, it can be easily incorporated into existing GAN models with minor modifications. Experimental results on numerous tasks demonstrate that GAN models equipped with the ScoreMix method achieve significant improvements.

机器学习的最新进展主要受益于大规模的可访问培训数据。但是，大规模的数据共享提出了极大的隐私问题。在这项工作中，我们提出了一种基于PAINE框架（G-PATE）的新型隐私保留数据生成模型，旨在训练可缩放的差异私有数据生成器，其保留高生成的数据实用程序。我们的方法利用生成的对抗性网来产生数据，与不同鉴别者之间的私人聚集相结合，以确保强烈的隐私保障。与现有方法相比，G-PATE显着提高了隐私预算的使用。特别是，我们用教师鉴别者的集合训练学生数据发生器，并提出一种新颖的私人梯度聚合机制，以确保对从教师鉴别者流到学生发电机的所有信息的差异隐私。另外，通过随机投影和梯度离散化，所提出的梯度聚合机制能够有效地处理高维梯度向量。从理论上讲，我们证明了G-PATE确保了数据发生器的差异隐私。经验上，我们通过广泛的实验证明了G-PAIN的优越性。我们展示了G-PATE是第一个能够在限量隐私预算下产生高数据实用程序的高维图像数据（$ \ epsilon \ LE 1 $）。我们的代码可在https://github.com/ai-secure/gate上获得。

本文提出了差异性批判性生成对抗网络（DICGAN），以了解只有部分而不是整个数据集具有所需属性时用户呈现数据的分布。 Dicgan生成了满足用户期望的所需数据，并可以协助设计具有所需特性的生物产品。现有方法首先选择所需的样品，然后在选定样品上训练常规甘斯以得出用户呈现的数据分布。但是，所需数据的选择取决于整个数据集的全球知识和监督。 Dicgan介绍了一个差异评论家，该评论家从成对的偏好中学习，这些偏好是本地知识，可以在培训数据的一部分中定义。批评家是通过定义与瓦斯坦斯坦·甘（Wasserstein Gan）批评家的额外排名损失来建立的。它赋予每对样本之间的评论值差异，并具有用户喜好，并指导所需数据的生成而不是整个数据。为了获得更有效的解决方案以确保数据质量，我们将Dicgan进一步重新重新将其作为约束优化问题，基于理论上证明了我们的Dicgan的收敛性。对具有各种应用程序的各种数据集进行的广泛实验表明，我们的Dicgan在学习用户呈现的数据分布方面取得了最新的性能，尤其是在不足的所需数据和有限的监督下。

当真实数据有限，收集昂贵或由于隐私问题而无法使用时，合成表格数据生成至关重要。但是，生成高质量的合成数据具有挑战性。已经提出了几种基于概率，统计和生成的对抗网络（GAN）方法，用于合成表格数据生成。一旦生成，评估合成数据的质量就非常具有挑战性。文献中已经使用了一些传统指标，但缺乏共同，健壮和单一指标。这使得很难正确比较不同合成表格数据生成方法的有效性。在本文中，我们提出了一种新的通用度量，tabsyndex，以对合成数据进行强有力的评估。 TABSYNDEX通过不同的组件分数评估合成数据与实际数据的相似性，这些分量分数评估了“高质量”合成数据所需的特征。作为单个评分度量，TABSYNDEX也可以用来观察和评估基于神经网络的方法的训练。这将有助于获得更早的见解。此外，我们提出了几种基线模型，用于与现有生成模型对拟议评估度量的比较分析。

生成的对抗网络（GANS）正在增加对综合数据的手段的关注。到目前为止，这项工作已被应用于在数据机密域之外的用例，具有共同的应用程序作为人工图像的生产。在这里，我们考虑了GAN的潜在应用，以产生合成人口普查Microdata。我们使用电池电量和披露风险指标（目标正确的归因概率），以比较用使用正统数据合成方法生产的表格GAN产生的数据。

类别不平衡发生在许多实际应用程序中，包括图像分类，其中每个类中的图像数量显着不同。通过不平衡数据，生成的对抗网络（GANS）倾向于多数类样本。最近的两个方法，平衡GaN（Bagan）和改进的Bagan（Bagan-GP）被提出为增强工具来处理此问题并将余额恢复到数据。前者以无人监督的方式预先训练自动化器权重。但是，当来自不同类别的图像具有类似的特征时，它是不稳定的。后者通过促进监督的自动化培训培训，基于蒲甘进行改善，但预先培训偏向于多数阶级。在这项工作中，我们提出了一种新颖的条件变形式自动化器，具有用于生成的对抗性网络（CAPAN）的平衡训练，作为生成现实合成图像的增强工具。特别是，我们利用条件卷积改变自动化器，为GaN初始化和梯度惩罚培训提供了监督和平衡的预培训。我们所提出的方法在高度不平衡版本的MNIST，时尚 - MNIST，CIFAR-10和两个医学成像数据集中呈现出卓越的性能。我们的方法可以在FR \'回路截止距离，结构相似性指数测量和感知质量方面综合高质量的少数民族样本。

数据质量是发展医疗保健中值得信赖的AI的关键因素。大量具有控制混杂因素的策划数据集可以帮助提高下游AI算法的准确性，鲁棒性和隐私性。但是，访问高质量的数据集受数据获取的技术难度的限制，并且严格的道德限制阻碍了医疗保健数据的大规模共享。数据合成算法生成具有与真实临床数据相似的分布的数据，可以作为解决可信度AI的发展过程中缺乏优质数据的潜在解决方案。然而，最新的数据合成算法，尤其是深度学习算法，更多地集中于成像数据，同时忽略了非成像医疗保健数据的综合，包括临床测量，医疗信号和波形以及电子保健记录（EHRS）（EHRS） 。因此，在本文中，我们将回顾合成算法，尤其是对于非成像医学数据，目的是在该领域提供可信赖的AI。本教程风格的审查论文将对包括算法，评估，局限性和未来研究方向在内的各个方面进行全面描述。

Electronic Health Records (EHRs) are a valuable asset to facilitate clinical research and point of care applications; however, many challenges such as data privacy concerns impede its optimal utilization. Deep generative models, particularly, Generative Adversarial Networks (GANs) show great promise in generating synthetic EHR data by learning underlying data distributions while achieving excellent performance and addressing these challenges. This work aims to review the major developments in various applications of GANs for EHRs and provides an overview of the proposed methodologies. For this purpose, we combine perspectives from healthcare applications and machine learning techniques in terms of source datasets and the fidelity and privacy evaluation of the generated synthetic datasets. We also compile a list of the metrics and datasets used by the reviewed works, which can be utilized as benchmarks for future research in the field. We conclude by discussing challenges in GANs for EHRs development and proposing recommended practices. We hope that this work motivates novel research development directions in the intersection of healthcare and machine learning.

我们提出了一种具有多个鉴别器的生成的对抗性网络，其中每个鉴别者都专门用于区分真实数据集的子集。这种方法有助于学习与底层数据分布重合的发电机，从而减轻慢性模式崩溃问题。从多项选择学习的灵感来看，我们引导每个判别者在整个数据的子集中具有专业知识，并允许发电机在没有监督训练示例和鉴别者的数量的情况下自动找到潜伏和真实数据空间之间的合理对应关系。尽管使用多种鉴别器，但骨干网络在鉴别器中共享，并且培训成本的增加最小化。我们使用多个评估指标展示了我们算法在标准数据集中的有效性。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

尽管在文本，图像和视频上生成的对抗网络（GAN）取得了显着的成功，但由于一些独特的挑战，例如捕获不平衡数据中的依赖性，因此仍在开发中，生成高质量的表格数据仍在开发中，从而优化了合成患者数据的质量。保留隐私。在本文中，我们提出了DP-CGAN，这是一个由数据转换，采样，条件和网络培训组成的差异私有条件GAN框架，以生成现实且具有隐私性的表格数据。 DP-Cgans区分分类和连续变量，并将它们分别转换为潜在空间。然后，我们将条件矢量构建为附加输入，不仅在不平衡数据中介绍少数族裔类，还可以捕获变量之间的依赖性。我们将统计噪声注入DP-CGAN的网络训练过程中的梯度，以提供差异隐私保证。我们通过统计相似性，机器学习绩效和隐私测量值在三个公共数据集和两个现实世界中的个人健康数据集上使用最先进的生成模型广泛评估了我们的模型。我们证明，我们的模型优于其他可比模型，尤其是在捕获变量之间的依赖性时。最后，我们在合成数据生成中介绍了数据实用性与隐私之间的平衡，考虑到现实世界数据集的不同数据结构和特征，例如不平衡变量，异常分布和数据的稀疏性。