合成数据是一种新兴技术，可以显着加快AI机器学习管道的开发和部署。在这项工作中，我们通过将连续时间随机模型与新提出的签名$ W_1 $公制组合，开发高保真时间序列发生器，SIGWGAN。前者是基于随机微分方程的Logsig-RNN模型，而后者源自通用和原则性的数学特征，以表征时间序列引起的度量。Sigwgan允许在产生高保真样本的同时在监督学习中转向计算上的GaN Min-Max问题。我们验证了由流行的量化风险模型和经验财务数据产生的合成数据的提出模型。代码在https://github.com/sigcgans/sig-wassersein-gans.git上获得。

我们考虑扩散过程的过滤和预测问题。信号和观察是由由相关的维纳过程驱动的随机微分方程（SDE）建模的。在经典估计理论中，用于滤波和预测度量的测量值随机偏微分方程（SPDE）。这些方程可能很难在数值上求解。我们使用条件生成对抗网络（GAN）与签名（来自粗糙路径理论的对象）相结合提供了近似算法。足够平滑路径的签名完全决定了路径。结果，在某些情况下，基于签名的gan被证明可以有效地近似随机过程的定律。对于我们的算法，我们将此方法扩展到从条件定律中进行样本，鉴于嘈杂的部分观察结果。我们的发电机是使用神经微分方程（NDE）构建的，依赖于其通用近似属性。我们在提供严格的数学框架方面表现出良好的性能。数值结果显示了我们算法的效率。

在本文中，我们专注于使用神经网络的时间序列数据的生成。通常情况下，输入时间序列数据仅实现了一个（通常是不规则采样）路径，这使得很难提取时间序列特征，并且其噪声结构比I.I.D更为复杂。类型。时间序列数据，尤其是来自水文，电信，经济学和金融的数据，也表现出长期记忆，也称为长期依赖性（LRD）。本文的主要目的是在神经网络的帮助下人为地生成时间序列，并考虑到路径的LRD。我们提出了FSDE-NET：神经分数随机微分方程网络。它通过使用大于一半的HURST索引的分数Brownian运动来概括神经随机微分方程模型，该方程式大于一半。我们得出FSDE-NET的求解器，并理论上分析了FSDE-NET溶液的存在和唯一性。我们对人工和实时序列数据进行的实验表明，FSDE-NET模型可以很好地复制分布属性。

我们提出了一种深层签名/对数符号FBSDE算法，以求解具有状态和路径依赖性特征的前回向随机微分方程（FBSDE）。通过将深度签名/对数签名转换纳入复发性神经网络（RNN）模型，我们的算法缩短了训练时间，提高了准确性，并扩展了与现有文献中方法相比的时间范围。此外，我们的算法可以应用于涉及高频数据，模型歧义和随机游戏等广泛的应用程序和路径依赖的选项定价，这些定价与抛物线偏差方程（PDES）以及路径依赖性依赖性链接有关PDE（PPDE）。最后，我们还得出了深度签名/对数签名FBSDE算法的收敛分析。

本文研究了使用神经跳跃（NJ-ODE）框架扩展的一般随机过程的问题。虽然NJ-ODE是为预测不规则观察到的时间序列而建立收敛保证的第一个框架，但这些结果仅限于从中\^o-diffusions的数据，特别是Markov过程，特别是在其中同时观察到所有坐标。。在这项工作中，我们通过利用签名变换的重建属性，将这些结果推广到具有不完整观察结果的通用，可能是非马克维亚或不连续的随机过程。这些理论结果得到了经验研究的支持，在该研究中，在非马克维亚数据的情况下，依赖路径依赖性的NJ-ode优于原始的NJ-ode框架。

我们为无随机动态系统的数据驱动模拟提供了一个深度学习模型，而无需分布假设。深度学习模型包括一个经常性的神经网络，旨在学习时间行进结构，以及从随机动力系统的概率分布来学习和采样的生成的对抗性网络。虽然生成的对策网络提供了一个强大的工具来建模复杂的概率分布，但训练通常在没有适当的正则化的情况下失败。在这里，我们提出了一种基于顺序推理问题的一致性条件的生成对抗性网络的正则化策略。首先，最大平均差异（MMD）用于实施随机过程的条件和边际分布之间的一致性。然后，通过使用MMD或来自多个鉴别器来规范多步预测的边缘分布。通过使用具有复杂噪声结构的三个随机过程来研究所提出的模型的行为。

基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。

The modeling of probability distributions, specifically generative modeling and density estimation, has become an immensely popular subject in recent years by virtue of its outstanding performance on sophisticated data such as images and texts. Nevertheless, a theoretical understanding of its success is still incomplete. One mystery is the paradox between memorization and generalization: In theory, the model is trained to be exactly the same as the empirical distribution of the finite samples, whereas in practice, the trained model can generate new samples or estimate the likelihood of unseen samples. Likewise, the overwhelming diversity of distribution learning models calls for a unified perspective on this subject. This paper provides a mathematical framework such that all the well-known models can be derived based on simple principles. To demonstrate its efficacy, we present a survey of our results on the approximation error, training error and generalization error of these models, which can all be established based on this framework. In particular, the aforementioned paradox is resolved by proving that these models enjoy implicit regularization during training, so that the generalization error at early-stopping avoids the curse of dimensionality. Furthermore, we provide some new results on landscape analysis and the mode collapse phenomenon.

本文有助于识别基于骨架的人类行动认可。关键步骤是开发一种通用网络架构，以提取用于时空骨架数据的判别特征。在本文中，我们提出了一种新型模块，即Logsig-RNN，其是日志签名层和复发类型神经网络（RNN）的组合。前者来自数学上的签名技术和记录签名作为流数据的表示，可以管理高采样率流，非均匀采样和变量长度的时间序列。它用作复发层的增强，可以方便地插入神经网络。此外，我们提出了两个路径转换层，以显着降低路径尺寸，同时保留进入Logsig-RNN模块的基本信息。最后，数值结果表明，在SOTA网络中通过LOGSIG-RNN模块替换RNN模块一致地提高了在精度和鲁棒性方面的Chalearn手势数据和NTU RGB + D 120动作数据上的性能。特别是，我们通过将简单的路径转换层与Logsig-RNN组合来实现Chalearn2013手势数据的最先进的准确性。代码可在https://github.com/steveliao93/gcn_logsigrnn获得。

Several problems in stochastic analysis are defined through their geometry, and preserving that geometric structure is essential to generating meaningful predictions. Nevertheless, how to design principled deep learning (DL) models capable of encoding these geometric structures remains largely unknown. We address this open problem by introducing a universal causal geometric DL framework in which the user specifies a suitable pair of geometries $\mathscr{X}$ and $\mathscr{Y}$ and our framework returns a DL model capable of causally approximating any ``regular'' map sending time series in $\mathscr{X}^{\mathbb{Z}}$ to time series in $\mathscr{Y}^{\mathbb{Z}}$ while respecting their forward flow of information throughout time. Suitable geometries on $\mathscr{Y}$ include various (adapted) Wasserstein spaces arising in optimal stopping problems, a variety of statistical manifolds describing the conditional distribution of continuous-time finite state Markov chains, and all Fr\'echet spaces admitting a Schauder basis, e.g. as in classical finance. Suitable, $\mathscr{X}$ are any compact subset of any Euclidean space. Our results all quantitatively express the number of parameters needed for our DL model to achieve a given approximation error as a function of the target map's regularity and the geometric structure both of $\mathscr{X}$ and of $\mathscr{Y}$. Even when omitting any temporal structure, our universal approximation theorems are the first guarantees that H\"older functions, defined between such $\mathscr{X}$ and $\mathscr{Y}$ can be approximated by DL models.

矢量值随机变量的矩序列可以表征其定律。我们通过使用所谓的稳健签名矩来研究路径值随机变量（即随机过程）的类似问题。这使我们能够为随机过程定律得出最大平均差异类型的度量，并研究其在随机过程定律方面引起的拓扑。可以使用签名内核对该度量进行内核，从而有效地计算它。作为应用程序，我们为随机过程定律提供了非参数的两样本假设检验。

我们从统计学习理论的角度调查分类生物神经网络的功能，以简化的设置为具有身份激活功能的连续时间随机经常性神经网络（RNN）。在纯粹的随机（鲁棒）制度中，我们提供了具有高概率的概括误差，从而表明经验风险最低限度是最典型的假设。我们表明RNNS保留了作为攻击培训和分类任务的唯一信息的路径的部分签名。我们认为这些RNNS很容易培训和强大，并在合成和实际数据的数值实验中培训和稳健。我们还在准确性和稳健性之间表现出权衡现象。

已知生成对抗网络（GANS）的培训以难以收敛。本文首先确认了这一收敛问题背后的罪魁祸首之一：缺乏凸起的GANS目标功能，因此GANS模型的良好问题。然后，它提出了一种随机控制方法，用于GAN训练中的超参数调整。In particular, it presents an optimal solution for adaptive learning rate which depends on the convexity of the objective function, and builds a precise relation between improper choices of learning rate and explosion in GANs training.最后，经验研究表明，培训算法包含这种选择方法优于标准的训练算法。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

我们使用生成的对抗网络（GaN）展示了一种数学上良好的湍流模型的合成建模方法。基于对遍历性的混沌，确定性系统的分析，我们概述了一个数学证据，即GaN实际上可以学习采样状态快照，从而形成混沌系统的不变度量。基于该分析，我们研究了从Lorenz吸引子开始的混沌系统的层次，然后继续与GaN的湍流模拟。作为培训数据，我们使用从大型涡流模拟（LES）获得的速度波动领域。详细研究了两种建筑：我们使用深卷积的GaN（DCGAN）来合成圆柱周围的湍流。我们还使用PIX2PIXHD架构模拟低压涡轮定子围绕的流量，用于条件DCGAN在定子前方的旋转唤醒位置上调节。解释了对抗性培训的设置和使用特定GAN架构的影响。从而表明，GaN在技术上挑战流动问题的基础上的训练日期是有效的模拟湍流。与经典的数值方法，特别是LES相比，GaN训练和推理时间显着下降，同时仍然在高分辨率下提供湍流流动。

时间序列分析是自然科学，社会科学和工程中的广泛任务。基本问题是发现输入时间序列的表现力且有效的计算表示，以用作执行任意下游任务的起点。在本文中，我们建立了最近的作品，该作品使用路径的签名作为特征映射，并研究基于线性随机投影来近似这些特征的计算上有效的技术。我们提出了几种理论结果，以证明我们的方法和经验验证，我们的随机预测可以有效地检索路径的底层签名。我们在多个任务中展示了所提出的随机特征的令人惊讶的性能，包括（1）使用随机签名将随机微分方程的控制和（2）映射到相应的解决方案，以及用于分类任务的时间序列表示。与相应的截断签名方法相比，我们的随机签名在高维度上更加计算效率，并且通常会导致更好的准确性和更快的培训。除了提供一个新的工具来提取签名还是进一步验证这些特征的高度表现力，我们相信我们的结果提供了几个现有的研究领域之间有趣的概念联系，这表明未来调查的新的兴趣方向。

逐步应用高斯噪声将复杂的数据分布转换为大约高斯。逆转此动态定义了一种生成模型。当前进通知过程由随机微分方程（SDE），Song等人提供。 （2021）证明可以使用分数匹配估计相关反向时间SDE的时间不均匀漂移。这种方法的限制是必须在最终分布到高斯的最终分布必须运行前进时间SDE。相反，解决Schr \“odinger桥问题（SB），即路径空间上的熵正常化的最佳运输问题，产生从有限时间内从数据分布产生样本的扩散。我们存在扩散SB（DSB），原始近似迭代比例拟合（IPF）程序来解决SB问题，并提供理论分析以及生成建模实验。第一个DSB迭代恢复Song等人提出的方法。（2021），使用较短时间的灵活性间隔，随后的DSB迭代减少了前进（RESP。后向）SDE的最终时间边际之间的差异，相对于先前（RESP。数据）分布。除了生成的建模之外，DSB提供了广泛适用的计算最优运输工具流行池算法的连续状态空间模拟（Cuturi，2013）。

随机偏微分方程（SPDES）是在随机性影响下模拟动态系统的选择的数学工具。通过将搜索SPDE的温和解决方案作为神经定点问题，我们介绍了神经SPDE模型，以便从部分观察到的数据中使用（可能随机）的PDE溶液运营商。我们的模型为两类物理启发神经架构提供了扩展。一方面，它延伸了神经CDES，SDES，RDE - RNN的连续时间类似物，因为即使当后者在无限尺寸状态空间中演变时，它也能够处理进入的顺序信息。另一方面，它扩展了神经运营商 - 神经网络的概括到函数空间之间的模型映射 - 因为它可以用于学习解决方案运算符$（U_0，\ xi）\ MapSto U $同时上的SPDES初始条件$ u_0 $和驾驶噪声$ \ xi $的实现。神经SPDE是不变的，它可以使用基于记忆有效的隐式分化的反向化的训练，并且一旦接受训练，其评估比传统求解器快3个数量级。在包括2D随机Navier-Stokes方程的各种半线性SPDES的实验证明了神经间隙如何能够以更好的准确性学习复杂的时空动态，并仅使用适度的培训数据与所有替代模型相比。

随着深度学习生成模型的最新进展，它在时间序列领域的出色表现并没有花费很长时间。用于与时间序列合作的深度神经网络在很大程度上取决于培训中使用的数据集的广度和一致性。这些类型的特征通常在现实世界中不丰富，在现实世界中，它们通常受到限制，并且通常具有必须保证的隐私限制。因此，一种有效的方法是通过添加噪声或排列并生成新的合成数据来使用\ gls {da}技术增加数据数。它正在系统地审查该领域的当前最新技术，以概述所有可用的算法，并提出对最相关研究的分类法。将评估不同变体的效率；作为过程的重要组成部分，将分析评估性能的不同指标以及有关每个模型的主要问题。这项研究的最终目的是摘要摘要，这些领域的进化和性能会产生更好的结果，以指导该领域的未来研究人员。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。