我们提出了一种深层签名/对数符号FBSDE算法，以求解具有状态和路径依赖性特征的前回向随机微分方程（FBSDE）。通过将深度签名/对数签名转换纳入复发性神经网络（RNN）模型，我们的算法缩短了训练时间，提高了准确性，并扩展了与现有文献中方法相比的时间范围。此外，我们的算法可以应用于涉及高频数据，模型歧义和随机游戏等广泛的应用程序和路径依赖的选项定价，这些定价与抛物线偏差方程（PDES）以及路径依赖性依赖性链接有关PDE（PPDE）。最后，我们还得出了深度签名/对数签名FBSDE算法的收敛分析。

在本文中，我们提出了一种基于深度学习的数值方案，用于强烈耦合FBSDE，这是由随机控制引起的。这是对深度BSDE方法的修改，其中向后方程的初始值不是一个免费参数，并且新的损失函数是控制问题的成本的加权总和，而差异项与与该的差异相吻合终端条件下的平均误差。我们通过一个数值示例表明，经典深度BSDE方法的直接扩展为FBSDE，失败了简单的线性季度控制问题，并激励新方法为何工作。在定期和有限性的假设上，对时间连续和时间离散控制问题的确切控制，我们为我们的方法提供了错误分析。我们从经验上表明，该方法收敛于三个不同的问题，一个方法是直接扩展Deep BSDE方法的问题。

在本文中，我们将Wiener-Ito混乱分解扩展到扩散过程的类别，其漂移和扩散系数具有线性生长。通过省略混乱扩展中的正交性，我们能够证明，对于[1，\ infty）$中的$ p \ in [1，\ infty）$的每个$ p $积分功能都可以表示为基础过程的迭代积分的总和。使用此扩展的截断和（可能是随机的）神经网络的截断总和，在机器学习设置中学习了参数，我们证明，每个财务衍生物都可以在$ l^p $ sense中任意地近似。此外，可以以封闭形式计算近似财务导数的对冲策略。

The optimal stopping problem is one of the core problems in financial markets, with broad applications such as pricing American and Bermudan options. The deep BSDE method [Han, Jentzen and E, PNAS, 115(34):8505-8510, 2018] has shown great power in solving high-dimensional forward-backward stochastic differential equations (FBSDEs), and inspired many applications. However, the method solves backward stochastic differential equations (BSDEs) in a forward manner, which can not be used for optimal stopping problems that in general require running BSDE backwardly. To overcome this difficulty, a recent paper [Wang, Chen, Sudjianto, Liu and Shen, arXiv:1807.06622, 2018] proposed the backward deep BSDE method to solve the optimal stopping problem. In this paper, we provide the rigorous theory for the backward deep BSDE method. Specifically, 1. We derive the a posteriori error estimation, i.e., the error of the numerical solution can be bounded by the training loss function; and; 2. We give an upper bound of the loss function, which can be sufficiently small subject to universal approximations. We give two numerical examples, which present consistent performance with the proved theory.

合成数据是一种新兴技术，可以显着加快AI机器学习管道的开发和部署。在这项工作中，我们通过将连续时间随机模型与新提出的签名$ W_1 $公制组合，开发高保真时间序列发生器，SIGWGAN。前者是基于随机微分方程的Logsig-RNN模型，而后者源自通用和原则性的数学特征，以表征时间序列引起的度量。Sigwgan允许在产生高保真样本的同时在监督学习中转向计算上的GaN Min-Max问题。我们验证了由流行的量化风险模型和经验财务数据产生的合成数据的提出模型。代码在https://github.com/sigcgans/sig-wassersein-gans.git上获得。

High-dimensional PDEs have been a longstanding computational challenge. We propose to solve highdimensional PDEs by approximating the solution with a deep neural network which is trained to satisfy the differential operator, initial condition, and boundary conditions. Our algorithm is meshfree, which is key since meshes become infeasible in higher dimensions. Instead of forming a mesh, the neural network is trained on batches of randomly sampled time and space points. The algorithm is tested on a class of high-dimensional free boundary PDEs, which we are able to accurately solve in up to 200 dimensions. The algorithm is also tested on a high-dimensional Hamilton-Jacobi-Bellman PDE and Burgers' equation. The deep learning algorithm approximates the general solution to the Burgers' equation for a continuum of different boundary conditions and physical conditions (which can be viewed as a high-dimensional space). We call the algorithm a "Deep Galerkin Method (DGM)" since it is similar in spirit to Galerkin methods, with the solution approximated by a neural network instead of a linear combination of basis functions. In addition, we prove a theorem regarding the approximation power of neural networks for a class of quasilinear parabolic PDEs.

本文研究了使用神经跳跃（NJ-ODE）框架扩展的一般随机过程的问题。虽然NJ-ODE是为预测不规则观察到的时间序列而建立收敛保证的第一个框架，但这些结果仅限于从中\^o-diffusions的数据，特别是Markov过程，特别是在其中同时观察到所有坐标。。在这项工作中，我们通过利用签名变换的重建属性，将这些结果推广到具有不完整观察结果的通用，可能是非马克维亚或不连续的随机过程。这些理论结果得到了经验研究的支持，在该研究中，在非马克维亚数据的情况下，依赖路径依赖性的NJ-ode优于原始的NJ-ode框架。

连续数据的优化问题出现在，例如强大的机器学习，功能数据分析和变分推理。这里，目标函数被给出为一个（连续）索引目标函数的系列 - 相对于概率测量集成的族聚集。这些问题通常可以通过随机优化方法解决：在随机切换指标执行关于索引目标函数的优化步骤。在这项工作中，我们研究了随机梯度下降算法的连续时间变量，以进行连续数据的优化问题。该所谓的随机梯度过程包括最小化耦合与确定索引的连续时间索引过程的索引目标函数的梯度流程。索引过程是例如，反射扩散，纯跳跃过程或紧凑空间上的其他L evy过程。因此，我们研究了用于连续数据空间的多种采样模式，并允许在算法的运行时进行模拟或流式流的数据。我们分析了随机梯度过程的近似性质，并在恒定下进行了长时间行为和遍历的学习率。我们以噪声功能数据的多项式回归问题以及物理知识的神经网络在多项式回归问题中结束了随机梯度过程的适用性。

在这项工作中，我们提出了一种基于深度学习的新方案，用于解决高维非线性后向随机微分方程（BSDES）。这个想法是将问题重新重新制定为包括本地损失功能的全球优化。本质上，我们使用深神网络及其具有自动分化的梯度近似BSDE的未知解。通过在每个时间步骤定义的二次局部损耗函数中最小化近似值来执行近似值，该局部损失函数始终包括终端条件。这种损失函数是通过用终端条件迭代时间积分的Euler离散化来获得的。我们的公式可以促使随机梯度下降算法不仅要考虑到每个时间层的准确性，而且会收敛到良好的局部最小值。为了证明我们的算法的性能，提供了几种高维非线性BSDE，包括金融中的定价问题。

在本文中，我们主要专注于用边界条件求解高维随机汉密尔顿系统，并从随机对照的角度提出一种新的方法。为了获得哈密顿系统的近似解，我们首先引入了一个相应的随机最佳控制问题，使得汉密尔顿控制问题的系统正是我们需要解决的，然后开发两种不同的算法适合不同的控制问题。深神经网络近似随机控制。从数值结果中，与先前从求解FBSDES开发的深度FBSDE方法相比，新颖的算法会聚得更快，这意味着它们需要更少的训练步骤，并展示不同哈密顿系统的更稳定的收敛。

显示了最佳的收敛速率，显示了对保守随机偏微分方程的平均场限制对解决方案解决方案解决方案解决方案的收敛。作为第二个主要结果，该SPDE的定量中心极限定理再次得出，并以最佳的收敛速率得出。该结果尤其适用于在过叠层化的，浅的神经网络中与SPDES溶液中随机梯度下降动力学的平均场缩放率的收敛性。结果表明，在限制SPDE中包含波动可以提高收敛速度，并保留有关随机梯度下降的波动的信息。

我们考虑扩散过程的过滤和预测问题。信号和观察是由由相关的维纳过程驱动的随机微分方程（SDE）建模的。在经典估计理论中，用于滤波和预测度量的测量值随机偏微分方程（SPDE）。这些方程可能很难在数值上求解。我们使用条件生成对抗网络（GAN）与签名（来自粗糙路径理论的对象）相结合提供了近似算法。足够平滑路径的签名完全决定了路径。结果，在某些情况下，基于签名的gan被证明可以有效地近似随机过程的定律。对于我们的算法，我们将此方法扩展到从条件定律中进行样本，鉴于嘈杂的部分观察结果。我们的发电机是使用神经微分方程（NDE）构建的，依赖于其通用近似属性。我们在提供严格的数学框架方面表现出良好的性能。数值结果显示了我们算法的效率。

平均场控制和平均场游戏中的核心问题之一是解决相应的McKean-Vlasov前向后随机微分方程（MV-FBSDES）。大多数现有方法是针对特殊情况量身定制的，在这种情况下，平均场相互作用仅取决于期望或其他时刻，因此当平均场相互作用具有完全分布依赖性时，无法解决问题。在本文中，我们提出了一种新颖的深度学习方法，用于计算具有均值场相互作用的一般形式的MV-FBSDE。具体而言，我们基于虚拟游戏，我们将问题重新验证为重复求解具有明确系数功能的标准FBSDE。这些系数功能用于近似具有完全分布依赖性的MV-FBSDE的模型系数，并通过使用从上次迭代的FBSDE解决方案模拟的培训数据来解决另一个监督学习问题。我们使用深层神经网络来求解标准的BSDE和近似系数功能，以求解高维MV-FBSDE。在对学习功能的适当假设下，我们证明了所提出的方法的收敛性通过使用先前在[HAN，HU和LONG，ARXIV：2104.12036]中开发的一类积分概率指标来免受维数（COD）的诅咒。证明的定理在高维度中显示了该方法的优势。我们介绍了高维MV-FBSDE问题中的数值性能，其中包括众所周知的Cucker-Smale模型的平均场景示例，其成本取决于正向过程的完整分布。

本论文主要涉及解决深层（时间）高斯过程（DGP）回归问题的状态空间方法。更具体地，我们代表DGP作为分层组合的随机微分方程（SDES），并且我们通过使用状态空间过滤和平滑方法来解决DGP回归问题。由此产生的状态空间DGP（SS-DGP）模型生成丰富的电视等级，与建模许多不规则信号/功能兼容。此外，由于他们的马尔可道结构，通过使用贝叶斯滤波和平滑方法可以有效地解决SS-DGPS回归问题。本论文的第二次贡献是我们通过使用泰勒力矩膨胀（TME）方法来解决连续离散高斯滤波和平滑问题。这诱导了一类滤波器和SmooThers，其可以渐近地精确地预测随机微分方程（SDES）解决方案的平均值和协方差。此外，TME方法和TME过滤器和SmoOthers兼容模拟SS-DGP并解决其回归问题。最后，本文具有多种状态 - 空间（深）GPS的应用。这些应用主要包括（i）来自部分观察到的轨迹的SDES的未知漂移功能和信号的光谱 - 时间特征估计。

基于神经网络的高维部分微分方程（PDE）的数值解具有令人兴奋的发展。本文推出了Barron空间中$ -dimimensional二阶椭圆PDE的解决方案的复杂性估计，这是一组函数，即承认某些参数脊函数的积分与参数上的概率测量。我们证明在一些适当的假设中，如果椭圆PDE的系数和源期限位于Barron空间中，则PDE的解决方案是$ \ epsilon $ -close关于$ h ^ 1 $ norm到Barron功能。此外，我们证明了这种近似解决方案的Barron标准的维度显式范围，这取决于大多数多项式在PDE的维度$ D $上。作为复杂性估计的直接后果，通过双层神经网络，PDE的解决方案可以通过双层神经网络在任何有界面的神经网络上近似于尺寸显式收敛速度的$ H ^ 1 $常态。

蒙特卡洛方法和深度学习的组合最近导致了在高维度中求解部分微分方程（PDE）的有效算法。相关的学习问题通常被称为基于相关随机微分方程（SDE）的变异公式，可以使用基于梯度的优化方法最小化相应损失。因此，在各自的数值实现中，至关重要的是要依靠足够的梯度估计器，这些梯度估计器表现出较低的差异，以便准确，迅速地达到收敛性。在本文中，我们严格研究了在线性Kolmogorov PDE的上下文中出现的相应数值方面。特别是，我们系统地比较了现有的深度学习方法，并为其表演提供了理论解释。随后，我们建议的新方法在理论上和数字上都可以证明更健壮，从而导致了实质性的改进。

逐步应用高斯噪声将复杂的数据分布转换为大约高斯。逆转此动态定义了一种生成模型。当前进通知过程由随机微分方程（SDE），Song等人提供。 （2021）证明可以使用分数匹配估计相关反向时间SDE的时间不均匀漂移。这种方法的限制是必须在最终分布到高斯的最终分布必须运行前进时间SDE。相反，解决Schr \“odinger桥问题（SB），即路径空间上的熵正常化的最佳运输问题，产生从有限时间内从数据分布产生样本的扩散。我们存在扩散SB（DSB），原始近似迭代比例拟合（IPF）程序来解决SB问题，并提供理论分析以及生成建模实验。第一个DSB迭代恢复Song等人提出的方法。（2021），使用较短时间的灵活性间隔，随后的DSB迭代减少了前进（RESP。后向）SDE的最终时间边际之间的差异，相对于先前（RESP。数据）分布。除了生成的建模之外，DSB提供了广泛适用的计算最优运输工具流行池算法的连续状态空间模拟（Cuturi，2013）。

Developing algorithms for solving high-dimensional partial differential equations (PDEs) has been an exceedingly difficult task for a long time, due to the notoriously difficult problem known as the "curse of dimensionality". This paper introduces a deep learning-based approach that can handle general high-dimensional parabolic PDEs. To this end, the PDEs are reformulated using backward stochastic differential equations and the gradient of the unknown solution is approximated by neural networks, very much in the spirit of deep reinforcement learning with the gradient acting as the policy function. Numerical results on examples including the nonlinear Black-Scholes equation, the Hamilton-Jacobi-Bellman equation, and the Allen-Cahn equation suggest that the proposed algorithm is quite effective in high dimensions, in terms of both accuracy and cost. This opens up new possibilities in economics, finance, operational research, and physics, by considering all participating agents, assets, resources, or particles together at the same time, instead of making ad hoc assumptions on their inter-relationships.

了解随机梯度下降（SGD）的隐式偏见是深度学习的关键挑战之一，尤其是对于过度透明的模型，损失功能的局部最小化$ l $可以形成多种多样的模型。从直觉上讲，SGD $ \ eta $的学习率很小，SGD跟踪梯度下降（GD），直到它接近这种歧管为止，梯度噪声阻止了进一步的收敛。在这样的政权中，Blanc等人。 （2020）证明，带有标签噪声的SGD局部降低了常规术语，损失的清晰度，$ \ mathrm {tr} [\ nabla^2 l] $。当前的论文通过调整Katzenberger（1991）的想法提供了一个总体框架。它原则上允许使用随机微分方程（SDE）描述参数的限制动力学的SGD围绕此歧管的正规化效应（即“隐式偏见”）的正则化效应，这是由损失共同确定的功能和噪声协方差。这产生了一些新的结果：（1）与Blanc等人的局部分析相比，对$ \ eta^{ - 2} $ steps有效的隐性偏差进行了全局分析。 （2020）仅适用于$ \ eta^{ - 1.6} $ steps和（2）允许任意噪声协方差。作为一个应用程序，我们以任意大的初始化显示，标签噪声SGD始终可以逃脱内核制度，并且仅需要$ o（\ kappa \ ln d）$样本用于学习$ \ kappa $ -sparse $ -sparse yroverparame parametrized linearized Linear Modal in $ \ Mathbb {r}^d $（Woodworth等，2020），而GD在内核制度中初始化的GD需要$ \ omega（d）$样本。该上限是最小值的最佳，并改善了先前的$ \ tilde {o}（\ kappa^2）$上限（Haochen等，2020）。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。