基于持续的同源性的拓扑损失在各种应用中都表现出了希望。拓扑损失强制执行该模型以实现某些所需的拓扑特性。尽管取得了经验成功，但对损失的优化行为的了解却很少。实际上，拓扑损失涉及在优化过程中可能振荡的组合构型。在本文中，我们引入了通用正规拓扑感知损失。我们提出了一个新颖的正则化项，并修改了现有的拓扑损失。这些贡献导致了新的损失函数，不仅强制实施模型具有所需的拓扑行为，而且还可以达到满足收敛行为。我们的主要理论结果确保在轻度假设下可以有效地优化损失。

适当地表示数据库中的元素，以便可以准确匹配查询是信息检索的核心任务；最近，通过使用各种指标将数据库的图形结构嵌入层次结构的方式中来实现。持久性同源性是一种在拓扑数据分析中常用的工具，能够严格地以其层次结构和连接结构来表征数据库。计算各种嵌入式数据集上的持续同源性表明，一些常用的嵌入式无法保留连接性。我们表明，那些成功保留数据库拓扑的嵌入通过引入两种扩张不变的比较措施来捕获这种效果，尤其是解决了对流形的度量扭曲问题。我们为它们的计算提供了一种算法，该算法大大降低了现有方法的时间复杂性。我们使用这些措施来执行基于拓扑的信息检索的第一个实例，并证明了其在持久同源性的标准瓶颈距离上的性能提高。我们在不同数据品种的数据库中展示了我们的方法，包括文本，视频和医学图像。

无监督的特征学习通常会发现捕获复杂数据结构的低维嵌入。对于专家的任务可获得专家，将其纳入学习的代表可能会导致更高质量的嵌入品。例如，这可以帮助人们将数据嵌入给定的簇数，或者容纳阻止一个人直接在模型上衍生数据分布的噪声，然后可以更有效地学习。然而，缺乏将不同的先前拓扑知识集成到嵌入中的一般工具。虽然最近已经开发了可微分的拓扑层，但可以（重新）形状嵌入预定的拓扑模型，他们对代表学习有两个重要的局限性，我们在本文中解决了这一点。首先，目前建议的拓扑损失未能以自然的方式代表诸如群集和耀斑的简单模型。其次，这些损失忽略了对学习有用的数据中的所有原始结构（例如邻域）信息。我们通过引入一组新的拓扑损失来克服这些限制，并提出其用法作为拓扑正规规范数据嵌入来自然代表预定模型的一种方法。我们包括彻底的综合和实际数据实验，突出了这种方法的有用性和多功能性，其中应用范围从建模高维单胞胎数据进行建模到绘图嵌入。

我们研究了紧凑型歧管M上的回归问题。为了利用数据的基本几何形状和拓扑结构，回归任务是基于歧管的前几个特征函数执行的，该特征是歧管的laplace-beltrami操作员，通过拓扑处罚进行正规化。提出的惩罚基于本征函数或估计功能的子级集的拓扑。显示总体方法可在合成和真实数据集上对各种应用产生有希望的和竞争性能。我们还根据回归函数估计，其预测误差及其平滑度（从拓扑意义上）提供理论保证。综上所述，这些结果支持我们方法在目标函数“拓扑平滑”的情况下的相关性。

Image segmentation is a largely researched field where neural networks find vast applications in many facets of technology. Some of the most popular approaches to train segmentation networks employ loss functions optimizing pixel-overlap, an objective that is insufficient for many segmentation tasks. In recent years, their limitations fueled a growing interest in topology-aware methods, which aim to recover the correct topology of the segmented structures. However, so far, none of the existing approaches achieve a spatially correct matching between the topological features of ground truth and prediction. In this work, we propose the first topologically and feature-wise accurate metric and loss function for supervised image segmentation, which we term Betti matching. We show how induced matchings guarantee the spatially correct matching between barcodes in a segmentation setting. Furthermore, we propose an efficient algorithm to compute the Betti matching of images. We show that the Betti matching error is an interpretable metric to evaluate the topological correctness of segmentations, which is more sensitive than the well-established Betti number error. Moreover, the differentiability of the Betti matching loss enables its use as a loss function. It improves the topological performance of segmentation networks across six diverse datasets while preserving the volumetric performance. Our code is available in https://github.com/nstucki/Betti-matching.

拓扑数据分析（TDA）的主要挑战之一是从机器学习算法直接可用的持久图中提取功能。实际上，持久性图是R2中的本质上（多级）点，并且不能以直接的方式视为向量。在本文中，我们介绍了持平性器，这是一个接受持久图作为输入的第一变压器神经网络架构。坚持不懈的体系结构显着优于古典合成基准数据集上以前的拓扑神经网络架构。此外，它满足了通用近似定理。这使我们能够介绍一种用于拓扑机学习的第一解释方法，我们在两个示例中探讨。

我们考虑了$ d $维图像的新拓扑效率化，该图像通过在计算持久性之前与各种过滤器进行卷积。将卷积滤波器视为图像中的图案，结果卷积的持久图描述了图案在整个图像中分布的方式。我们称之为卷积持久性的管道扩展了拓扑结合图像数据中模式的能力。的确，我们证明（通常说）对于任何两个图像，人们都可以找到某些过滤器，它们会为其产生不同的持久图，以便给定图像的所有可能的卷积持久性图的收集是一个不变的不变性。通过表现出卷积的持久性是另一种拓扑不变的持续性副学变换的特殊情况，这证明了这一点。卷积持久性的其他优势是提高噪声的稳定性和鲁棒性，对数据依赖性矢量化的更大灵活性以及对具有较大步幅向量的卷积的计算复杂性降低。此外，我们还有一套实验表明，即使人们使用随机过滤器并通过仅记录其总持久性，卷积大大提高了持久性的预测能力，即使一个人使用随机过滤器并将结果图进行量化。

从2D图像重建3D对象对于我们的大脑和机器学习算法都有挑战。为了支持此空间推理任务，有关对象整体形状的上下文信息至关重要。但是，此类信息不会通过既定的损失条款（例如骰子损失）捕获。我们建议通过在重建损失中包括多尺度拓扑特征，例如连接的组件，周期和空隙来补充几何形状信息。我们的方法使用立方复合物来计算3D体积数据的拓扑特征，并采用最佳传输距离来指导重建过程。这种拓扑感知的损失是完全可区分的，在计算上有效，并且可以添加到任何神经网络中。我们通过将损失纳入SHAPR来证明我们的损失的实用性，该模型用于根据2D显微镜图像预测单个细胞的3D细胞形状。使用利用单个对象的几何信息和拓扑信息来评估其形状的混合损失，我们发现拓扑信息大大提高了重建质量，从而突出了其从图像数据集中提取更多相关特征的能力。

我们提出了一种使用持久性同源性（pH）的新的更有效的方法，一种方法来比较两个数据集的拓扑，用于训练深度网络以在空中图像中描绘道路网络和显微镜扫描中的神经元过程。它的本质是一种新的过滤功能，从两个现有技术的融合导出：基于阈值的过滤，以前用于将深网络培训到分段医学图像，并用高度函数过滤，以便在比较2D和3D形状之前使用。我们通过实验证明，深入的网络培训了我们的持久性同源性的损失，即道路网络和神经元过程的重建，这些过程比现有的拓扑和非拓扑损失功能更好地保持原件的连接性。

不服从统计学习理论的古典智慧，即使它们通常包含数百万参数，现代深度神经网络也概括了井。最近，已经表明迭代优化算法的轨迹可以具有分形结构，并且它们的泛化误差可以与这种分形的复杂性正式连接。这种复杂性由分形的内在尺寸测量，通常比网络中的参数数量小得多。尽管这种透视提供了对为什么跨分层化的网络不会过度装备的解释，但计算内在尺寸（例如，在训练期间进行监测泛化）是一种臭名昭着的困难任务，即使在中等环境维度中，现有方法也通常失败。在这项研究中，我们考虑了从拓扑数据分析（TDA）的镜头上的这个问题，并开发了一个基于严格的数学基础的通用计算工具。通过在学习理论和TDA之间进行新的联系，我们首先说明了泛化误差可以在称为“持久同源维度”（PHD）的概念中，与先前工作相比，我们的方法不需要关于培训动态的任何额外几何或统计假设。然后，通过利用最近建立的理论结果和TDA工具，我们开发了一种高效的算法来估计现代深度神经网络的规模中的博士，并进一步提供可视化工具，以帮助理解深度学习中的概括。我们的实验表明，所提出的方法可以有效地计算网络的内在尺寸，这些设置在各种设置中，这是预测泛化误差的。

了解通过随机梯度下降（SGD）训练的神经网络的特性是深度学习理论的核心。在这项工作中，我们采取了平均场景，并考虑通过SGD培训的双层Relu网络，以实现一个非变量正则化回归问题。我们的主要结果是SGD偏向于简单的解决方案：在收敛时，Relu网络实现输入的分段线性图，以及“结”点的数量 - 即，Relu网络估计器的切线变化的点数 - 在两个连续的训练输入之间最多三个。特别地，随着网络的神经元的数量，通过梯度流的解决方案捕获SGD动力学，并且在收敛时，重量的分布方法接近相关的自由能量的独特最小化器，其具有GIBBS形式。我们的主要技术贡献在于分析了这一最小化器产生的估计器：我们表明其第二阶段在各地消失，除了代表“结”要点的一些特定地点。我们还提供了经验证据，即我们的理论预测的不同可能发生与数据点不同的位置的结。

本文介绍了合并树木主要测量分析（MT-PGA）的计算框架，这是对著名的主要组件分析（PCA）框架[87]对合并树的瓦斯坦斯坦度量空间[92]的新颖调整。我们将MT-PGA计算作为一个约束优化问题，旨在调整正交测量轴的基础，同时最大程度地减少拟合能量。我们引入了一种有效的，迭代的算法，该算法利用了共享记忆并行性以及拟合能量梯度的分析表达，以确保快速迭代。我们的方法还琐碎地扩展到极值持久图。对公共集合的广泛实验证明了我们方法的效率 - 最大示例中的MT -PGA计算在分钟内进行了计算。我们通过扩展了两个典型的PCA应用程序来展示我们的贡献的实用性。首先，我们将MT-PGA应用于数据降低，并通过以MT-PGA为基础的第一批坐标来可靠地压缩合并树。其次，我们提出一个利用MT-PGA基础的前两个方向来生成合奏的二维布局，提出了一个维度降低框架。我们以持久性相关视图来增强这些布局，从而实现整体和局部视觉检查集合中的特征可变性。在这两种应用中，定量实验评估我们框架的相关性。最后，我们提供了轻巧的C ++实现，可用于复制我们的结果。

This paper shows that a perturbed form of gradient descent converges to a second-order stationary point in a number iterations which depends only poly-logarithmically on dimension (i.e., it is almost "dimension-free"). The convergence rate of this procedure matches the wellknown convergence rate of gradient descent to first-order stationary points, up to log factors. When all saddle points are non-degenerate, all second-order stationary points are local minima, and our result thus shows that perturbed gradient descent can escape saddle points almost for free.Our results can be directly applied to many machine learning applications, including deep learning. As a particular concrete example of such an application, we show that our results can be used directly to establish sharp global convergence rates for matrix factorization. Our results rely on a novel characterization of the geometry around saddle points, which may be of independent interest to the non-convex optimization community.

拓扑方法可以提供一种提出新的指标和审查数据的方法的方法，否则可能会忽略这一点。在这项工作中，将引入一种量化数据形状的方法，通过称为拓扑数据分析的主题。拓扑数据分析（TDA）中的主要工具是持续的同源性。持续的同源性是一种在长度范围内量化数据形状的方法。在这项工作中简要讨论了所需的背景和计算持续同源性的方法。然后，来自拓扑数据分析的思想被用于非线性动力学，以通过计算其嵌入维度，然后评估其一般拓扑来分析一些常见的吸引子。还将提出一种方法，该方法使用拓扑数据分析来确定时间延迟嵌入的最佳延迟。 TDA还将应用于结构健康监测中的Z24桥案例研究，在该Z24桥梁案例研究中，它将用于仔细检查不同的数据分区，并根据收集数据的条件进行分类。来自拓扑数据分析的度量标准用于比较分区之间的数据。提出的结果表明，损害的存在比温度所产生的影响更大。

Tools of Topological Data Analysis provide stable summaries encapsulating the shape of the considered data. Persistent homology, the most standard and well studied data summary, suffers a number of limitations; its computations are hard to distribute, it is hard to generalize to multifiltrations and is computationally prohibitive for big data-sets. In this paper we study the concept of Euler Characteristics Curves, for one parameter filtrations and Euler Characteristic Profiles, for multi-parameter filtrations. While being a weaker invariant in one dimension, we show that Euler Characteristic based approaches do not possess some handicaps of persistent homology; we show efficient algorithms to compute them in a distributed way, their generalization to multifiltrations and practical applicability for big data problems. In addition we show that the Euler Curves and Profiles enjoys certain type of stability which makes them robust tool in data analysis. Lastly, to show their practical applicability, multiple use-cases are considered.

我们为正规化优化问题$ g（\ boldsymbol {x}） + h（\ boldsymbol {x}）$提供了有效的解决方案，其中$ \ boldsymbol {x} $在单位sphere $ \ vert \ vert \ boldsymbol { x} \ vert_2 = 1 $。在这里$ g（\ cdot）$是lipschitz连续梯度的平稳成本）$通常是非平滑的，但凸出并且绝对同质，\ textit {ef。，}〜规范正则化及其组合。我们的解决方案基于Riemannian近端梯度，使用我们称为\ textIt {代理步骤}}的想法 - 一个标量变量，我们证明，与间隔内的实际步骤大小相对于实际的步骤。对于凸面和绝对均匀的$ h（\ cdot）$，替代步骤尺寸存在，并确定封闭形式中的实际步骤大小和切线更新，因此是完整的近端梯度迭代。基于这些见解，我们使用代理步骤设计了Riemannian近端梯度方法。我们证明，我们的方法仅基于$ g（\ cdot）$成本的线条搜索技术而收敛到关键点。提出的方法可以用几行代码实现。我们通过应用核规范，$ \ ell_1 $规范和核谱规则正规化来显示其有用性。这些改进是一致的，并得到数值实验的支持。

Existing generalization bounds fail to explain crucial factors that drive generalization of modern neural networks. Since such bounds often hold uniformly over all parameters, they suffer from over-parametrization, and fail to account for the strong inductive bias of initialization and stochastic gradient descent. As an alternative, we propose a novel optimal transport interpretation of the generalization problem. This allows us to derive instance-dependent generalization bounds that depend on the local Lipschitz regularity of the earned prediction function in the data space. Therefore, our bounds are agnostic to the parametrization of the model and work well when the number of training samples is much smaller than the number of parameters. With small modifications, our approach yields accelerated rates for data on low-dimensional manifolds, and guarantees under distribution shifts. We empirically analyze our generalization bounds for neural networks, showing that the bound values are meaningful and capture the effect of popular regularization methods during training.

The fundamental learning theory behind neural networks remains largely open. What classes of functions can neural networks actually learn? Why doesn't the trained network overfit when it is overparameterized?In this work, we prove that overparameterized neural networks can learn some notable concept classes, including two and three-layer networks with fewer parameters and smooth activations. Moreover, the learning can be simply done by SGD (stochastic gradient descent) or its variants in polynomial time using polynomially many samples. The sample complexity can also be almost independent of the number of parameters in the network.On the technique side, our analysis goes beyond the so-called NTK (neural tangent kernel) linearization of neural networks in prior works. We establish a new notion of quadratic approximation of the neural network (that can be viewed as a second-order variant of NTK), and connect it to the SGD theory of escaping saddle points.

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

We show that parametric models trained by a stochastic gradient method (SGM) with few iterations have vanishing generalization error. We prove our results by arguing that SGM is algorithmically stable in the sense of Bousquet and Elisseeff. Our analysis only employs elementary tools from convex and continuous optimization. We derive stability bounds for both convex and non-convex optimization under standard Lipschitz and smoothness assumptions.Applying our results to the convex case, we provide new insights for why multiple epochs of stochastic gradient methods generalize well in practice. In the non-convex case, we give a new interpretation of common practices in neural networks, and formally show that popular techniques for training large deep models are indeed stability-promoting. Our findings conceptually underscore the importance of reducing training time beyond its obvious benefit.