在本文中，我们得出了一种新方法来确定数据集的共享特征，通过采用联合非负矩阵分解并分析所得因素化。我们的方法使用两个数据集矩阵的联合分解$ x_1，x_2 $中的非负矩阵$ x_1 = as_1 = as_1，x_2 = as_2 $得出一个相似的度量，以确定$ x_1的共享基础的良好，x_1，x_2 $近似于每个dataset。我们还提出了基于此方法和学习分解的数据集距离度量。我们的方法能够成功地在图像和文本数据集中成功身份差异。潜在的应用包括分类，检测窃或其他操纵以及数据集之间的学习关系。

Non-negative matrix factorization is a popular unsupervised machine learning algorithm for extracting meaningful features from data which are inherently non-negative. However, such data sets may often contain privacy-sensitive user data, and therefore, we may need to take necessary steps to ensure the privacy of the users while analyzing the data. In this work, we focus on developing a Non-negative matrix factorization algorithm in the privacy-preserving framework. More specifically, we propose a novel privacy-preserving algorithm for non-negative matrix factorisation capable of operating on private data, while achieving results comparable to those of the non-private algorithm. We design the framework such that one has the control to select the degree of privacy grantee based on the utility gap. We show our proposed framework's performance in six real data sets. The experimental results show that our proposed method can achieve very close performance with the non-private algorithm under some parameter regime, while ensuring strict privacy.

数据表示的比较是一个复杂的多个方面问题，尚未享受完整的解决方案。我们提出了一种用于比较两个数据表示的方法。我们介绍了表示拓扑分歧（RTD），测量在两点云之间的多尺度拓扑中的异常相同，在点之间的一对一的对应关系。数据点云被允许位于不同的环境空间中。RTD是少数基于TDA的实用方法之一，适用于真实机器学习数据集。实验表明，提议的RTD同意对数据表示相似性的直观评估，对其拓扑结构敏感。我们申请RTD在各种问题的计算机视觉和NLP域中获得神经网络表示的见解：培训动力学分析，数据分配转移，转移学习，集合学习，解剖学评估。

潜在的语义分析（LSA）和对应分析（CA）是两种使用单数值分解（SVD）来降低维度的技术。 LSA已广泛用于获得低维表示，以捕获文档和术语之间的关系。在本文中，我们介绍了文档矩阵中两种技术的理论分析和比较。我们表明，与LSA相比，CA具有一些吸引人的特性，例如，有效消除了由于文档长度和期限频率而产生的边距的影响，因此CA解决方案非常适合于文档和条款之间的关系。提出了一个统一的框架，其中包括CA和LSA作为特殊情况。我们从经验上将CA与荷兰历史文本中的英语和作者身份归因的文本分类进行了与CA进行比较，并发现CA的性能明显更好。我们还将CA应用于一个关于荷兰国歌威廉斯（Wilhelmus）的作者身份的长期问题，并提供了进一步的支持，可以将其归因于作者，在几位竞争者中。

非负矩阵分解（NMF）已被广泛用于学习数据的低维表示。但是，NMF对数据点的所有属性都同样关注，这不可避免地导致不准确的代表性。例如，在人面数据集中，如果图像在头上包含帽子，则应删除帽子，或者在矩阵分组期间应减少其对应属性的重要性。本文提出了一种名为熵权的NMF（EWNMF）的新型NMF，其为每个数据点的每个属性使用可优化的权重，以强调它们的重要性。通过向成本函数添加熵规范器来实现此过程，然后使用拉格朗日乘法器方法来解决问题。具有若干数据集的实验结果证明了该方法的可行性和有效性。我们在https://github.com/poisson-em/entropy-weighted-nmf提供我们的代码。

布尔矩阵分解（BMF）旨在找到给定二进制基质作为两个低级二进制矩阵的布尔产物的近似值。二进制数据在许多领域都无处不在，并且通过二进制矩阵代表数据在医学，自然语言处理，生物信息学，计算机图形等方面很常见。不幸的是，BMF在计算方面是硬性的，并且使用启发式算法来计算布尔分解。最近，理论突破是由两个研究小组独立获得的。 Ban等。 （Soda 2019）和Fomin等。 （Trans。2020算法）表明，BMF接受有效的多项式近似方案（EPTAS）。然而，尽管理论上的重要性，但从等级的运行时间的高指数依赖性使这些算法在实践中无法实现。促使我们工作的主要研究问题是BMF的理论进步是否可能导致实用算法。我们工作的主要概念性贡献是以下内容。尽管BMF的EPTA是纯粹的理论进步，但这些算法背后的一般方法可以作为设计更好的启发式方法的基础。我们还使用此策略来为相关的$ \ mathbb {f} _p $ -matrix分解开发新算法。在这里，给定有限的字段GF（$ p $）的矩阵$ a $，其中$ p $是素数，而整数$ r $，我们的目标是在与GF的同一字段上找到一个矩阵$ b $（ $ p $） - 最多排名$ r $最小化$ a-b $的一些规范。我们对合成和现实世界数据的实证研究证明了新算法比以前的作品在BMF和$ \ Mathbb {f} _p $ -matrix分解方面的优势。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

This survey provides an overview of higher-order tensor decompositions, their applications, and available software. A tensor is a multidimensional or N -way array. Decompositions of higher-order tensors (i.e., N -way arrays with N ≥ 3) have applications in psychometrics, chemometrics, signal processing, numerical linear algebra, computer vision, numerical analysis, data mining, neuroscience, graph analysis, and elsewhere. Two particular tensor decompositions can be considered to be higher-order extensions of the matrix singular value decomposition: CANDECOMP/PARAFAC (CP) decomposes a tensor as a sum of rank-one tensors, and the Tucker decomposition is a higher-order form of principal component analysis. There are many other tensor decompositions, including INDSCAL, PARAFAC2, CANDELINC, DEDICOM, and PARATUCK2 as well as nonnegative variants of all of the above. The N-way Toolbox, Tensor Toolbox, and Multilinear Engine are examples of software packages for working with tensors.

封闭曲线的建模和不确定性量化是形状分析领域的重要问题，并且可以对随后的统计任务产生重大影响。这些任务中的许多涉及封闭曲线的集合，这些曲线通常在多个层面上表现出结构相似性。以有效融合这种曲线间依赖性的方式对多个封闭曲线进行建模仍然是一个具有挑战性的问题。在这项工作中，我们提出并研究了一个多数输出（又称多输出），多维高斯流程建模框架。我们说明了提出的方法学进步，并在几个曲线和形状相关的任务上证明了有意义的不确定性量化的实用性。这种基于模型的方法不仅解决了用内核构造对封闭曲线（及其形状）的推断问题，而且还为通常对功能对象的多层依赖性的非参数建模打开了门。

通常，使用网络编码在物理，生物，社会和信息科学中应用程序中复杂系统中实体之间的交互体系结构。为了研究复杂系统的大规模行为，研究网络中的中尺度结构是影响这种行为的构件。我们提出了一种新方法来描述网络中的低率中尺度结构，并使用多种合成网络模型和经验友谊，协作和蛋白质 - 蛋白质相互作用（PPI）网络说明了我们的方法。我们发现，这些网络拥有相对较少的“潜在主题”，可以成功地近似固定的中尺度上网络的大多数子图。我们使用一种称为“网络词典学习”（NDL）的算法，该算法结合了网络采样方法和非负矩阵分解，以学习给定网络的潜在主题。使用一组潜在主题对网络进行编码的能力具有多种应用于网络分析任务的应用程序，例如比较，降解和边缘推理。此外，使用我们的新网络去核和重建（NDR）算法，我们演示了如何通过仅使用直接从损坏的网络中学习的潜在主题来贬低损坏的网络。

主题模型为学习，提取和发现大型文本语料库中的潜在结构提供了有用的文本挖掘工具。尽管已经为主题建模提出了大量方法，但文献缺乏是对潜在主题估计的统计识别性和准确性的正式理论研究。在本文中，我们提出了一个基于特定的集成可能性的潜在主题的最大似然估计量（MLE），该主题自然地与该概念相连，在计算几何学中，体积最小化。我们的理论介绍了主题模型可识别性的一组新几何条件，这些条件比常规的可分离性条件弱，这些条件通常依赖于纯主题文档或锚定词的存在。较弱的条件允许更广泛的调查，因此可能会更加富有成果的研究。我们对拟议的估计器进行有限样本误差分析，并讨论我们的结果与先前研究的结果之间的联系。我们以使用模拟和真实数据集的实证研究结论。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

在本文中，我们将3D点云的古典表示作为线性形状模型。我们的主要洞察力是利用深度学习，代表一种形状的集合，作为低维线性形状模型的仿射变换。每个线性模型的特征在于形状原型，低维形状基础和两个神经网络。网络以输入点云作为输入，并在线性基础中预测形状的坐标和最能近似输入的仿射变换。使用单一的重建损耗来学习线性模型和神经网络的结束。我们方法的主要优点是，与近期学习基于特征的复杂形状表示的许多深度方法相比，我们的模型是显式的，并且在3D空间中发生每个操作。结果，我们的线性形状模型可以很容易地可视化和注释，并且可以在视觉上了解故障情况。虽然我们的主要目标是引入紧凑且可解释的形状收集表示，但我们表明它导致最新的最先进结果对几次射击分割。

在本文中，我们定义了一种新的非Archimedian度量标准结构，称为CopHenetic度量标准，对所有度的持久同源性等级。然后，我们将Zeroth持续同源与许多不同度量的核心度量和分层聚类算法一起，根据我们在不同的数据集上获得的实验结果，提供统计上可靠的相应拓扑信息。我们还观察到来自坐骨距离的所产生的集群在内部和外部评估措施（如轮廓分数和Rand指数）方面都能发光。此外，由于为所有同源度定义了CopHenetic度量，因此现在可以通过植根树显示所有度的持续同源类别的关系。

Matrix factorization exploits the idea that, in complex high-dimensional data, the actual signal typically lies in lower-dimensional structures. These lower dimensional objects provide useful insight, with interpretability favored by sparse structures. Sparsity, in addition, is beneficial in terms of regularization and, thus, to avoid over-fitting. By exploiting Bayesian shrinkage priors, we devise a computationally convenient approach for high-dimensional matrix factorization. The dependence between row and column entities is modeled by inducing flexible sparse patterns within factors. The availability of external information is accounted for in such a way that structures are allowed while not imposed. Inspired by boosting algorithms, we pair the the proposed approach with a numerical strategy relying on a sequential inclusion and estimation of low-rank contributions, with data-driven stopping rule. Practical advantages of the proposed approach are demonstrated by means of a simulation study and the analysis of soccer heatmaps obtained from new generation tracking data.

域适应性是现代机器学习中的一种流行范式，旨在解决培训或验证数据集之间具有用于学习和测试分类器（源域）和潜在的大型未标记数据集的培训或验证数据集之间的分歧问题，其中利用了模型（目标域）（目标域）（目标域） 。任务是找到源数据集的源和目标数据集的这种常见表示，其中源数据集提供了培训的信息，因此可以最大程度地减少来源和目标之间的差异。目前，最流行的领域适应性解决方案是基于训练神经网络，这些神经网络结合了分类和对抗性学习模块，这些模块是饥饿的，通常很难训练。我们提出了一种称为域适应性主成分分析（DAPCA）的方法，该方法发现线性减少的数据表示有助于解决域适应任务。 DAPCA基于数据点对之间引入正权重，并概括了主成分分析的监督扩展。 DAPCA代表一种迭代算法，因此在每次迭代中都解决了一个简单的二次优化问题。保证算法的收敛性，并且在实践中的迭代次数很少。我们验证了先前提出的用于解决域适应任务的基准的建议算法，还显示了在生物医学应用中对单细胞法数据集进行分析中使用DAPCA的好处。总体而言，考虑到源域和目标域之间可能的差异，DAPCA可以作为许多机器学习应用程序中有用的预处理步骤。

非线性维度降低可以通过\纺织{歧管学习}方法来执行，例如随机邻居嵌入（SNE），局部线性嵌入（LLE）和等距特征映射（ISOMAP）。这些方法旨在产生两个或三个潜在嵌入的嵌入，主要用于可视化可理解的表示数据。此稿件提出了学生的T分布式SNE（T-SNE），LLE和ISOMAP的扩展，以实现多维数量和多视图数据的可视化。多视图数据是指从相同样本生成的多种类型的数据。与通过单独可视化所获得的数据，所提出的多视图方法提供了比较通过可视化所获得的多个数据的更可理解的预测。通常可视化用于识别样本内的底层模式。通过将获得的低维嵌入从多视图歧管中的方法结合到K-Means聚类算法中，示出了准确地识别出样品的簇。通过对实际和合成数据的分析，发现所提出的多SNE方法具有最佳性能。我们进一步说明了多SNE方法对分析多OMICS单细胞数据的适用性，目的是在与健康和疾病相关的生物组织中可视化和识别细胞异质性和细胞类型。

本文向许多受访者调查了同时的偏好和度量学习。一组由$ d $二维功能向量和表格的配对比较``项目$ i $都比item $ j $更可取'的项目。我们的模型共同学习了一个距离指标，该指标表征了人群对项目相似性的一般度量，以及每个用户反映其个人喜好的潜在理想点。该模型具有捕获个人喜好的灵活性，同时享受在人群中摊销的度量学习样本成本。我们首先以无声的，连续的响应设置（即等于项目距离的差异）来研究这个问题，以了解学习的基本限制。接下来，我们建立了嘈杂的预测错误保证，可以从人类受访者那里收集诸如二进制测量值，并显示样品复杂性在基础度量较低时如何提高。最后，我们根据响应分布的假设建立恢复保证。我们在模拟数据和大量用户的颜色偏好判断数据集上演示了模型的性能。

深矩阵因子化（深MF）是最新的无监督数据挖掘技术，其灵感来自受约束的低级别近似值。他们旨在提取高维数据集中功能的复杂层次结构。文献中提出的大多数损失函数用于评估深MF模型的质量和基础优化框架不一致，因为在不同层上使用了不同的损失。在本文中，我们引入了深层MF的两个有意义的损失功能，并提出了一个通用框架来解决相应的优化问题。我们通过整合各种约束和正规化（例如稀疏性，非负和最小体积）来说明这种方法的有效性。这些模型已成功应用于合成数据和真实数据，即高光谱的不混合和提取面部特征。

本文中描述的模型属于专为数据表示和降低尺寸而设计的非负矩阵分解方法的家族。除了保留数据阳性属性外，它还旨在在矩阵分解过程中保留数据结构。这个想法是在NMF成本函数中添加一个惩罚术语，以在原始数据点和转换数据点的成对相似性矩阵之间实现比例关系。新模型的解决方案涉及为系数矩阵得出新的参数化更新方案，这使得在用于群集和分类时可以提高还原数据的质量。将所提出的聚类算法与某些现有的基于NMF的算法以及应用于某些现实生活数据集时的某些基于多种学习的算法进行了比较。获得的结果显示了所提出的算法的有效性。