无监督的机器学习的目的是删除复杂的高维数据的表示形式，从而解释数据中的重要潜在因素以及操纵它们以生成具有理想功能的新数据。这些方法通常依赖于对抗方案，在该方案中，对代表进行调整以避免歧视者能够重建特定的数据信息（标签）。我们提出了一种简单，有效的方法，即在无需培训对抗歧视器的情况下解开表示形式，并将我们的方法应用于受限的玻尔兹曼机器（RBM），这是最简单的基于代表的生成模型之一。我们的方法依赖于在训练过程中引入对权重的足够约束，这使我们能够将有关标签的信息集中在一小部分潜在变量上。该方法的有效性在MNIST数据集，二维ISING模型和蛋白质家族的分类法上说明了。此外，我们还展示了我们的框架如何从数据的对数模型中计算成本，与其表示形式的删除相关。

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

受限的玻尔兹曼机器（RBMS）提供了一种用于无监督的机器学习的多功能体系结构，原则上可以以任意准确性近似任何目标概率分布。但是，RBM模型通常由于其计算复杂性而无法直接访问，并调用了Markov-Chain采样以分析学习概率分布。因此，对于培训和最终应用，希望拥有既准确又有效的采样器。我们强调，这两个目标通常相互竞争，无法同时实现。更具体地说，我们确定并定量地表征了RBM学习的三个制度：独立学习，精度提高而不会失去效率；相关学习，较高的精度需要较低的效率；和退化，精度和效率都不再改善甚至恶化。这些发现基于数值实验和启发式论点。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

我们开发了一种多尺度方法，以从实验或模拟中观察到的物理字段或配置的数据集估算高维概率分布。通过这种方式，我们可以估计能量功能（或哈密顿量），并有效地在从统计物理学到宇宙学的各个领域中生成多体系统的新样本。我们的方法 - 小波条件重新归一化组（WC-RG） - 按比例进行估算，以估算由粗粒磁场来调节的“快速自由度”的条件概率的模型。这些概率分布是由与比例相互作用相关的能量函数建模的，并以正交小波为基础表示。 WC-RG将微观能量函数分解为各个尺度上的相互作用能量之和，并可以通过从粗尺度到细度来有效地生成新样品。近相变，它避免了直接估计和采样算法的“临界减速”。理论上通过结合RG和小波理论的结果来解释这一点，并为高斯和$ \ varphi^4 $字段理论进行数值验证。我们表明，多尺度WC-RG基于能量的模型比局部电位模型更通用，并且可以在所有长度尺度上捕获复杂的多体相互作用系统的物理。这是针对反映宇宙学中暗物质分布的弱透镜镜头的，其中包括与长尾概率分布的长距离相互作用。 WC-RG在非平衡系统中具有大量的潜在应用，其中未知基础分布{\ it先验}。最后，我们讨论了WC-RG和深层网络体系结构之间的联系。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

在神经网络的文献中，Hebbian学习传统上是指Hopfield模型及其概括存储原型的程序（即仅经历过一次形成突触矩阵的确定模式）。但是，机器学习中的“学习”一词是指机器从提供的数据集中提取功能的能力（例如，由这些原型的模糊示例制成），以制作自己的不可用原型的代表。在这里，给定一个示例示例，我们定义了一个有监督的学习协议，通过该协议可以通过该协议来推断原型，并检测到正确的控制参数（包括数据集的大小和质量）以描绘系统性能的相图。我们还证明，对于无结构数据集，配备了该监督学习规则的Hopfield模型等同于受限的Boltzmann机器，这表明了最佳且可解释的培训例程。最后，这种方法被推广到结构化的数据集：我们在分析的数据集中突出显示了一个准剥离组织（让人联想到复制对称性 - 对称性），因此，我们为其（部分）分开，为其（部分）删除层引入了一个附加的“复制性隐藏层”，该证明可以将MNIST分类从75％提高到95％，并提供有关深度体系结构的新观点。

It is possible to combine multiple latent-variable models of the same data by multiplying their probability distributions together and then renormalizing. This way of combining individual "expert" models makes it hard to generate samples from the combined model but easy to infer the values of the latent variables of each expert, because the combination rule ensures that the latent variables of different experts are conditionally independent when given the data. A product of experts (PoE) is therefore an interesting candidate for a perceptual system in which rapid inference is vital and generation is unnecessary. Training a PoE by maximizing the likelihood of the data is difficult because it is hard even to approximate the derivatives of the renormalization term in the combination rule. Fortunately, a PoE can be trained using a different objective function called "contrastive divergence" whose derivatives with regard to the parameters can be approximated accurately and efficiently. Examples are presented of contrastive divergence learning using several types of expert on several types of data.

由于难以计算的逻辑似然梯度，训练受限制的Boltzmann机器（RBMS）一直挑战很长一段时间。在过去的几十年中，许多作品已经提出了更多或更少成功的培训食谱，但没有研究问题的关键数量：混合时间，即从模型中采样新配置所需的蒙特卡罗迭代的数量。在这项工作中，我们表明，这种混合时间在训练模型的动态和稳定性中起着至关重要的作用，并且RBMS在两个明确定义的制度中运行，即均衡和均衡，具体取决于这之间的相互作用模型的混合时间和步骤数量，$ k $，用于近似梯度。我们进一步展示了这种混合时间随着学习而增加，这通常会在k $大于这段时间时，通常意味着从一个制度到另一个的过渡。特别是，我们表明，使用流行的$ k $（持久性）对比发散方法，以k $小，学习模型的动态非常慢，往往是强烈的均衡效果。相反，RBMS在平衡显示器上培训更快，动态更快，以及在采样期间对数据集配置的平滑收敛性。最后，我们讨论如何在实践中利用这两个制度，这取决于任务一项目标符合履行：（i）缩短的$ k $可用于在短时间学习时生成令人信服的样本，（ii）大量$ k $（或越来越大）需要学习RBM的正确均衡分布。最后，这两个运营制度的存在似乎是通过似然最大化训练的基于能量模型的一般性。

了解正规化的作用是统计推理中的核心问题。经验上讲，通过避免对训练数据的过度限制，良好的正则化方案通常会显着提高推断模型的质量。我们在这里考虑的是L 2和L 1的特定情况，最大后验序（MAP）推断的最大后面的成对图形模型。基于对高斯和Potts模型的高斯多变量分布和数值实验的分析计算，我们研究了训练，测试和“生成数据”（带推断模型）的可能性作为正则化强度的函数。我们特别展示了最大值，测试可能性和“生成”的可能性，这量化了所生成的样本的质量，具有显着的闭合值。发现正则化强度的最佳值大致等于在底层交互网络上传入的平方耦合的逆和亚。我们的结果似乎与所考虑的正则化方案产生的数据的真实潜在相互作用的结构无关，并且当考虑地图估计器周围的后部分布的小波动时有效。讨论了与来自同源序列中学到的蛋白质模型的与实证工作的连接。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

Understanding the functional principles of information processing in deep neural networks continues to be a challenge, in particular for networks with trained and thus non-random weights. To address this issue, we study the mapping between probability distributions implemented by a deep feed-forward network. We characterize this mapping as an iterated transformation of distributions, where the non-linearity in each layer transfers information between different orders of correlation functions. This allows us to identify essential statistics in the data, as well as different information representations that can be used by neural networks. Applied to an XOR task and to MNIST, we show that correlations up to second order predominantly capture the information processing in the internal layers, while the input layer also extracts higher-order correlations from the data. This analysis provides a quantitative and explainable perspective on classification.

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

随机块模型（SBM）是一个随机图模型，其连接不同的顶点组不同。它被广泛用作研究聚类和社区检测的规范模型，并提供了肥沃的基础来研究组合统计和更普遍的数据科学中出现的信息理论和计算权衡。该专着调查了最近在SBM中建立社区检测的基本限制的最新发展，无论是在信息理论和计算方案方面，以及各种恢复要求，例如精确，部分和弱恢复。讨论的主要结果是在Chernoff-Hellinger阈值中进行精确恢复的相转换，Kesten-Stigum阈值弱恢复的相变，最佳的SNR - 单位信息折衷的部分恢复以及信息理论和信息理论之间的差距计算阈值。该专着给出了在寻求限制时开发的主要算法的原则推导，特别是通过绘制绘制，半定义编程，（线性化）信念传播，经典/非背带频谱和图形供电。还讨论了其他块模型的扩展，例如几何模型和一些开放问题。

Multilayer Neural Networks trained with the backpropagation algorithm constitute the best example of a successful Gradient-Based Learning technique. Given an appropriate network architecture, Gradient-Based Learning algorithms can be used to synthesize a complex decision surface that can classify high-dimensional patterns such as handwritten characters, with minimal preprocessing. This paper reviews various methods applied to handwritten character recognition and compares them on a standard handwritten digit recognition task. Convolutional Neural Networks, that are specifically designed to deal with the variability of 2D shapes, are shown to outperform all other techniques.Real-life document recognition systems are composed of multiple modules including eld extraction, segmentation, recognition, and language modeling. A new learning paradigm, called Graph Transformer Networks (GTN), allows such multi-module systems to be trained globally using Gradient-Based methods so as to minimize an overall performance measure.Two systems for on-line handwriting recognition are described. Experiments demonstrate the advantage of global training, and the exibility of Graph Transformer Networks.A Graph Transformer Network for reading bank check is also described. It uses Convolutional Neural Network character recognizers combined with global training techniques to provides record accuracy on business and personal checks. It is deployed commercially and reads several million checks per day.

我们研究了重整化组（RG）和深神经网络之间的类比，其中随后的神经元层类似于沿RG的连续步骤。特别地，我们通过在抽取RG下明确计算在DIMIMATION RG下的一个和二维insing模型中的相对熵或kullback-leibler发散，以及作为深度的函数的前馈神经网络中的相对熵或kullback-leibler发散。我们观察到单调增加到参数依赖性渐近值的定性相同的行为。在量子场理论方面，单调增加证实了相对熵和C定理之间的连接。对于神经网络，渐近行为可能对机器学习中的各种信息最大化方法以及解开紧凑性和概括性具有影响。此外，虽然我们考虑的二维误操作模型和随机神经网络都表现出非差异临界点，但是对任何系统的相位结构的相对熵看起来不敏感。从这个意义上讲，需要更精细的探针以充分阐明这些模型中的信息流。

优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现，导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量，并探索配置空间的其他看不见的区域。在这里，我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗（NMC）算法，可以有效地学习成本函数的关键实例的几何特征。该信息随行使用，以构造空间不均匀的热波动，用于以各种长度尺度集体未填充变量，规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题：随机k可满足（K-SAT）附近计算阶段转换和二次分配问题（QAP）。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是，对于90％的随机4-SAT实例，我们发现了最佳专用确定性算法无法访问的解决方案，该算法（SP）具有最强的10％实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器（APT）显示出在最先进的通用随机求解器（APT）上的时间到溶液的两个数量级改善。

我们介绍了一种确定全局特征解耦的方法，并显示其适用于提高数据分析性能的适用性，并开放了新的场所以进行功能传输。我们提出了一种新的形式主义，该形式主义是基于沿特征梯度遵循轨迹来定义对子曼群的转换的。通过这些转换，我们定义了一个归一化，我们证明，它允许解耦可区分的特征。通过将其应用于采样矩，我们获得了用于正骨的准分析溶液，正尾肌肉是峰度的归一化版本，不仅与平均值和方差相关，而且还与偏度相关。我们将此方法应用于原始数据域和过滤器库的输出中，以基于全局描述符的回归和分类问题，与使用经典（未删除）描述符相比，性能得到一致且显着的改进。

我们提供了对神经马尔可夫链蒙特卡罗模拟中的自相关的深度研究，该版本的传统大都会算法采用神经网络来提供独立的建议。我们使用二维ising模型说明了我们的想法。我们提出了几次自相关时间的估算，其中一些灵感来自于为大都市独立采样器导出的分析结果，我们将其与逆温度$ \ Beta $的函数进行比较和研究。基于我们提出替代损失功能，并研究其对自动系列的影响。此外，我们调查对自动相关时间的神经网络培训过程中强加系统对称（$ Z_2 $和/或翻译）的影响。最终，我们提出了一种包含局部热浴更新的方案。讨论了上述增强功能的影响为16美元16美元旋转系统。我们的调查结果摘要可以作为实施更复杂模型的神经马尔可夫链蒙特卡罗模拟的指导。

Preddiff是一种模型不合时宜的局部归因方法，牢固地植根于概率理论。它的简单直觉是在边缘化特征时测量预测变化。在这项工作中，我们阐明了Preddiff的属性及其与Shapley值的密切联系。我们强调分类和回归之间的重要差异，这在两种形式主义中都需要特定的治疗方法。我们通过引入一种新的，有充分的基础的措施来扩展Preddiff，以实现任意特征子集之间的相互作用效果。对互动效应的研究代表了对黑盒模型的全面理解的不可避免的一步，对于科学应用尤其重要。Preddiff配备了我们的新型交互度量，是一种有前途的模型无关方法，用于获得可靠的，数值廉价和理论上声音的归因。