Sparse Gaussian process methods that use inducing variables require the selection of the inducing inputs and the kernel hyperparameters. We introduce a variational formulation for sparse approximations that jointly infers the inducing inputs and the kernel hyperparameters by maximizing a lower bound of the true log marginal likelihood. The key property of this formulation is that the inducing inputs are defined to be variational parameters which are selected by minimizing the Kullback-Leibler divergence between the variational distribution and the exact posterior distribution over the latent function values. We apply this technique to regression and we compare it with other approaches in the literature.

We provide a new unifying view, including all existing proper probabilistic sparse approximations for Gaussian process regression. Our approach relies on expressing the effective prior which the methods are using. This allows new insights to be gained, and highlights the relationship between existing methods. It also allows for a clear theoretically justified ranking of the closeness of the known approximations to the corresponding full GPs. Finally we point directly to designs of new better sparse approximations, combining the best of the existing strategies, within attractive computational constraints.

We present a new Gaussian process (GP) regression model whose covariance is parameterized by the the locations of M pseudo-input points, which we learn by a gradient based optimization. We take M N , where N is the number of real data points, and hence obtain a sparse regression method which has O(M 2 N ) training cost and O(M 2 ) prediction cost per test case. We also find hyperparameters of the covariance function in the same joint optimization. The method can be viewed as a Bayesian regression model with particular input dependent noise. The method turns out to be closely related to several other sparse GP approaches, and we discuss the relation in detail. We finally demonstrate its performance on some large data sets, and make a direct comparison to other sparse GP methods. We show that our method can match full GP performance with small M , i.e. very sparse solutions, and it significantly outperforms other approaches in this regime.

The kernel function and its hyperparameters are the central model selection choice in a Gaussian proces (Rasmussen and Williams, 2006). Typically, the hyperparameters of the kernel are chosen by maximising the marginal likelihood, an approach known as Type-II maximum likelihood (ML-II). However, ML-II does not account for hyperparameter uncertainty, and it is well-known that this can lead to severely biased estimates and an underestimation of predictive uncertainty. While there are several works which employ a fully Bayesian characterisation of GPs, relatively few propose such approaches for the sparse GPs paradigm. In this work we propose an algorithm for sparse Gaussian process regression which leverages MCMC to sample from the hyperparameter posterior within the variational inducing point framework of Titsias (2009). This work is closely related to Hensman et al. (2015b) but side-steps the need to sample the inducing points, thereby significantly improving sampling efficiency in the Gaussian likelihood case. We compare this scheme against natural baselines in literature along with stochastic variational GPs (SVGPs) along with an extensive computational analysis.

We introduce stochastic variational inference for Gaussian process models. This enables the application of Gaussian process (GP) models to data sets containing millions of data points. We show how GPs can be variationally decomposed to depend on a set of globally relevant inducing variables which factorize the model in the necessary manner to perform variational inference. Our approach is readily extended to models with non-Gaussian likelihoods and latent variable models based around Gaussian processes. We demonstrate the approach on a simple toy problem and two real world data sets.

高斯进程（GPS）是通过工程学的社会和自然科学的应用程序学习和统计数据的重要工具。它们构成具有良好校准的不确定性估计的强大的内核非参数方法，然而，由于其立方计算复杂度，从货架上的GP推理程序仅限于具有数千个数据点的数据集。因此，在过去几年中已经开发出许多稀疏的GPS技术。在本文中，我们专注于GP回归任务，并提出了一种基于来自几个本地和相关专家的聚合预测的新方法。因此，专家之间的相关程度可以在独立于完全相关的专家之间变化。考虑到他们的相关性导致了一致的不确定性估算，汇总了专家的个人预测。我们的方法在限制案件中恢复了专家的独立产品，稀疏GP和全GP。呈现的框架可以处理一般的内核函数和多个变量，并且具有时间和空间复杂性，在专家和数据样本的数量中是线性的，这使得我们的方法是高度可扩展的。我们展示了我们提出的方法的卓越性能，这是我们提出的综合性和几个实际数据集的最先进的GP近似方法的卓越性能，以及具有确定性和随机优化的若干现实世界数据集。

与高斯过程（GPS）的变异近似通常使用一组诱导点来形成与协方差矩阵的低级别近似值。在这项工作中，我们相反利用了精度矩阵的稀疏近似。我们提出了差异最近的邻居高斯工艺（VNNGP），该过程引入了先验，该过程仅保留在k最近的邻居观测中的相关性，从而诱导稀疏精度结构。使用变分框架，可以将VNNGP的目标分解在观测值和诱导点上，从而以O（$ k^3 $）的时间复杂性实现随机优化。因此，我们可以任意扩展诱导点大小，甚至可以在每个观察到的位置放置诱导点。我们通过各种实验将VNNGP与其他可扩展的GP进行比较，并证明VNNGP（1）可以极大地超过低级别方法，而（2）比其他最近的邻居方法较不适合过度拟合。

隐式过程（IPS）代表一个灵活的框架，可用于描述各种模型，从贝叶斯神经网络，神经抽样器和数据生成器到许多其他模型。 IP还允许在功能空间上进行大致推断。公式的这种变化解决了参数空间的固有退化问题近似推断，即参数数量及其在大型模型中的强大依赖性。为此，文献中先前的作品试图采用IPS来设置先验并近似产生的后部。但是，这被证明是一项具有挑战性的任务。现有的方法可以调整先前的IP导致高斯预测分布，该分布未能捕获重要的数据模式。相比之下，通过使用另一个IP近似后验过程产生灵活预测分布的方法不能将先前的IP调整到观察到的数据中。我们在这里建议第一个可以实现这两个目标的方法。为此，我们依赖于先前IP的诱导点表示，就像在稀疏高斯过程中所做的那样。结果是一种可扩展的方法，用于与IP的近似推断，可以将先前的IP参数调整到数据中，并提供准确的非高斯预测分布。

稀疏变分高斯工艺（SVGP）方法是由于其计算效益的非共轭高斯工艺推论的常见选择。在本文中，我们通过使用双重参数化来提高其计算效率，其中每个数据示例被分配双参数，类似于期望传播中使用的站点参数。我们使用自然梯度下降的双重参数化速度推断，并提供了较小的证据，用于近似参数学习。该方法具有与当前SVGP方法相同的内存成本，但它更快，更准确。

贝叶斯神经网络和深度集合代表了深入学习中不确定性量化的两种现代范式。然而，这些方法主要因内存低效率问题而争取，因为它们需要比其确定性对应物高出几倍的参数储存。为了解决这个问题，我们使用少量诱导重量增强每层的重量矩阵，从而将不确定性定量突出到这种低尺寸空间中。我们进一步扩展了Matheron的有条件高斯采样规则，以实现快速的重量采样，这使得我们的推理方法能够与合并相比保持合理的运行时间。重要的是，我们的方法在具有完全连接的神经网络和RESNET的预测和不确定性估算任务中实现了竞争性能，同时将参数大小减少到$单辆$ \ LEQ 24.3 \％$的参数大小神经网络。

基于高斯工艺（GP）建立的解码器由于非线性函数空间的边缘化而诱人。这样的模型（也称为GP-LVM）通常很昂贵且众所周知，在实践中训练，但可以使用变异推理和诱导点来缩放。在本文中，我们重新访问主动集近似值。我们基于最近发现的交叉验证链接来开发对数 - 边界可能性的新随机估计，并提出了其计算有效近似。我们证明，所得的随机活动集（SAS）近似显着提高了GP解码器训练的鲁棒性，同时降低了计算成本。SAS-GP在潜在空间中获得更多的结构，比例为许多数据点，并且比变异自动编码器更好地表示表示，这对于GP解码器来说很少是这种情况。

我们制定自然梯度变推理（VI），期望传播（EP），和后线性化（PL）作为牛顿法用于优化贝叶斯后验分布的参数扩展。这种观点明确地把数值优化框架下的推理算法。我们表明，通用近似牛顿法从优化文献，即高斯 - 牛顿和准牛顿方法（例如，该BFGS算法），仍然是这种“贝叶斯牛顿”框架下有效。这导致了一套这些都保证以产生半正定协方差矩阵，不像标准VI和EP新颖算法。我们统一的观点提供了新的见解各种推理方案之间的连接。所有提出的方法适用于具有高斯事先和非共轭的可能性，这是我们与（疏）高斯过程和状态空间模型展示任何模型。

我们提供了来自两个常见的低级内核近似产生的近似高斯过程（GP）回归的保证：基于随机傅里叶功能，并基于截断内核的Mercer扩展。特别地，我们将kullback-leibler在精确的gp和由一个上述低秩近似的一个与其内核中的一个引起的kullback-leibler发散相结合，以及它们的相应预测密度之间，并且我们还绑定了预测均值之间的误差使用近似GP使用精确的GP计算的矢量和预测协方差矩阵之间的载体。我们为模拟数据和标准基准提供了实验，以评估我们理论界的有效性。

高斯过程状态空间模型通过在转换功能上放置高斯过程来以原则方式捕获复杂的时间依赖性。这些模型具有自然的解释，作为离散的随机微分方程，但困难的长期序列的推断是困难的。快速过渡需要紧密离散化，而慢速转换需要在长副图层上备份梯度。我们提出了一种由多个组件组成的新型高斯过程状态空间架构，每个组件都培训不同的分辨率，以对不同时间尺度进行模拟效果。组合模型允许在自适应刻度上进行时间进行时间，为具有复杂动态的任意长序列提供有效推断。我们在半合成数据和发动机建模任务上基准我们的新方法。在这两个实验中，我们的方法对其最先进的替代品仅比单一时间级运行的最先进的替代品。

我们提供了来自两个常见的低级内核近似产生的近似高斯过程（GP）回归的保证：基于随机傅里叶功能，并基于截断内核的Mercer扩展。特别地，我们将kullback-leibler在精确的gp和由一个上述低秩近似的一个与其内核中的一个引起的kullback-leibler发散相结合，以及它们的相应预测密度之间，并且我们还绑定了预测均值之间的误差使用近似GP使用精确的GP计算的矢量和预测协方差矩阵之间的载体。我们为模拟数据和标准基准提供了实验，以评估我们理论界的有效性。

高斯进程（GPS）是非参数贝叶斯模型，广泛用于各种预测任务。以前的工作在通过差异隐私（DP）向GPS增加了强大的隐私保护，仅限于仅保护预测目标的隐私（模型输出）而不是输入。我们通过为模型输入和输出引入DP保护而引入GPS来打破此限制。我们通过使用稀疏GP方法来实现这一目标，并在已知的诱导点上发布私有变分近似。近似协方差调整到大约占DP噪声的增加的不确定性。近似可用于使用标准稀疏GP技术计算任意预测。我们提出了一种使用应用于验证设置日志可能性的私有选择协议的超参数学习方法。我们的实验表明，考虑到足够量的数据，该方法可以在强大的隐私保护下产生准确的模型。

隐式过程（IP）是高斯过程（GPS）的概括。 IP可能缺乏封闭形式的表达，但很容易采样。例子包括贝叶斯神经网络或神经抽样器。 IP可以用作功能的先验，从而产生具有良好预测不确定性估计值的灵活模型。基于IP的方法通常进行函数空间近似推断，从而克服了参数空间近似推断的一些困难。然而，所采用的近似值通常会限制最终模型的表现力，结果是\ emph {e.g。}，在高斯预测分布中，这可能是限制的。我们在这里提出了IPS的多层概括，称为“深层隐式”过程（DVIP）。这种概括与GPS上的深GPS相似，但是由于使用IPs作为潜在函数的先前分布，因此更灵活。我们描述了用于训练DVIP的可扩展变异推理算法，并表明它的表现优于先前的基于IP的方法和深度GPS。我们通过广泛的回归和分类实验来支持这些主张。我们还在大型数据集上评估了DVIP，最多可达数百万个数据实例，以说明其良好的可扩展性和性能。

Recent advances in coreset methods have shown that a selection of representative datapoints can replace massive volumes of data for Bayesian inference, preserving the relevant statistical information and significantly accelerating subsequent downstream tasks. Existing variational coreset constructions rely on either selecting subsets of the observed datapoints, or jointly performing approximate inference and optimizing pseudodata in the observed space akin to inducing points methods in Gaussian Processes. So far, both approaches are limited by complexities in evaluating their objectives for general purpose models, and require generating samples from a typically intractable posterior over the coreset throughout inference and testing. In this work, we present a black-box variational inference framework for coresets that overcomes these constraints and enables principled application of variational coresets to intractable models, such as Bayesian neural networks. We apply our techniques to supervised learning problems, and compare them with existing approaches in the literature for data summarization and inference.

机器学习中的模型选择（ML）是贝叶斯学习程序的关键部分。模型选择可能会对由此产生的预测施加强大的偏见，这可能会阻碍贝叶斯神经网络和神经采样器等方法的性能。另一方面，贝叶斯ML的新提出的方法具有隐式随机过程（高斯过程的概括）的功能空间中近似推断的特征。在这方面，稀疏隐式过程（SIP）的方法特别成功，因为它是完全可训练的，并且可以实现灵活的预测。在这里，我们扩展了原始实验，以表明当数据生成机制与模型所隐含的机制大不相同时，SIP能够纠正模型偏差。我们使用合成数据集证明SIP能够提供预测性分布，这些分布比初始模型的初始模型的确切预测更好地反映了数据。

概率分布允许从业者发现数据中的隐藏结构，并构建模型，以使用有限的数据解决监督的学习问题。该报告的重点是变异自动编码器，这是一种学习大型复杂数据集概率分布的方法。该报告提供了对变异自动编码器的理论理解，并巩固了该领域的当前研究。该报告分为多个章节，第一章介绍了问题，描述了变异自动编码器并标识了该领域的关键研究方向。第2、3、4和5章深入研究了每个关键研究领域的细节。第6章总结了报告，并提出了未来工作的指示。具有机器学习基本思想但想了解机器学习研究中的一般主题的读者可以从报告中受益。该报告解释了有关学习概率分布的中心思想，人们为使这种危险做些什么，并介绍了有关当前如何应用深度学习的细节。该报告还为希望为这个子场做出贡献的人提供了温和的介绍。