多项式Lo​​git（MNL）是最受欢迎的离散选择模型之一，并且已被广泛用于建模排名数据。然而，从许多真实世界排名数据学习MNL的长期技术挑战：精确计算\ EMPH {部分排名}的MNL可能性。在这项工作中，我们开发一种可扩展方法，用于近似多项式时间复杂度中一般部分排名的MNL可能性。我们还扩展了学习MNL的混合的方法。我们证明所提出的方法对应用于选择的网络形成建模特别有帮助，其中网络中的新边缘的形成被视为在候选集中制作他们的朋友选择的个人。在这种应用中，从部分排名中学习MNL模型的混合的问题在这种应用中出现。所提出的方法可用于从网络数据学习MNL模型，而无需强烈假设所有边缘形成的时间顺序。我们对合成和真实世界网络数据进行实验，以证明所提出的方法实现了与传统方法相比更准确的参数估计和更好的数据适应性。

我们研究了基于消费者的决策积极学习非参数选择模型的问题。我们提出一个负面结果，表明这种选择模型可能无法识别。为了克服可识别性问题，我们介绍了选择模型的有向无环图（DAG）表示，从某种意义上说，该模型可以捕获有关选择模型的更多信息，从而可以从理论上识别信息。然后，我们考虑在主动学习环境中学习与此DAG表示的近似的问题。我们设计了一种有效的主动学习算法，以估计非参数选择模型的DAG表示，该模型在多项式时间内运行时，当随机均匀地绘制频繁排名。我们的算法通过主动和反复提供各种项目并观察所选项目来了解最受欢迎的频繁偏好项目的分布。我们表明，与相应的非活动学习估计算法相比，我们的算法可以更好地恢复有关消费者偏好的合成和公开数据集的一组频繁偏好。这证明了我们的算法和主动学习方法的价值。

网络形成的研究在经济学，社会学和许多其他领域都普遍存在。在本文中，我们将网络形成建模为网络中节点以连接其他节点的“选择”。我们使用离散选择模型研究这些“选择”，其中代理在两个或多个离散的替代方案之间选择。我们采用“重复选择”（RC）模型来研究网络形成。我们认为RC模型克服了多项式logit（MNL）模型的重要局限性，该模型为研究网络形成提供了一个框架，并且非常适合研究网络形成。我们还说明了如何使用RC模型使用合成和现实世界网络准确研究网络形成。使用合成网络，我们还比较了MNL模型和RC模型的性能。我们发现RC模型比MNL模型更准确地估算合成网络的数据生成过程。我们对一个定性有趣的方案进行了案例研究 - 新专利更有可能引用较旧，更被引用和类似专利的事实 - RC模型使我们能够获得有趣的见解。

State-of-the-art causal discovery methods usually assume that the observational data is complete. However, the missing data problem is pervasive in many practical scenarios such as clinical trials, economics, and biology. One straightforward way to address the missing data problem is first to impute the data using off-the-shelf imputation methods and then apply existing causal discovery methods. However, such a two-step method may suffer from suboptimality, as the imputation algorithm may introduce bias for modeling the underlying data distribution. In this paper, we develop a general method, which we call MissDAG, to perform causal discovery from data with incomplete observations. Focusing mainly on the assumptions of ignorable missingness and the identifiable additive noise models (ANMs), MissDAG maximizes the expected likelihood of the visible part of observations under the expectation-maximization (EM) framework. In the E-step, in cases where computing the posterior distributions of parameters in closed-form is not feasible, Monte Carlo EM is leveraged to approximate the likelihood. In the M-step, MissDAG leverages the density transformation to model the noise distributions with simpler and specific formulations by virtue of the ANMs and uses a likelihood-based causal discovery algorithm with directed acyclic graph constraint. We demonstrate the flexibility of MissDAG for incorporating various causal discovery algorithms and its efficacy through extensive simulations and real data experiments.

随着由于排名引起的复杂几何结构而增加的对象的数量，许多排名数据的算法在计算上变得棘手。部分排名提出了一个额外的挑战，即首选项仅因所有对象的子集而闻名的排名。由于这些原因，最先进的方法无法扩展到现实世界中的应用程序，例如推荐系统。我们通过利用排名数据的几何结构以及有关对象的其他可用信息来解决这一挑战，以根据绘制剪切函数得出用于排名的内核。该图切割内核结合了子解体优化的效率与基于内核方法的理论特性。该图切割内核结合了子解体优化的效率与基于内核方法的理论特性。

因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。

贝叶斯结构学习允许从数据推断贝叶斯网络结构，同时推理认识性不确定性 - 朝着实现现实世界系统的主动因果发现和设计干预的关键因素。在这项工作中，我们为贝叶斯结构学习（DIBS）提出了一般，完全可微分的框架，其在潜在概率图表表示的连续空间中运行。与现有的工作相反，DIBS对局部条件分布的形式不可知，并且允许图形结构和条件分布参数的关节后部推理。这使得我们的配方直接适用于复杂贝叶斯网络模型的后部推理，例如，具有由神经网络编码的非线性依赖性。使用DIBS，我们设计了一种高效，通用的变分推理方法，用于近似结构模型的分布。在模拟和现实世界数据的评估中，我们的方法显着优于关节后部推理的相关方法。

贝叶斯结构学习允许人们对负责生成给定数据的因果定向无环图（DAG）捕获不确定性。在这项工作中，我们提出了结构学习（信任）的可疗法不确定性，这是近似后推理的框架，依赖于概率回路作为我们后验信仰的表示。与基于样本的后近似值相反，我们的表示可以捕获一个更丰富的DAG空间，同时也能够通过一系列有用的推理查询来仔细地理解不确定性。我们从经验上展示了如何将概率回路用作结构学习方法的增强表示，从而改善了推断结构和后部不确定性的质量。有条件查询的实验结果进一步证明了信任的表示能力的实际实用性。

我们研究私有综合数据生成查询版本，其中目标是构建差异隐私的敏感数据集的消毒版本，这大致保留了大量统计查询的答案。我们首先介绍一个算法框架，统一文献中的长线迭代算法。在此框架下，我们提出了两种新方法。第一种方法，私人熵投影（PEP），可以被视为MWEM的高级变体，可自适应地重复使用过去查询测量以提高精度。我们的第二种方法，具有指数机制（GEM）的生成网络，通过优化由神经网络参数化的生成模型来避免MWEM和PEP等算法中的计算瓶颈，该分布族捕获了丰富的分布系列，同时实现了快速的基于梯度的优化。我们展示了PEP和GEM经验胜过现有算法。此外，我们表明宝石很好地纳入了公共数据的先前信息，同时克服了PMW ^ PUB的限制，现有的现有方法也利用公共数据。

基于观察到的图，对在关系结构数据上应用机器学习技术的兴趣增加了。通常，该图并不能完全代表节点之间的真实关系。在这些设置中，构建以观测图为条件的生成模型可以考虑图形不确定性。各种现有技术要么依赖于限制性假设，无法在样品中保留拓扑特性，要么在较大的图表中昂贵。在这项工作中，我们介绍了用于通过图形构建分布的节点复制模型。随机图的采样是通过替换每个节点的邻居的邻居来进行采样的。采样图保留图形结构的关键特征，而无需明确定位它们。此外，该模型的采样非常简单，并与节点线性缩放。我们在三个任务中显示了复制模型的有用性。首先，在节点分类中，基于节点复制的贝叶斯公式在稀疏数据设置中实现了更高的精度。其次，我们采用建议的模型来减轻对抗攻击对图形拓扑的影响。最后，将模型纳入推荐系统设置，改善了对最新方法的回忆。

项目反应理论（IRT）是一个无处不在的模型，可以根据他们对问题的回答理解人类行为和态度。大型现代数据集为捕捉人类行为的更多细微差别提供了机会，从而有可能改善心理测量模型，从而改善科学理解和公共政策。但是，尽管较大的数据集允许采用更灵活的方法，但许多用于拟合IRT模型的当代算法也可能具有禁止现实世界应用的巨大计算需求。为了解决这种瓶颈，我们引入了IRT的变异贝叶斯推理算法，并表明它在不牺牲准确性的情况下快速可扩展。将此方法应用于认知科学和教育的五个大规模项目响应数据集中，比替代推理算法更高的对数可能性和更高的准确性。然后，使用这种新的推论方法，我们将IRT概括为具有表现力的贝叶斯响应模型，利用深度学习的最新进展来捕获具有神经网络的非线性项目特征曲线（ICC）。使用TIMSS的特定级数学测试，我们显示我们的非线性IRT模型可以捕获有趣的不对称ICC。该算法实现是开源的，易于使用。

结构方程模型（SEM）是一种有效的框架，其原因是通过定向非循环图（DAG）表示的因果关系。最近的进步使得能够从观察数据中实现了DAG的最大似然点估计。然而，在实际场景中，可以不能准确地捕获在推断下面的底层图中的不确定性，其中真正的DAG是不可识别的并且/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网（BCD网），一个变分推理框架，用于估算表征线性高斯SEM的DAG的分布。由于图形的离散和组合性质，开发一个完整的贝叶斯后面是挑战。我们通过表达变分别家庭分析可扩展VI的可扩展VI的关键设计选择，例如1）表达性变分别家庭，2）连续弛豫，使低方差随机优化和3）在潜在变量上具有合适的前置。我们提供了一系列关于实际和合成数据的实验，显示BCD网在低数据制度中的标准因果发现度量上的最大似然方法，例如结构汉明距离。

在偏好学习环境中，每个参与者都会在显示的一组候选人中选择$ k $最喜欢的物品的有序列表。（对于每个参与者，该集合可能都不同。）我们确定了人口偏好及其（排名）选择行为的基于距离的排名模型。排名模型类似于曲棍球模型，但使用了称为“反向主要索引（RMJ）”的新距离函数。我们发现，尽管需要对所有排列进行汇总，但基于RMJ的排名分布聚合物将其纳入（排名）选择概率，并具有简单的闭合形式表达式。我们开发有效的方法来估计模型参数并使用真实数据展示其概括功率，尤其是在显示集合有限的情况下。

排名和分数是判断使用的两个常见数据类型，以表达对象集合中对质量的偏好和/或质量的看法。存在许多模型以单独研究每种类型的数据，但没有统一的统计模型同时捕获两个数据类型，而不首先执行数据转换。我们提出了Mallows-Binomial模型来缩短这种差距，它通过量化的参数来与二项式分数模型相结合，这些差距通过量化的参数来量化对象质量，共识等级和法官之间的共识水平。我们提出了一种有效的树搜索算法来计算模型参数的精确MLE，分析和通过模拟研究模型的统计特性，并通过模拟将我们的模型应用于来自授予面板审查的实例，从而将其分数和部分排名的拨款。 。此外，我们展示了如何使用模型输出来排序对象的信心。拟议的模型被证明是从分数和排名中明智地结合信息，以量化对象质量并衡量具有适当统计不确定性的相互达成的共识。

潜在位置网络模型是网络科学的多功能工具;应用程序包括集群实体，控制因果混淆，并在未观察的图形上定义前提。估计每个节点的潜在位置通常是贝叶斯推理问题的群体，吉布斯内的大都市是最流行的近似后分布的工具。然而，众所周知，GIBBS内的大都市对于大型网络而言是低效;接受比计算成本昂贵，并且所得到的后绘高度相关。在本文中，我们提出了一个替代的马尔可夫链蒙特卡罗战略 - 使用分裂哈密顿蒙特卡罗和萤火虫蒙特卡罗的组合定义 - 利用后部分布的功能形式进行更有效的后退计算。我们展示了这些战略在吉布斯和综合网络上的其他算法中优于大都市，以及学区的教师和工作人员的真正信息共享网络。

贝叶斯网络是概率的图形模型，广泛用于了解高维数据的依赖关系，甚至促进因果发现。学习作为定向的非循环图（DAG）编码的底层网络结构是高度具有挑战性的，主要是由于大量可能的网络与非狭窄性约束结合。努力专注于两个前面：基于约束的方法，该方法执行条件独立测试，以排除具有贪婪或MCMC方案的DAG空间的边缘和分数和搜索方法。在这里，我们以一种新的混合方法综合这两个领域，这降低了基于约束方法的MCMC方法的复杂性。 MCMC方案中的各个步骤仅需要简单的表查找，以便可以有效地获得非常长的链。此外，该方案包括迭代过程，以校正来自条件独立测试的错误。该算法对替代方案提供了显着卓越的性能，特别是因为也可以从后部分布采样DAG，从而实现全面的贝叶斯模型为大量较大的贝叶斯网络进行平均。

This paper presents a tutorial introduction to the use of variational methods for inference and learning in graphical models (Bayesian networks and Markov random fields). We present a number of examples of graphical models, including the QMR-DT database, the sigmoid belief network, the Boltzmann machine, and several variants of hidden Markov models, in which it is infeasible to run exact inference algorithms. We then introduce variational methods, which exploit laws of large numbers to transform the original graphical model into a simplified graphical model in which inference is efficient. Inference in the simpified model provides bounds on probabilities of interest in the original model. We describe a general framework for generating variational transformations based on convex duality. Finally we return to the examples and demonstrate how variational algorithms can be formulated in each case.

本文提出了一种新的因果发现方法，即结构不可知的建模（SAM）。SAM利用条件独立性和分布不对称性，旨在从观察数据中找到潜在的因果结构。该方法基于不同玩家之间的游戏，该游戏将每个变量分布有条件地作为神经网估算，而对手则旨在区分生成的数据与原始数据。结合分布估计，稀疏性和无环限制的学习标准用于通过随机梯度下降来实施图形结构和参数的优化。SAM在合成和真实数据上进行了实验验证。

学习与选择建模的交集是研究的积极研究领域，并在电子商务，信息检索和社会科学中的应用。在某些应用程序（例如推荐系统）中，统计学家主要有兴趣使用被动收集的离散选择数据，即，用户从一组项目中选择一项项目多个项目。在这种实用的考虑方面，我们提出了基于选择的Borda Count算法，作为顶级$ k $ - 重新发现的快速准确的排名算法，即正确识别所有顶级$ K $项目。我们表明，基于选择的Borda计数算法具有最佳的样本复杂性，适用于$ K $恢复在广泛的随机实用程序模型下。我们证明，在极限上，基于选择的Borda计数算法与常用的最大似然估计方法产生相同的顶部$ K $估计值，但是前者的速度和简单性在实践中带来了可观的优势。合成数据集和真实数据集的实验表明，计数算法在准确性方面与常用的排名算法具有竞争力，同时更快地数量级。

从观察数据中恢复基本的定向无环形结构（DAG），由于DAG受限的优化问题的组合性质，因此极具挑战性。最近，通过将DAG约束将DAG的限制定义为平滑的平等性，通常基于邻接矩阵上的多项式，将DAG学习作为连续优化问题。现有方法将非常小的系数放在高阶多项式术语上以进行稳定，因为它们认为由于数字爆炸而导致高阶项上的大系数有害。相反，我们发现，高阶术语上的大系数对DAG学习有益，当邻接矩阵的光谱辐射小时，高阶术语的较大系数可以比小尺寸近似于小的限制。同行。基于此，我们提出了一种具有有效截短的矩阵功率迭代的新型DAG学习方法，以近似于基于几何序列的DAG约束。从经验上讲，我们的DAG学习方法在各种环境中的表现优于先前的最新方法，在结构锤距离上通常以3倍或以上的倍数。