重建我们观察到的现象背后的因果关系是科学所有领域的基本挑战。在复杂的系统中,通过实验发现因果关系通常是不可行的,不道德的或昂贵的。但是,计算能力的增加使我们能够处理现代科学生成的不断增长的数据,从而从观察数据中引起对因果发现问题的新兴兴趣。这项工作评估了LPCMCI算法,该算法旨在找到与多维,高度相关的时间序列兼容的生成器,而某些变量则未观察到。我们发现LPCMCI的性能要比模仿什么都不了解的随机算法要好得多,但距离最佳检测仍然很远。此外,LPCMCI在自动依赖性,然后是同时的依赖性方面表现最佳,并且在滞后依赖性方面最挣扎。该项目的源代码可在线获得。
translated by 谷歌翻译
We explore how observational and interventional causal discovery methods can be combined. A state-of-the-art observational causal discovery algorithm for time series capable of handling latent confounders and contemporaneous effects, called LPCMCI, is extended to profit from casual constraints found through randomized control trials. Numerical results show that, given perfect interventional constraints, the reconstructed structural causal models (SCMs) of the extended LPCMCI allow 84.6% of the time for the optimal prediction of the target variable. The implementation of interventional and observational causal discovery is modular, allowing causal constraints from other sources. The second part of this thesis investigates the question of regret minimizing control by simultaneously learning a causal model and planning actions through the causal model. The idea is that an agent to optimize a measured variable first learns the system's mechanics through observational causal discovery. The agent then intervenes on the most promising variable with randomized values allowing for the exploitation and generation of new interventional data. The agent then uses the interventional data to enhance the causal model further, allowing improved actions the next time. The extended LPCMCI can be favorable compared to the original LPCMCI algorithm. The numerical results show that detecting and using interventional constraints leads to reconstructed SCMs that allow 60.9% of the time for the optimal prediction of the target variable in contrast to the baseline of 53.6% when using the original LPCMCI algorithm. Furthermore, the induced average regret decreases from 1.2 when using the original LPCMCI algorithm to 1.0 when using the extended LPCMCI algorithm with interventional discovery.
translated by 谷歌翻译
本文介绍了一种基于新的条件独立性(CI)的线性和非线性,滞后和同期因因果发现的方法,从而在因果上足够的情况下。基于CI的基于CI的方法,如PC算法以及来自其他框架的常见方法遭受低召回和部分充气的误报,用于强大的自相关,这是时间序列中无处不在的挑战。小说方法PCMCI $ ^ + $,扩展PCMCI [Runge等,2019B],包括发现同期链接。 PCMCI $ ^ + $通过优化调节套件的选择甚至从自相关的益处来提高CI测试的可靠性。该方法在Oracle案例中是单独无关的且一致。广泛的数值实验表明,与其他方法相比,PCMCI $ ^ + $具有更高的邻接检测功率,尤其是同时定向召回,同时更好地控制误报。优化的调节集还会导致比PC算法更短的运行时间。 PCMCI $ ^ + $可以在许多真实世界应用方案中具有相当大的用途,其中通常时间分辨率太粗糙以解决时间延迟,并且存在强大的自相关。
translated by 谷歌翻译
In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.
translated by 谷歌翻译
考虑基于AI和ML的决策对这些新兴技术的安全和可接受的使用的决策的社会和道德后果至关重要。公平,特别是保证ML决定不会导致对个人或少数群体的歧视。使用因果关系,可以更好地实现和衡量可靠的公平/歧视,从而更好地实现了敏感属性(例如性别,种族,宗教等)之间的因果关系,仅仅是仅仅是关联,例如性别,种族,宗教等(例如,雇用工作,贷款授予等) )。然而,对因果关系解决公平性的最大障碍是因果模型的不可用(通常表示为因果图)。文献中现有的因果关系方法并不能解决此问题,并假设可获得因果模型。在本文中,我们没有做出这样的假设,并且我们回顾了从可观察数据中发现因果关系的主要算法。这项研究的重点是因果发现及其对公平性的影响。特别是,我们展示了不同的因果发现方法如何导致不同的因果模型,最重要的是,即使因果模型之间的轻微差异如何对公平/歧视结论产生重大影响。通过使用合成和标准公平基准数据集的经验分析来巩固这些结果。这项研究的主要目标是强调因果关系使用因果关系适当解决公平性的因果发现步骤的重要性。
translated by 谷歌翻译
在贝叶斯网络(BNS)中,边缘方向对于因果推理和推理至关重要。然而,马尔可夫等价类考虑因素意味着它并不总是可以建立边缘方向,这就是许多BN结构学习算法不能从纯粹观察数据定向所有边缘的原因。此外,潜在的混乱会导致假阳性边缘。已经提出了相对较少的方法来解决这些问题。在这项工作中,我们介绍了从涉及观察数据集的离散数据和一个或多个介入数据集的离散数据的结构学习的混合MFGS-BS(Meance规则和快速贪婪等价搜索)算法。该算法假设存在潜在变量的因果不足,并产生部分祖先图形(PAG)。结构学习依赖于混合方法和新的贝叶斯评分范式,用于计算添加到学习图表的每个定向边缘的后验概率。基于众所周知的网络的实验结果高达109个变量和10K样本大小表明,MFGS-BS相对于最先进的结构提高了结构学习准确性,并且它是计算效率的。
translated by 谷歌翻译
在制造过程中通常检查因果关系,以支持故障调查,进行干预并做出战略决策。行业4.0已获得越来越多的数据,可实现数据驱动的因果发现(CD)。考虑到最近提出的CD方法的数量越来越多,有必要在公开可用的数据集上引入严格的基准测试程序,因为它们代表了公平比较和验证不同方法的基础。这项工作在连续制造过程中介绍了两个用于CD的新型公共数据集。第一个数据集使用著名的田纳西州伊士曼模拟器进行故障检测和过程控制。第二个数据集是从超级加工的食品制造厂中提取的,其中包括对该工厂的描述以及多个地面真相。这些数据集用于基于不同的指标提出基准测试程序,并对多种CD算法进行了评估。这项工作允许在现实条件下测试CD方法,从而为特定目标应用程序选择最合适的方法。数据集可在以下链接中找到:https://github.com/giovannimen
translated by 谷歌翻译
在学习从观察数据中学习贝叶斯网络的图形结构是描述和帮助了解复杂应用程序中的数据生成过程的关键,而任务由于其计算复杂性而构成了相当大的挑战。代表贝叶斯网络模型的定向非循环图(DAG)通常不会从观察数据识别,并且存在各种方法来估计其等价类。在某些假设下,流行的PC算法可以通过测试条件独立(CI)一致地始终恢复正确的等价类,从边际独立关系开始,逐步扩展调节集。这里,我们提出了一种通过利用协方差与精密矩阵之间的反向关系来执行PC算法内的CI测试的新颖方案。值得注意的是,精密矩阵的元素与高斯数据的部分相关性。然后,我们的算法利用对协方差和精密矩阵的块矩阵逆转,同时对互补(或双)调节集的部分相关性进行测试。因此,双PC算法的多个CI测试首先考虑边缘和全阶CI关系并逐步地移动到中心顺序。仿真研究表明,双PC算法在运行时和恢复底层网络结构方面都优于经典PC算法。
translated by 谷歌翻译
Linear structural causal models (SCMs)-- in which each observed variable is generated by a subset of the other observed variables as well as a subset of the exogenous sources-- are pervasive in causal inference and casual discovery. However, for the task of causal discovery, existing work almost exclusively focus on the submodel where each observed variable is associated with a distinct source with non-zero variance. This results in the restriction that no observed variable can deterministically depend on other observed variables or latent confounders. In this paper, we extend the results on structure learning by focusing on a subclass of linear SCMs which do not have this property, i.e., models in which observed variables can be causally affected by any subset of the sources, and are allowed to be a deterministic function of other observed variables or latent confounders. This allows for a more realistic modeling of influence or information propagation in systems. We focus on the task of causal discovery form observational data generated from a member of this subclass. We derive a set of necessary and sufficient conditions for unique identifiability of the causal structure. To the best of our knowledge, this is the first work that gives identifiability results for causal discovery under both latent confounding and deterministic relationships. Further, we propose an algorithm for recovering the underlying causal structure when the aforementioned conditions are satisfied. We validate our theoretical results both on synthetic and real datasets.
translated by 谷歌翻译
本文提出了一种新的因果发现方法,即结构不可知的建模(SAM)。SAM利用条件独立性和分布不对称性,旨在从观察数据中找到潜在的因果结构。该方法基于不同玩家之间的游戏,该游戏将每个变量分布有条件地作为神经网估算,而对手则旨在区分生成的数据与原始数据。结合分布估计,稀疏性和无环限制的学习标准用于通过随机梯度下降来实施图形结构和参数的优化。SAM在合成和真实数据上进行了实验验证。
translated by 谷歌翻译
我们介绍了一种声音和完整的算法,称为迭代因果发现(ICD),用于在存在潜在混杂器和选择偏压的情况下恢复因果图。 ICD依赖于因果性马尔可夫和忠诚的假设,并恢复潜在因果图的等价类别。它以完整的图形开始,由单个迭代阶段组成,通过识别连接节点之间的条件独立性(CI)逐渐改进该图。任何迭代后都需要的独立性和因果关系是正确的,随时渲染ICD。基本上,我们将CI调节的大小与测试节点绑定到图表上的距离,并在连续迭代中提高此值。因此,每次迭代都改进了通过具有较小调节集的先前迭代恢复的图 - 一种更高的统计功率 - 这有助于稳定性。我们凭经验证明ICD需要较少的CI测试,并与FCI,FCI +和RFCI算法相比,学习更准确的因果图。
translated by 谷歌翻译
因果表示学习是识别基本因果变量及其从高维观察(例如图像)中的关系的任务。最近的工作表明,可以从观测的时间序列中重建因果变量,假设它们之间没有瞬时因果关系。但是,在实际应用中,我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果,并使以前的可识别性结果无效。为了解决这个问题,我们提出了ICITRI,这是一种因果表示学习方法,当具有已知干预目标的完美干预措施时,可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素,同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中,Icitris准确地识别了因果因素及其因果图。
translated by 谷歌翻译
A common assumption in causal inference from observational data is that there is no hidden confounding. Yet it is, in general, impossible to verify the presence of hidden confounding factors from a single dataset. Under the assumption of independent causal mechanisms underlying the data generating process, we demonstrate a way to detect unobserved confounders when having multiple observational datasets coming from different environments. We present a theory for testable conditional independencies that are only absent during hidden confounding and examine cases where we violate its assumptions: degenerate & dependent mechanisms, and faithfulness violations. Additionally, we propose a procedure to test these independencies and study its empirical finite-sample behavior using simulation studies and semi-synthetic data based on a real-world dataset. In most cases, our theory correctly predicts the presence of hidden confounding, particularly when the confounding bias is~large.
translated by 谷歌翻译
贝叶斯网络是概率的图形模型,广泛用于了解高维数据的依赖关系,甚至促进因果发现。学习作为定向的非循环图(DAG)编码的底层网络结构是高度具有挑战性的,主要是由于大量可能的网络与非狭窄性约束结合。努力专注于两个前面:基于约束的方法,该方法执行条件独立测试,以排除具有贪婪或MCMC方案的DAG空间的边缘和分数和搜索方法。在这里,我们以一种新的混合方法综合这两个领域,这降低了基于约束方法的MCMC方法的复杂性。 MCMC方案中的各个步骤仅需要简单的表查找,以便可以有效地获得非常长的链。此外,该方案包括迭代过程,以校正来自条件独立测试的错误。该算法对替代方案提供了显着卓越的性能,特别是因为也可以从后部分布采样DAG,从而实现全面的贝叶斯模型为大量较大的贝叶斯网络进行平均。
translated by 谷歌翻译
从观察数据中推断出因果关系很少直接,但是在高维度中,问题尤其困难。对于这些应用,因果发现算法通常需要参数限制或极端稀疏限制。我们放松这些假设,并专注于一个重要但更专业的问题,即在已知的变量子中恢复因果秩序,这些变量已知会从某些(可能很大的)混杂的协变量(即$ \ textit {Confounder Blanset} $)中降下。这在许多环境中很有用,例如,在研究具有背景信息的遗传数据的动态生物分子子系统时。在一个称为$ \ textit {混杂的毯子原理} $的结构假设下,我们认为这对于在高维度中的可拖动因果发现至关重要,我们的方法可容纳低或高稀疏性的图形,同时保持多项式时间复杂性。我们提出了一种结构学习算法,相对于所谓的$ \ textit {Lazy Oracle} $,该算法是合理且完整的。我们设计了线性和非线性系统有限样本误差控制的推理过程,并在一系列模拟和现实世界数据集上演示了我们的方法。随附的$ \ texttt {r} $ package,$ \ texttt {cbl} $可从$ \ texttt {cran} $获得。
translated by 谷歌翻译
We present a new algorithm for Bayesian network structure learning, called Max-Min Hill-Climbing (MMHC). The algorithm combines ideas from local learning, constraint-based, and search-and-score techniques in a principled and effective way. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. In our extensive empirical evaluation MMHC outperforms on average and in terms of various metrics several prototypical and state-of-the-art algorithms, namely the PC, Sparse Candidate, Three Phase Dependency Analysis, Optimal Reinsertion, Greedy Equivalence Search, and Greedy Search. These are the first empirical results simultaneously comparing most of the major Bayesian network algorithms against each other. MMHC offers certain theoretical advantages, specifically over the Sparse Candidate algorithm, corroborated by our experiments. MMHC and detailed results of our study are publicly available at http://www.dsl-lab.org/supplements/mmhc paper/mmhc index.html.
translated by 谷歌翻译
最近,已经提出了利用预测模型在不断变化的环境方面的不变性来推断响应变量的因果父母的子集的不变性。如果环境仅影响少数基本机制,则例如不变因果预测(ICP)确定的子集可能很小,甚至是空的。我们介绍了最小不变性的概念,并提出了不变的血统搜索(IAS)。在其人群版本中,IAS输出了一个仅包含响应祖先的集合,并且是ICP输出的超集。当应用于数据时,如果不变性的基础测试具有渐近水平和功率,则相应的保证会渐近。我们开发可扩展算法并在模拟和真实数据上执行实验。
translated by 谷歌翻译
因果推断对于跨业务参与,医疗和政策制定等领域的数据驱动决策至关重要。然而,关于因果发现的研究已经与推理方法分开发展,从而阻止了两个领域方法的直接组合。在这项工作中,我们开发了深层端到端因果推理(DECI),这是一种基于流动的非线性添加噪声模型,该模型具有观察数据,并且可以执行因果发现和推理,包括有条件的平均治疗效果(CATE) )估计。我们提供了理论上的保证,即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励,我们将该模型扩展到具有缺失值的异质,混合型数据,从而允许连续和离散的治疗决策。我们的结果表明,与因果发现的相关基线相比,DECI的竞争性能和(c)在合成数据集和因果机器学习基准测试基准的一千多个实验中,跨数据类型和缺失水平进行了估计。
translated by 谷歌翻译
在科学研究和现实世界应用的许多领域中,非实验数据的因果效应的无偏估计对于理解数据的基础机制以及对有效响应或干预措施的决策至关重要。从不同角度对这个具有挑战性的问题进行了大量研究。对于数据中的因果效应估计,始终做出诸如马尔可夫财产,忠诚和因果关系之类的假设。在假设下,仍然需要一组协变量或基本因果图之类的全部知识。一个实用的挑战是,在许多应用程序中,没有这样的全部知识或只有某些部分知识。近年来,研究已经出现了基于图形因果模型的搜索策略,以从数据中发现有用的知识,以进行因果效应估计,并具有一些温和的假设,并在应对实际挑战方面表现出了诺言。在这项调查中,我们回顾了方法,并关注数据驱动方法所面临的挑战。我们讨论数据驱动方法的假设,优势和局限性。我们希望这篇综述将激励更多的研究人员根据图形因果建模设计更好的数据驱动方法,以解决因果效应估计的具有挑战性的问题。
translated by 谷歌翻译
因果关系是理解世界的科学努力的基本组成部分。不幸的是,在心理学和社会科学中,因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性,我们重新制定了心理学研究方法的典型方法,以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程,该过程始于从因果发现和机器学习的融合中纳入技术的发展,验证和透明的理论形式规范。然后,我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里,我们确定利息量是否可以从数据中估算出来,如果是的,则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道,该管道可以(a)促进与测试因果理论的愿望兼容的科学询问(b)鼓励我们的理论透明代表作为明确的数学对象,(c)将我们的统计模型绑定到我们的统计模型中该理论的特定属性,因此减少了理论到模型间隙通常引起的规范不足问题,以及(d)产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程,我们以摘要和讨论来结论。
translated by 谷歌翻译