这项工作提出了M3E2，一种多任务学习神经网络模型来估计多种治疗的效果。与现有方法相比，M3E2对于同时应用于同一单元，连续和二元处理以及许多协变量的多种治疗效果是鲁棒的。我们将M3E2与三个基准数据集中的三个基线进行比较：两个具有多种治疗和一个待遇。我们的分析表明，我们的方法具有卓越的性能，制作了对真实治疗效果的更大的自信估计。代码可在github.com/raquelaoki/m3e2上获得。

Although understanding and characterizing causal effects have become essential in observational studies, it is challenging when the confounders are high-dimensional. In this article, we develop a general framework $\textit{CausalEGM}$ for estimating causal effects by encoding generative modeling, which can be applied in both binary and continuous treatment settings. Under the potential outcome framework with unconfoundedness, we establish a bidirectional transformation between the high-dimensional confounders space and a low-dimensional latent space where the density is known (e.g., multivariate normal distribution). Through this, CausalEGM simultaneously decouples the dependencies of confounders on both treatment and outcome and maps the confounders to the low-dimensional latent space. By conditioning on the low-dimensional latent features, CausalEGM can estimate the causal effect for each individual or the average causal effect within a population. Our theoretical analysis shows that the excess risk for CausalEGM can be bounded through empirical process theory. Under an assumption on encoder-decoder networks, the consistency of the estimate can be guaranteed. In a series of experiments, CausalEGM demonstrates superior performance over existing methods for both binary and continuous treatments. Specifically, we find CausalEGM to be substantially more powerful than competing methods in the presence of large sample sizes and high dimensional confounders. The software of CausalEGM is freely available at https://github.com/SUwonglab/CausalEGM.

为目标疾病开发新药物是一项耗时且昂贵的任务，药物重新利用已成为药物开发领域的流行话题。随着许多健康索赔数据可用，已经对数据进行了许多研究。现实世界的数据嘈杂，稀疏，并且具有许多混杂因素。此外，许多研究表明，药物的作用在人群中是异质的。近年来已经出现了许多有关估计异构治疗效果（HTE）（HTE）的高级机器学习模型，并已应用于计量经济学和机器学习社区。这些研究将医学和药物开发视为主要应用领域，但是从HTE方法论到药物开发的转化研究有限。我们旨在将HTE方法介绍到医疗保健领域，并在通过基准实验进行医疗保健行政索赔数据进行基准实验时提供可行性考虑。另外，我们希望使用基准实验来展示如何将模型应用于医疗保健研究时如何解释和评估模型。通过将最近的HTE技术引入生物医学信息学社区的广泛读者，我们希望通过机器学习促进广泛采用因果推断。我们还希望提供HTE具有个性化药物有效性的可行性。

由于混杂偏见的复杂情况，使用观察数据估算治疗效果，尤其是个性化治疗效果（ITE），这是具有挑战性的。纵向观察数据估算治疗效果的现有方法通常是基于“不满意”的强烈假设，在现实世界实践中很难实现。在本文中，我们提出了变异的时间变形器（VTD），这种方法使用代理（即用于无法观察到的变量）来利用纵向设置中深层嵌入的方法。具体而言，VTD利用观察到的代理学习隐藏的嵌入，以反映观测数据中真正隐藏的混杂因素。因此，我们的VTD方法不依赖“不符”假设。我们在合成和实际临床数据上测试了VTD方法，结果表明，与其他现有模型相比，隐藏混杂性是主要偏见时我们的方法有效。

估算观察数据的个性化治疗效果（ITES）对于决策至关重要。为了获得非偏见的ITE估计，常见的假设是所有混杂因素都被观察到。然而，在实践中，我们不太可能直接观察这些混乱。相反，我们经常遵守真正的混乱的噪音测量，这可以作为有效代理。在本文中，我们解决了在观察嘈杂的代理而不是真正的混乱中估算ITE的问题。为此，我们开发了一种Deconfound Temporal AutoEncoder，这是一种利用观察到嘈杂的代理来学习反映真正隐藏的混淆的隐藏嵌入的新方法。特别地，DTA将长短期存储器自动统计器组合出具有因果正则化惩罚，该惩罚使得有条件独立于所学习的隐藏嵌入的潜在结果和治疗分配。通过DTA学习隐藏的嵌入后，最先进的结果模型可用于控制它并获得ITE的无偏见估计。使用综合性和现实世界的医疗数据，我们通过通过大幅保证金改善最先进的基准来证明我们的DTA的有效性。

因果关系的概念在人类认知中起着重要作用。在过去的几十年中，在许多领域（例如计算机科学，医学，经济学和教育）中，因果推论已经得到很好的发展。随着深度学习技术的发展，它越来越多地用于针对反事实数据的因果推断。通常，深层因果模型将协变量的特征映射到表示空间，然后设计各种客观优化函数，以根据不同的优化方法公正地估算反事实数据。本文重点介绍了深层因果模型的调查，其核心贡献如下：1）我们在多种疗法和连续剂量治疗下提供相关指标； 2）我们从时间开发和方法分类的角度综合了深层因果模型的全面概述； 3）我们协助有关相关数据集和源代码的详细且全面的分类和分析。

Learning individual-level causal effects from observational data, such as inferring the most effective medication for a specific patient, is a problem of growing importance for policy makers. The most important aspect of inferring causal effects from observational data is the handling of confounders, factors that affect both an intervention and its outcome. A carefully designed observational study attempts to measure all important confounders. However, even if one does not have direct access to all confounders, there may exist noisy and uncertain measurement of proxies for confounders. We build on recent advances in latent variable modeling to simultaneously estimate the unknown latent space summarizing the confounders and the causal effect. Our method is based on Variational Autoencoders (VAE) which follow the causal structure of inference with proxies. We show our method is significantly more robust than existing methods, and matches the state-of-the-art on previous benchmarks focused on individual treatment effects.

大型观察数据越来越多地提供健康，经济和社会科学等学科，研究人员对因果问题而不是预测感兴趣。在本文中，从旨在调查参与学校膳食计划对健康指标的实证研究，研究了使用非参数回归的方法估算异质治疗效果的问题。首先，我们介绍了与观察或非完全随机数据进行因果推断相关的设置和相关的问题，以及如何在统计学习工具的帮助下解决这些问题。然后，我们审查并制定现有最先进的框架的统一分类，允许通过非参数回归模型来估算单个治疗效果。在介绍模型选择问题的简要概述后，我们说明了一些关于三种不同模拟研究的方法的性能。我们通过展示一些关于学校膳食计划数据的实证分析的一些方法的使用来结束。

因果推断能够估计治疗效果（即，治疗结果的因果效果），使各个领域的决策受益。本研究中的一个基本挑战是观察数据的治疗偏见。为了提高对因果推断的观察研究的有效性，基于代表的方法作为最先进的方法表明了治疗效果估计的卓越性能。基于大多数基于表示的方法假设所有观察到的协变量都是预处理的（即，不受治疗影响的影响），并学习这些观察到的协变量的平衡表示，以估算治疗效果。不幸的是，这种假设往往在实践中往往是太严格的要求，因为一些协调因子是通过对治疗的干预进行改变（即，后治疗）来改变。相比之下，从不变的协变量中学到的平衡表示因此偏置治疗效果估计。

绘制因果推断的基本挑战是，任何单位都没有完全观察到反事实。此外，在观察性研究中，治疗分配可能会混淆。在不满足的条件下，已经出现了许多统计方法，这些方法在给定预处理的协变量下，包括基于倾向得分的方法，基于预后分数的方法和双重稳健方法。不幸的是，对于应用研究人员而言，没有“一定大小的”因果方法可以在普遍上表现出色。实际上，因果方法主要根据手工制作的模拟数据进行定量评估。这样的数据产生程序可能具有有限的价值，因为它们通常是现实的风格化模型。它们被简化为障碍性，缺乏现实世界数据的复杂性。对于应用研究人员，了解方法对手头数据的表现效果很好至关重要。我们的工作介绍了基于生成模型的深层框架，以验证因果推理方法。该框架的新颖性源于其产生锚定在观察到的样品的经验分布上的合成数据的能力，因此与后者几乎没有区别。该方法使用户可以为因果效应的形式和幅度指定地面真理，并将偏见作为协变量的功能。因此，模拟数据集用于评估与观察到的样本相似的数据时，各种因果估计方法的潜在性能。我们证明了Credence在广泛的仿真研究中准确评估因果估计技术的相对性能以及来自Lalonde和Project Star研究的两个现实世界数据应用的能力。

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

因果推论在电子商务和精确医学等各个领域都有广泛的应用，其性能在很大程度上取决于对个体治疗效果（ITE）的准确估计。通常，通过在其各个样品空间中分别对处理和控制响应函数进行建模来预测ITE。但是，这种方法通常会在实践中遇到两个问题，即治疗偏见引起的治疗组和对照组之间的分布分布以及其人口规模的显着样本失衡。本文提出了深层的整个空间跨网络（DESCN），以从端到端的角度进行建模治疗效果。 DESCN通过多任务学习方式捕获了治疗倾向，反应和隐藏治疗效果的综合信息。我们的方法共同学习了整个样品空间中的治疗和反应功能，以避免治疗偏见，并采用中间伪治疗效应预测网络来减轻样品失衡。从电子商务凭证分销业务的合成数据集和大规模生产数据集进行了广泛的实验。结果表明，DESCN可以成功提高ITE估计的准确性并提高提升排名的性能。发布生产数据集和源代码的样本是为了促进社区的未来研究，据我们所知，这是首个大型公共偏见的因果推理数据集。

Causal learning has attracted much attention in recent years because causality reveals the essential relationship between things and indicates how the world progresses. However, there are many problems and bottlenecks in traditional causal learning methods, such as high-dimensional unstructured variables, combinatorial optimization problems, unknown intervention, unobserved confounders, selection bias and estimation bias. Deep causal learning, that is, causal learning based on deep neural networks, brings new insights for addressing these problems. While many deep learning-based causal discovery and causal inference methods have been proposed, there is a lack of reviews exploring the internal mechanism of deep learning to improve causal learning. In this article, we comprehensively review how deep learning can contribute to causal learning by addressing conventional challenges from three aspects: representation, discovery, and inference. We point out that deep causal learning is important for the theoretical extension and application expansion of causal science and is also an indispensable part of general artificial intelligence. We conclude the article with a summary of open issues and potential directions for future work.

数据驱动的社会事件预测方法利用相关的历史信息来预测未来的事件。这些方法依赖于历史标记数据，并且当数据有限或质量差时无法准确地预测事件。研究事件之间的因果效应超出相关性分析，并且可以有助于更强大的事件预测。然而，由于若干因素，在数据驱动事件预测中纳入因果区分析是具有挑战性的：（i）事件发生在复杂和充满活力的社交环境中。许多未观察到的变量，即隐藏的混乱，影响潜在的原因和结果。 （ii）给予时尚非独立和相同分布的（非IID）数据，为准确的因果效应估计建模隐藏的混淆并不差。在这项工作中，我们介绍了一个深入的学习框架，将因果效应估计整合到事件预测中。我们首先研究了从时空属性的观察事件数据的单个治疗效果（ITE）估计的问题，并提出了一种新的因果推断模型来估计ites。然后，我们将学习的事件相关的因果信息纳入事件预测作为先验知识。引入了两个强大的学习模块，包括特征重载模块和近似约束损耗，以实现先验知识注入。我们通过将学习的因果信息送入不同的深度学习方法，评估了真实世界事件数据集的提出的因果推断模型，并验证了在事件预测中提出的强大学习模块的有效性。实验结果展示了社会事件中拟议的因果推断模型的强度，并展示了社会事件预测中强大的学习模块的有益特性。

传统的因果推理方法利用观察性研究数据来估计潜在治疗的观察到的差异和未观察到的结果，称为条件平均治疗效果（CATE）。然而，凯特就对应于仅第一刻的比较，因此可能不足以反映治疗效果的全部情况。作为替代方案，估计全部潜在结果分布可以提供更多的见解。但是，估计治疗效果的现有方法潜在的结果分布通常对这些分布施加限制性或简单的假设。在这里，我们提出了合作因果网络（CCN），这是一种新颖的方法，它通过学习全部潜在结果分布而超出了CATE的估计。通过CCN框架估算结果分布不需要对基础数据生成过程的限制性假设。此外，CCN促进了每种可能处理的效用的估计，并允许通过效用函数进行特定的特定变异。 CCN不仅将结果估计扩展到传统的风险差异之外，而且还可以通过定义灵活的比较来实现更全面的决策过程。根据因果文献中通常做出的假设，我们表明CCN学习了渐近捕获真正潜在结果分布的分布。此外，我们提出了一种调整方法，该方法在经验上可以有效地减轻观察数据中治疗组之间的样本失衡。最后，我们评估了CCN在多个合成和半合成实验中的性能。我们证明，与现有的贝叶斯和深层生成方法相比，CCN学会了改进的分布估计值，以及对各种效用功能的改进决策。

This invited review discusses causal learning in the context of robotic intelligence. The paper introduced the psychological findings on causal learning in human cognition, then it introduced the traditional statistical solutions on causal discovery and causal inference. The paper reviewed recent deep causal learning algorithms with a focus on their architectures and the benefits of using deep nets and discussed the gap between deep causal learning and the needs of robotic intelligence.

对于许多具有观察数据的生物医学应用，估计治疗效果至关重要。特别是，对于许多生物医学研究人员来说，可解释性可解释性。在本文中，我们首先提供理论分析，并在强大的无知性假设下获得平均治疗效果（ATE）估计的偏差的上限。通过利用加权能量距离的吸引力性能得出，我们的上限比文献中报道的更紧密。在理论分析的激励下，我们提出了一个新的目标函数，用于估计使用能量距离平衡评分的ATE，因此不需要正确规范倾向得分模型。我们还利用最近开发的神经添加剂模型来改善用于潜在结果预测的深度学习模型的可解释性。我们通过能量距离平衡评分加权正则化进一步增强了我们提出的模型。在半合成实验中，使用两个基准数据集（即IHDP和ACIC）证明了我们提出的模型比当前最新方法的优势。

在许多现实世界应用中，例如市场和医学，基于短期替代物的长期因果影响是一个重大但具有挑战性的问题。尽管在某些领域取得了成功，但大多数现有方法以理想主义和简单的方式估算了因果影响 - 忽略了短期结果之间的因果结构，而将所有这些因果关系视为代孕。但是，这种方法不能很好地应用于现实世界中，其中部分观察到的替代物与短期结局中的代理混合在一起。为此，我们开发了灵活的方法激光器，以估计在更现实的情况下观察或观察到代理的更现实的情况。 （ivae）在所有候选者上恢复所有有效的替代物，而无需区分观察到的替代物或潜在代理人的代理。在回收的替代物的帮助下，我们进一步设计了对长期因果影响的公正估计。关于现实世界和半合成数据集的广泛实验结果证明了我们提出的方法的有效性。

估计空间变化的干预对空间变化结果的因果影响可能会受到非本地混杂（NLC）的影响，这种现象可能会估计给定单位的处理和结果部分由协方差估计。附近的其他单元。特别是，NLC是评估环境政策和气候事件对健康相关结果（例如空气污染暴露）的影响的挑战。本文首先使用潜在结果框架对NLC进行正式化，从而与因果干扰的相关现象进行了比较。然后，它提出了一个称为“ weather2vec”的广泛适用框架，该框架使用平衡分数理论来学习非本地信息的表示形式，以定义为每个观察单元定义的标量或向量使用因果推理方法。该框架在一项仿真研究和两项关于空气污染的案例研究中进行了评估，天气是（本质上是区域）已知的混杂因素。

因果推断是在采用干预时估计因果关系中的因果效应。确切地说，在具有二进制干预措施的因果模型中，即控制和治疗，因果效应仅仅是事实和反事实之间的差异。困难是必须估算反事实，因此因果效应只能是估计。估计反事实的主要挑战是确定影响结果和治疗的混杂因素。一种典型的方法是将因果推论作为监督学习问题，因此可以预测反事实。包括线性回归和深度学习模型，最近的机器学习方法已适应因果推断。在本文中，我们提出了一种通过使用变分信息瓶颈（CEVIB）来估计因果效应的方法。有希望的点是，VIB能够自然地将变量从数据中蒸馏出来，从而可以通过使用观察数据来估计因果效应。我们通过将CEVIB应用于三个数据集，表明我们的方法实现了最佳性能，将其应用于其他方法。我们还实验表明了我们方法的鲁棒性。