由于混淆偏差，测量在观察研究中的治疗效果是挑战性的。当变量影响治疗和结果时发生混淆。传统方法，如倾向评分匹配通过对混凝剂的调节来匹配估计治疗效果。最近的文献介绍了使用机器学习来预测观察研究中的反事实的新方法，然后允许估计治疗效果。然而，这些研究已经应用于真正的治疗效果尚未知道的真实世界数据。本研究旨在通过模拟两个主要场景来研究这种反事实预测方法的有效性：随着和不混淆。每种类型还包括输入和输出数据之间的线性和非线性关系。模拟中的关键项目是我们生成了已知的真正因果效果。线性回归，套索回归和随机林模型用于预测反事实和治疗效果。将这些与真实的治疗效果相比以及幼稚的治疗效果进行比较。结果表明，本机学习方法是否表现良好的最重要因素，是数据中的非线性度。令人惊讶的是，对于非混淆\纺织{和}混淆，机器学习模型都在线性数据集进行了良好。然而，当引入非线性时，模型非常差。因此，在该仿真研究的条件下，即使存在混淆，机器学习方法也在线性的条件下表现良好，但是在存在混淆时，但在介绍非线性时，在此阶段不应该信任。

因果推断能够估计治疗效果（即，治疗结果的因果效果），使各个领域的决策受益。本研究中的一个基本挑战是观察数据的治疗偏见。为了提高对因果推断的观察研究的有效性，基于代表的方法作为最先进的方法表明了治疗效果估计的卓越性能。基于大多数基于表示的方法假设所有观察到的协变量都是预处理的（即，不受治疗影响的影响），并学习这些观察到的协变量的平衡表示，以估算治疗效果。不幸的是，这种假设往往在实践中往往是太严格的要求，因为一些协调因子是通过对治疗的干预进行改变（即，后治疗）来改变。相比之下，从不变的协变量中学到的平衡表示因此偏置治疗效果估计。

大型观察数据越来越多地提供健康，经济和社会科学等学科，研究人员对因果问题而不是预测感兴趣。在本文中，从旨在调查参与学校膳食计划对健康指标的实证研究，研究了使用非参数回归的方法估算异质治疗效果的问题。首先，我们介绍了与观察或非完全随机数据进行因果推断相关的设置和相关的问题，以及如何在统计学习工具的帮助下解决这些问题。然后，我们审查并制定现有最先进的框架的统一分类，允许通过非参数回归模型来估算单个治疗效果。在介绍模型选择问题的简要概述后，我们说明了一些关于三种不同模拟研究的方法的性能。我们通过展示一些关于学校膳食计划数据的实证分析的一些方法的使用来结束。

细菌感染负责全球高死亡率。感染潜在的抗菌素耐药性，多方面的患者的临床状况会阻碍正确选择抗生素治疗。随机临床试验提供了平均治疗效果估计值，但对于治疗选择的风险分层和优化，即个性化治疗效果（ITE）并不理想。在这里，我们利用了从美国南部学术诊所收集的大规模电子健康记录数据，模仿临床试验，即“目标试验”，并为诊断患有急性细菌的患者开发了死亡率预测和ITE估计的机器学习模型皮肤和皮肤结构感染（ABSSI）是由于金黄色葡萄球菌（MRSA）引起的。 ABSSI-MRSA是一个充满挑战的疾病，治疗选择减少 - 万古霉素是首选的选择，但它具有不可忽略的副作用。首先，我们使用倾向评分匹配来模仿试验并创建随机治疗（万古霉素与其他抗生素）数据集。接下来，我们使用此数据来训练各种机器学习方法（包括增强/Lasso Logistic回归，支持向量机和随机森林），并通过引导验证选择接收器特征（AUC）下的面积最佳模型。最后，我们使用这些模型来计算ITE并通过改变治疗的变化来避免死亡。排出外测试表明，SVM和RF是最准确的，AUC分别为81％和78％，但BLR/Lasso不远（76％）。通过使用BLR/Lasso计算反事实，万古霉素增加了死亡的风险，但显示出很大的变化（优势比1.2，95％范围0.4-3.8），对结果概率的贡献是适度的。取而代之的是，RF在ITE中表现出更大的变化，表明更复杂的治疗异质性。

在许多学科中，异质治疗效果（HTE）的估计至关重要，从个性化医学到经济学等等。在随机试验和观察性研究中，随机森林已被证明是一种灵活而有力的HTE估计方法。尤其是Athey，Tibshirani和Wager（2019）引入的“因果森林”，以及包装GRF中的R实施。 Seibold，Zeileis和Hothorn（2018）引入了一种称为“基于模型的森林”的相关方法，该方法旨在随机试验，并同时捕获预后和预测变量的效果，并在R包装模型中进行模块化实现。 。在这里，我们提出了一种统一的观点，它超出了理论动机，并研究了哪些计算元素使因果森林如此成功，以及如何将它们与基于模型的森林的优势融合在一起。为此，我们表明，可以通过相同的参数和L2损耗下加性模型的模型假设来理解这两种方法。这种理论上的见解使我们能够实施“基于模型的因果林”的几种口味，并在计算机中剖析其不同元素。将原始的因果森林和基于模型的森林与基准研究中的新混合版本进行了比较，该研究探讨了随机试验和观察环境。在随机设置中，两种方法都执行了AKIN。如果在数据生成过程中存在混淆，我们发现与相应倾向的治疗指标的局部核心是良好性能的主要驱动力。结果的局部核心不太重要，并且可以通过相对于预后和预测效应的同时拆分选择来代替或增强。

为目标疾病开发新药物是一项耗时且昂贵的任务，药物重新利用已成为药物开发领域的流行话题。随着许多健康索赔数据可用，已经对数据进行了许多研究。现实世界的数据嘈杂，稀疏，并且具有许多混杂因素。此外，许多研究表明，药物的作用在人群中是异质的。近年来已经出现了许多有关估计异构治疗效果（HTE）（HTE）的高级机器学习模型，并已应用于计量经济学和机器学习社区。这些研究将医学和药物开发视为主要应用领域，但是从HTE方法论到药物开发的转化研究有限。我们旨在将HTE方法介绍到医疗保健领域，并在通过基准实验进行医疗保健行政索赔数据进行基准实验时提供可行性考虑。另外，我们希望使用基准实验来展示如何将模型应用于医疗保健研究时如何解释和评估模型。通过将最近的HTE技术引入生物医学信息学社区的广泛读者，我们希望通过机器学习促进广泛采用因果推断。我们还希望提供HTE具有个性化药物有效性的可行性。

Causal learning is the key to obtaining stable predictions and answering \textit{what if} problems in decision-makings. In causal learning, it is central to seek methods to estimate the average treatment effect (ATE) from observational data. The Double/Debiased Machine Learning (DML) is one of the prevalent methods to estimate ATE. However, the DML estimators can suffer from an \textit{error-compounding issue} and even give extreme estimates when the propensity scores are close to 0 or 1. Previous studies have overcome this issue through some empirical tricks such as propensity score trimming, yet none of the existing works solves it from a theoretical standpoint. In this paper, we propose a \textit{Robust Causal Learning (RCL)} method to offset the deficiencies of DML estimators. Theoretically, the RCL estimators i) satisfy the (higher-order) orthogonal condition and are as \textit{consistent and doubly robust} as the DML estimators, and ii) get rid of the error-compounding issue. Empirically, the comprehensive experiments show that: i) the RCL estimators give more stable estimations of the causal parameters than DML; ii) the RCL estimators outperform traditional estimators and their variants when applying different machine learning models on both simulation and benchmark datasets, and a mimic consumer credit dataset generated by WGAN.

R包Doubleml实现了Chernozhukov等人的双重/辩护机器学习框架。 （2018）。它提供了基于机器学习方法的因果模型中估计参数的功能。双机器学习框架由三个关键成分组成：Neyman正交性，高质量的机器学习估计和样品拆分。可以通过MLR3生态系统中可用的各种最新机器学习方法来执行滋扰组件的估计。 Doubleml使得可以在各种因果模型中进行推断，包括部分线性和交互式回归模型及其扩展到仪器变量估计。 Doubleml的面向对象的实现为模型规范具有很高的灵活性，并使其易于扩展。本文是对双机器学习框架和R软件包DOUBLEML的介绍。在具有模拟和真实数据集的可再现代码示例中，我们演示了Doubleml用户如何基于机器学习方法执行有效的推断。

Causal inference is the process of using assumptions, study designs, and estimation strategies to draw conclusions about the causal relationships between variables based on data. This allows researchers to better understand the underlying mechanisms at work in complex systems and make more informed decisions. In many settings, we may not fully observe all the confounders that affect both the treatment and outcome variables, complicating the estimation of causal effects. To address this problem, a growing literature in both causal inference and machine learning proposes to use Instrumental Variables (IV). This paper serves as the first effort to systematically and comprehensively introduce and discuss the IV methods and their applications in both causal inference and machine learning. First, we provide the formal definition of IVs and discuss the identification problem of IV regression methods under different assumptions. Second, we categorize the existing work on IV methods into three streams according to the focus on the proposed methods, including two-stage least squares with IVs, control function with IVs, and evaluation of IVs. For each stream, we present both the classical causal inference methods, and recent developments in the machine learning literature. Then, we introduce a variety of applications of IV methods in real-world scenarios and provide a summary of the available datasets and algorithms. Finally, we summarize the literature, discuss the open problems and suggest promising future research directions for IV methods and their applications. We also develop a toolkit of IVs methods reviewed in this survey at https://github.com/causal-machine-learning-lab/mliv.

Observational studies are rising in importance due to the widespread accumulation of data in fields such as healthcare, education, employment and ecology. We consider the task of answering counterfactual questions such as, "Would this patient have lower blood sugar had she received a different medication?". We propose a new algorithmic framework for counterfactual inference which brings together ideas from domain adaptation and representation learning. In addition to a theoretical justification, we perform an empirical comparison with previous approaches to causal inference from observational data. Our deep learning algorithm significantly outperforms the previous state-of-the-art.

特征选择是机器学习文献中的一个广泛研究的技术，主要目的是识别提供最高预测力的功能的子集。然而，在因果推断中，我们的目标是识别与治疗变量和结果相关联的一组变量（即，混杂器）。在控制混淆变量的同时，有助于我们实现对因果效应的无偏见估计，但最近的研究表明，控制纯粹结果预测因子以及混淆可以降低估计的方差。在本文中，我们提出了一种特异性设计用于因果推理的结果自适应弹性 - 网（OAENET）方法，以选择混淆和结果预测因子，以便包含在倾向得分模型或匹配机制中。 OAENET通过现有方法提供了两个主要优点：它可以在相关数据上表现出，可以应用于任何匹配方法和任何估计。此外，与最先进的方法相比，OAENET正在计算上有效。

绘制因果推断的基本挑战是，任何单位都没有完全观察到反事实。此外，在观察性研究中，治疗分配可能会混淆。在不满足的条件下，已经出现了许多统计方法，这些方法在给定预处理的协变量下，包括基于倾向得分的方法，基于预后分数的方法和双重稳健方法。不幸的是，对于应用研究人员而言，没有“一定大小的”因果方法可以在普遍上表现出色。实际上，因果方法主要根据手工制作的模拟数据进行定量评估。这样的数据产生程序可能具有有限的价值，因为它们通常是现实的风格化模型。它们被简化为障碍性，缺乏现实世界数据的复杂性。对于应用研究人员，了解方法对手头数据的表现效果很好至关重要。我们的工作介绍了基于生成模型的深层框架，以验证因果推理方法。该框架的新颖性源于其产生锚定在观察到的样品的经验分布上的合成数据的能力，因此与后者几乎没有区别。该方法使用户可以为因果效应的形式和幅度指定地面真理，并将偏见作为协变量的功能。因此，模拟数据集用于评估与观察到的样本相似的数据时，各种因果估计方法的潜在性能。我们证明了Credence在广泛的仿真研究中准确评估因果估计技术的相对性能以及来自Lalonde和Project Star研究的两个现实世界数据应用的能力。

Although understanding and characterizing causal effects have become essential in observational studies, it is challenging when the confounders are high-dimensional. In this article, we develop a general framework $\textit{CausalEGM}$ for estimating causal effects by encoding generative modeling, which can be applied in both binary and continuous treatment settings. Under the potential outcome framework with unconfoundedness, we establish a bidirectional transformation between the high-dimensional confounders space and a low-dimensional latent space where the density is known (e.g., multivariate normal distribution). Through this, CausalEGM simultaneously decouples the dependencies of confounders on both treatment and outcome and maps the confounders to the low-dimensional latent space. By conditioning on the low-dimensional latent features, CausalEGM can estimate the causal effect for each individual or the average causal effect within a population. Our theoretical analysis shows that the excess risk for CausalEGM can be bounded through empirical process theory. Under an assumption on encoder-decoder networks, the consistency of the estimate can be guaranteed. In a series of experiments, CausalEGM demonstrates superior performance over existing methods for both binary and continuous treatments. Specifically, we find CausalEGM to be substantially more powerful than competing methods in the presence of large sample sizes and high dimensional confounders. The software of CausalEGM is freely available at https://github.com/SUwonglab/CausalEGM.

内核正规化最小二乘（KRLS）是一种流行的方法，用于灵活估算可能在变量之间具有复杂关系的模型。但是，其对许多研究人员的有用性受到限制，原因有两个。首先，现有的方法不灵活，不允许KRL与理论动机的扩展（例如固定效应或非线性结果）结合使用。其次，对于甚至适度尺寸的数据集，估计在计算上是非常强大的。我们的论文通过引入广义KRL（GKRL）来解决这两种问题。我们注意到，可以将KRLS重新构造为层次模型，从而允许轻松推理和模块化模型构建。在计算上，我们还实施随机草图以显着加速估计，同时估计质量的罚款有限。我们证明，GKRL可以在一分钟内进行数万观察到的数据集中。此外，可以迅速估计需要在十二次（例如元学习者）中安装模型的最新技术。

通常使用参数模型进行经验领域的参数估计，并且此类模型很容易促进统计推断。不幸的是，它们不太可能足够灵活，无法充分建模现实现象，并可能产生偏见的估计。相反，非参数方法是灵活的，但不容易促进统计推断，并且仍然可能表现出残留的偏见。我们探索了影响功能（IFS）的潜力（a）改善初始估计器而无需更多数据（b）增加模型的鲁棒性和（c）促进统计推断。我们首先对IFS进行广泛的介绍，并提出了一种神经网络方法“ Multinet”，该方法使用单个体系结构寻求合奏的多样性。我们还介绍了我们称为“ Multistep”的IF更新步骤的变体，并对不同方法提供了全面的评估。发现这些改进是依赖数据集的，这表明所使用的方法与数据生成过程的性质之间存在相互作用。我们的实验强调了从业人员需要通过不同的估计器组合进行多次分析来检查其发现的一致性。我们还表明，可以改善“自由”的现有神经网络，而无需更多数据，而无需重新训练。

因果推断是在采用干预时估计因果关系中的因果效应。确切地说，在具有二进制干预措施的因果模型中，即控制和治疗，因果效应仅仅是事实和反事实之间的差异。困难是必须估算反事实，因此因果效应只能是估计。估计反事实的主要挑战是确定影响结果和治疗的混杂因素。一种典型的方法是将因果推论作为监督学习问题，因此可以预测反事实。包括线性回归和深度学习模型，最近的机器学习方法已适应因果推断。在本文中，我们提出了一种通过使用变分信息瓶颈（CEVIB）来估计因果效应的方法。有希望的点是，VIB能够自然地将变量从数据中蒸馏出来，从而可以通过使用观察数据来估计因果效应。我们通过将CEVIB应用于三个数据集，表明我们的方法实现了最佳性能，将其应用于其他方法。我们还实验表明了我们方法的鲁棒性。

因果推论在电子商务和精确医学等各个领域都有广泛的应用，其性能在很大程度上取决于对个体治疗效果（ITE）的准确估计。通常，通过在其各个样品空间中分别对处理和控制响应函数进行建模来预测ITE。但是，这种方法通常会在实践中遇到两个问题，即治疗偏见引起的治疗组和对照组之间的分布分布以及其人口规模的显着样本失衡。本文提出了深层的整个空间跨网络（DESCN），以从端到端的角度进行建模治疗效果。 DESCN通过多任务学习方式捕获了治疗倾向，反应和隐藏治疗效果的综合信息。我们的方法共同学习了整个样品空间中的治疗和反应功能，以避免治疗偏见，并采用中间伪治疗效应预测网络来减轻样品失衡。从电子商务凭证分销业务的合成数据集和大规模生产数据集进行了广泛的实验。结果表明，DESCN可以成功提高ITE估计的准确性并提高提升排名的性能。发布生产数据集和源代码的样本是为了促进社区的未来研究，据我们所知，这是首个大型公共偏见的因果推理数据集。

为了进一步开发异构治疗效果的统计推理问题，本文在Breiman（2001）随机林树（RFT）和Wager等人的情况下建立了使用古典的优秀统计属性来参数化非参数问题的（2018）因果树。oLs和基于协变量分数的局部线性间隔的划分，同时保留随机林树木，具有可构造的置信区间和渐近常数特性的优势[athey和Imbens（2016），efron（2014），赌第等（2014年）\ citep {wagert2014Asymptotic}，我们根据固定规则提出了一个决策树，根据固定规则与本地样本的多项式估计相结合，我们称之为临时局部线性因果树（QLPRT）和林（QLPRF）。

The widely used 'Counterfactual' definition of Causal Effects was derived for unbiasedness and accuracy - and not generalizability. We propose a simple definition for the External Validity (EV) of Interventions and Counterfactuals. The definition leads to EV statistics for individual counterfactuals, and to non-parametric effect estimators for sets of counterfactuals (i.e., for samples). We use this new definition to discuss several issues that have baffled the original counterfactual formulation: out-of-sample validity, reliance on independence assumptions or estimation, concurrent estimation of multiple effects and full-models, bias-variance tradeoffs, statistical power, omitted variables, and connections to current predictive and explaining techniques. Methodologically, the definition also allows us to replace the parametric, and generally ill-posed, estimation problems that followed the counterfactual definition by combinatorial enumeration problems in non-experimental samples. We use this framework to generalize popular supervised, explaining, and causal-effect estimators, improving their performance across three dimensions (External Validity, Unconfoundness and Accuracy) and enabling their use in non-i.i.d. samples. We demonstrate gains over the state-of-the-art in out-of-sample prediction, intervention effect prediction and causal effect estimation tasks. The COVID19 pandemic highlighted the need for learning solutions to provide general predictions in small samples - many times with missing variables. We also demonstrate applications in this pressing problem.

估算干预措施对患者结果的影响是个性化医学的关键方面之一。他们的推断经常受到训练数据仅包括给药治疗的结果，而不是用于替代治疗（所谓的反事实结果）。基于观察数据的这种情况，即〜对于连续和二进制结果变量，不适用干预的数据，建议了几种方法。然而，患者结果通常以时间对次的数据记录，如果在观察期内未发生事件，则包括右审查的事件时间。尽管他们的重要性巨大，时间令人难度的数据很少用于治疗优化。我们建议一种名为Bites的方法（用于存活数据的平衡个体治疗效果），其将特定的半导体Cox损耗与治疗平衡的深神经网络相结合;即，我们使用积分概率度量（IPM）正常化治疗和未治疗的患者之间的差异。我们在仿真研究中展示了这种方法优于现有技术。此外，我们在应用于乳腺癌患者队列的应用中证明可以基于六个常规参数进行激素治疗。我们成功验证了独立的队列中的这一发现。提供叮咬作为易于使用的Python实现。