有条件的随机测试（CRTS）评估了一个变量$ x $是否可以预测另一个变量$ y $，因为观察到了协变量$ z $。 CRT需要拟合大量的预测模型，这通常在计算上是棘手的。降低CRT成本的现有解决方案通常将数据集分为火车和测试部分，或者依靠启发式方法进行互动，这两者都会导致权力损失。我们提出了脱钩的独立性测试（饮食），该算法通过利用边际独立性统计数据来测试条件独立关系来避免这两个问题。饮食测试两个随机变量的边际独立性：$ f（x \ hid z）$和$ f（y \ mid z）$，其中$ f（\ cdot \ mid z）$是有条件的累积分配功能（CDF）。这些变量称为“信息残差”。我们为饮食提供足够的条件，以实现有限的样本类型误差控制和大于1型错误率的功率。然后，我们证明，在使用信息残差之间的相互信息作为测试统计数据时，饮食会产生最强大的有条件测试。最后，我们显示出比几个合成和真实基准测试的其他可处理的CRT的饮食能力更高。

Testing the significance of a variable or group of variables $X$ for predicting a response $Y$, given additional covariates $Z$, is a ubiquitous task in statistics. A simple but common approach is to specify a linear model, and then test whether the regression coefficient for $X$ is non-zero. However, when the model is misspecified, the test may have poor power, for example when $X$ is involved in complex interactions, or lead to many false rejections. In this work we study the problem of testing the model-free null of conditional mean independence, i.e. that the conditional mean of $Y$ given $X$ and $Z$ does not depend on $X$. We propose a simple and general framework that can leverage flexible nonparametric or machine learning methods, such as additive models or random forests, to yield both robust error control and high power. The procedure involves using these methods to perform regressions, first to estimate a form of projection of $Y$ on $X$ and $Z$ using one half of the data, and then to estimate the expected conditional covariance between this projection and $Y$ on the remaining half of the data. While the approach is general, we show that a version of our procedure using spline regression achieves what we show is the minimax optimal rate in this nonparametric testing problem. Numerical experiments demonstrate the effectiveness of our approach both in terms of maintaining Type I error control, and power, compared to several existing approaches.

随着混凝剂的数量增加，因果推理越来越复杂。给定护理$ x $，混淆器$ z $和结果$ y $，我们开发一个非参数方法来测试\ texit {do-null}假设$ h_0：\; p（y | \ text {\它do}（x = x））= p（y）$违反替代方案。在Hilbert Schmidt独立性标准（HSIC）上进行边缘独立性测试，我们提出了后门 - HSIC（BD-HSIC）并证明它被校准，并且在大量混淆下具有二元和连续治疗的力量。此外，我们建立了BD-HSIC中使用的协方差运算符的估计的收敛性质。我们研究了BD-HSIC对参数测试的优点和缺点以及与边缘独立测试或有条件独立测试相比使用DO-NULL测试的重要性。可以在\超链接{https:/github.com/mrhuff/kgformula} {\ texttt {https://github.com/mrhuff/kgformula}}完整的实现。

在本文中，我们研究了高维条件独立测试，统计和机器学习中的关键构建块问题。我们提出了一种基于双生成对抗性网络（GANS）的推理程序。具体来说，我们首先介绍双GANS框架来学习两个发电机的条件分布。然后，我们将这两个生成器集成到构造测试统计，这采用多个转换函数的广义协方差措施的最大形式。我们还采用了数据分割和交叉拟合来最小化发电机上的条件，以实现所需的渐近属性，并采用乘法器引导来获得相应的$ P $ -Value。我们表明，构造的测试统计数据是双重稳健的，并且由此产生的测试既逆向I误差，并具有渐近的电源。同样的是，与现有测试相比，我们建立了较弱和实际上更可行的条件下的理论保障，我们的提案提供了如何利用某些最先进的深层学习工具（如GAN）的具体示例帮助解决古典但具有挑战性的统计问题。我们通过模拟和应用于抗癌药物数据集来证明我们的测试的疗效。在https://github.com/tianlinxu312/dgcit上提供了所提出的程序的Python实现。

In high dimensional variable selection problems, statisticians often seek to design multiple testing procedures controlling the false discovery rate (FDR) and simultaneously discovering more relevant variables. Model-X methods, such as Knockoffs and conditional randomization tests, achieve the first goal of finite-sample FDR control under the assumption of known covariates distribution. However, it is not clear whether these methods can concurrently achieve the second goal of maximizing the number of discoveries. In fact, designing procedures to discover more relevant variables with finite-sample FDR control is a largely open question, even in the arguably simplest linear models. In this paper, we derive near-optimal testing procedures in high dimensional Bayesian linear models with isotropic covariates. We propose a Model-X multiple testing procedure, PoEdCe, which provably controls the frequentist FDR from finite samples even under model misspecification, and conjecturally achieves near-optimal power when the data follow the Bayesian linear model with a known prior. PoEdCe has three important ingredients: Posterior Expectation, distilled Conditional randomization test (dCRT), and the Benjamini-Hochberg procedure with e-values (eBH). The optimality conjecture of PoEdCe is based on a heuristic calculation of its asymptotic true positive proportion (TPP) and false discovery proportion (FDP), which is supported by methods from statistical physics as well as extensive numerical simulations. Furthermore, when the prior is unknown, we show that an empirical Bayes variant of PoEdCe still has finite-sample FDR control and achieves near-optimal power.

假设我们观察一个随机向量$ x $从一个具有未知参数的已知家庭中的一些分发$ p $。我们问以下问题：什么时候可以将$ x $分为两部分$ f（x）$和$ g（x）$，使得两部分都足以重建$ x $自行，但两者都可以恢复$ x $完全，$（f（x），g（x））$的联合分布是贸易的吗？作为一个例子，如果$ x =（x_1，\ dots，x_n）$和$ p $是一个产品分布，那么对于任何$ m <n $，我们可以将样本拆分以定义$ f（x）=（x_1 ，\ dots，x_m）$和$ g（x）=（x_ {m + 1}，\ dots，x_n）$。 Rasines和Young（2021）提供了通过使用$ x $的随机化实现此任务的替代路线，并通过加性高斯噪声来实现高斯分布数据的有限样本中的选择后推断和非高斯添加剂模型的渐近。在本文中，我们提供更一般的方法，可以通过借助贝叶斯推断的思路在有限样本中实现这种分裂，以产生（频繁的）解决方案，该解决方案可以被视为数据分裂的连续模拟。我们称我们的方法数据模糊，作为数据分割，数据雕刻和P值屏蔽的替代方案。我们举例说明了一些原型应用程序的方法，例如选择趋势过滤和其他回归问题的选择后推断。

我们在高斯噪声的假设下使用最小的角度回归（LARS）算法来研究多次测试和变量选择。已知LARS制造分段仿射溶液路径，改变点称为Lars路径的结。我们的结果的关键是在Lars选定的变量上有一定数量的结合形式的结缔组织的确切联合法的表达，即Lars结的所谓的选择后联合法。数值实验表明了我们的研究结果的完美契合。本文提出了三个主要贡献。首先，我们在噪声水平可能未知的情况下，建立在常规设计案例中输入模型的变量测试程序。这些测试程序被称为广义$ T $ -Spacing测试（GTST），我们证明它们具有精确的非渐近水平（即，I.，I型错误被完全控制）。这延长了（Taylor等，2014）的工作，其中间距测试适用于连续结和已知方差。其次，我们在一般设计案例中介绍了一个新的精确多个假阴性测试，当噪声水平可能未知时。我们证明，该测试程序具有一般设计和未知噪声水平的完全非渐近水平。第三，我们在正交设计假设下确切地控制了虚假的发现率。提供了Monte Carlo模拟和实际数据实验，以说明我们在这种情况下的结果。基于递归函数，我们介绍了基于递归函数的Lars算法等效制定。

我们提出了一项新的条件依赖度量和有条件独立性的统计检验。该度量基于在有限位置评估的两个合理分布的分析内嵌入之间的差异。我们在条件独立性的无效假设下获得其渐近分布，并从中设计一致的统计检验。我们进行了一系列实验，表明我们的新测试在I型和类型II误差方面都超过了最先进的方法，即使在高维设置中也是如此。

经典的错误发现率（FDR）控制程序提供了强大而可解释的保证，而它们通常缺乏灵活性。另一方面，最近的机器学习分类算法是基于随机森林（RF）或神经网络（NN）的算法，具有出色的实践表现，但缺乏解释和理论保证。在本文中，我们通过引入新的自适应新颖性检测程序（称为Adadetect）来使这两个相遇。它将多个测试文献的最新作品范围扩展到高维度的范围，尤其是Yang等人的范围。 （2021）。显示AD​​ADETECT既可以强烈控制FDR，又具有在特定意义上模仿甲骨文之一的力量。理论结果，几个基准数据集上的数值实验以及对天体物理数据的应用，我们的方法的兴趣和有效性得到了证明。特别是，虽然可以将AdadEtect与任何分类器结合使用，但它在带有RF的现实世界数据集以及带有NN的图像上特别有效。

我们提出了一种基于最大平均差异（MMD）的新型非参数两样本测试，该测试是通过具有不同核带宽的聚合测试来构建的。这种称为MMDAGG的聚合过程可确保对所使用的内核的收集最大化测试能力，而无需持有核心选择的数据（这会导致测试能力损失）或任意内核选择，例如中位数启发式。我们在非反应框架中工作，并证明我们的聚集测试对Sobolev球具有最小自适应性。我们的保证不仅限于特定的内核，而是符合绝对可集成的一维翻译不变特性内核的任何产品。此外，我们的结果适用于流行的数值程序来确定测试阈值，即排列和野生引导程序。通过对合成数据集和现实世界数据集的数值实验，我们证明了MMDAGG优于MMD内核适应的替代方法，用于两样本测试。

检测条件独立性在几个统计和机器学习任务中起着关键作用，尤其是在因果发现算法中。在这项研究中，我们介绍了LCIT（基于潜在的条件独立性检验） - 一种基于表示学习的有条件独立性测试的新型非参数方法。我们的主要贡献涉及提出一个生成框架，在该框架中测试X和Y之间的独立性，我们首先学会推断目标变量X和Y的潜在表示，该代表不包含有关条件变量Z的信息。潜在变量是然后研究了任何剩余的显着依赖性，可以使用常规的部分相关测试进行。经验评估表明，在不同的评估指标下，LCIT始终超过几个最先进的基线，并且能够很好地适应非线性和高维度的各种合成和真实数据集的集合。

Classical asymptotic theory for statistical inference usually involves calibrating a statistic by fixing the dimension $d$ while letting the sample size $n$ increase to infinity. Recently, much effort has been dedicated towards understanding how these methods behave in high-dimensional settings, where $d$ and $n$ both increase to infinity together. This often leads to different inference procedures, depending on the assumptions about the dimensionality, leaving the practitioner in a bind: given a dataset with 100 samples in 20 dimensions, should they calibrate by assuming $n \gg d$, or $d/n \approx 0.2$? This paper considers the goal of dimension-agnostic inference; developing methods whose validity does not depend on any assumption on $d$ versus $n$. We introduce an approach that uses variational representations of existing test statistics along with sample splitting and self-normalization to produce a new test statistic with a Gaussian limiting distribution, regardless of how $d$ scales with $n$. The resulting statistic can be viewed as a careful modification of degenerate U-statistics, dropping diagonal blocks and retaining off-diagonal blocks. We exemplify our technique for some classical problems including one-sample mean and covariance testing, and show that our tests have minimax rate-optimal power against appropriate local alternatives. In most settings, our cross U-statistic matches the high-dimensional power of the corresponding (degenerate) U-statistic up to a $\sqrt{2}$ factor.

Model-X条件随机测试是有条件独立性测试的通用框架，解锁了新的可能性，以发现与感兴趣的响应有条件相关的特征，同时控制I型错误率。该测试的一个吸引力的优势是，它可以与任何机器学习模型一起使用来设计强大的测试统计数据。反过来，Model-X文献中的常见实践是使用机器学习模型形成测试统计量，经过培训，以最大程度地提高预测精度，希望能够获得良好的功率测试。但是，这里的理想目标是推动模型（在训练期间）以最大程度地提高测试功能，而不仅仅是预测精度。在本文中，我们通过首次引入新型模型拟合方案来弥合这一差距，这些方案旨在明确提高Model-X测试的功能。这是通过引入新的成本函数来完成的，该功能旨在最大化用于衡量有条件独立性违反的测试统计量。使用合成和真实的数据集，我们证明了我们提出的损失函数与各种基本预测模型（Lasso，弹性网和深神经网络）的组合始终增加所获得的正确发现的数量，同时维持I型错误率下的I型错误率控制。

当我们对优化模型中的不确定参数进行观察以及对协变量的同时观察时，我们研究了数据驱动决策的优化。鉴于新的协变量观察，目标是选择一个决定以此观察为条件的预期成本的决定。我们研究了三个数据驱动的框架，这些框架将机器学习预测模型集成在随机编程样本平均值近似（SAA）中，以近似解决该问题的解决方案。 SAA框架中的两个是新的，并使用了场景生成的剩余预测模型的样本外残差。我们研究的框架是灵活的，并且可以容纳参数，非参数和半参数回归技术。我们在数据生成过程，预测模型和随机程序中得出条件，在这些程序下，这些数据驱动的SaaS的解决方案是一致且渐近最佳的，并且还得出了收敛速率和有限的样本保证。计算实验验证了我们的理论结果，证明了我们数据驱动的公式比现有方法的潜在优势（即使预测模型被误解了），并说明了我们在有限的数据制度中新的数据驱动配方的好处。

我们在右审查的生存时间和协变量之间介绍一般的非参数独立测试，这可能是多变量的。我们的测试统计数据具有双重解释，首先是潜在无限的重量索引日志秩检验的超级索引，具有属于函数的再现内核HILBERT空间（RKHS）的重量函数;其次，作为某些有限措施的嵌入差异的规范，与Hilbert-Schmidt独立性标准（HSIC）测试统计类似。我们研究了测试的渐近性质，找到了足够的条件，以确保我们的测试在任何替代方案下正确拒绝零假设。可以直截了当地计算测试统计，并且通过渐近总体的野外自注程序进行拒绝阈值。对模拟和实际数据的广泛调查表明，我们的测试程序通常比检测复杂的非线性依赖的竞争方法更好。

由于其出色的经验表现，随机森林是过去十年中使用的机器学习方法之一。然而，由于其黑框的性质，在许多大数据应用中很难解释随机森林的结果。量化各个特征在随机森林中的实用性可以大大增强其解释性。现有的研究表明，一些普遍使用的特征对随机森林的重要性措施遭受了偏见问题。此外，对于大多数现有方法，缺乏全面的规模和功率分析。在本文中，我们通过假设检验解决了问题，并提出了一个自由化特征 - 弥散性相关测试（事实）的框架，以评估具有偏见性属性的随机森林模型中给定特征的重要性，我们零假设涉及该特征是否与所有其他特征有条件地独立于响应。关于高维随机森林一致性的一些最新发展，对随机森林推断的这种努力得到了赋予的能力。在存在功能依赖性的情况下，我们的事实测试的香草版可能会遇到偏见问题。我们利用偏置校正的不平衡和调节技术。我们通过增强功率的功能转换将合奏的想法进一步纳入事实统计范围。在相当普遍的具有依赖特征的高维非参数模型设置下，我们正式确定事实可以提供理论上合理的随机森林具有P值，并通过非催化分析享受吸引人的力量。新建议的方法的理论结果和有限样本优势通过几个模拟示例和与Covid-19的经济预测应用进行了说明。

预测一组结果 - 而不是独特的结果 - 是统计学习中不确定性定量的有前途的解决方案。尽管有关于构建具有统计保证的预测集的丰富文献，但适应未知的协变量转变（实践中普遍存在的问题）还是一个严重的未解决的挑战。在本文中，我们表明具有有限样本覆盖范围保证的预测集是非信息性的，并提出了一种新型的无灵活分配方法PredSet-1Step，以有效地构建了在未知协方差转移下具有渐近覆盖范围保证的预测集。我们正式表明我们的方法是\ textIt {渐近上可能是近似正确}，对大型样本的置信度有很好的覆盖误差。我们说明，在南非队列研究中，它在许多实验和有关HIV风险预测的数据集中实现了名义覆盖范围。我们的理论取决于基于一般渐近线性估计器的WALD置信区间覆盖范围的融合率的新结合。

我们研究了基于内核Stein差异（KSD）的合适性测试的特性。我们介绍了一种构建一个名为KSDAGG的测试的策略，该测试与不同的核聚集了多个测试。 KSDAGG避免将数据分开以执行内核选择（这会导致测试能力损失），并最大程度地提高了核集合的测试功率。我们提供有关KSDAGG的力量的理论保证：我们证明它达到了收集最小的分离率，直到对数期限。可以在实践中准确计算KSDAGG，因为它依赖于参数bootstrap或野生引导程序来估计分位数和级别校正。特别是，对于固定核的带宽至关重要的选择，它避免了诉诸于任意启发式方法（例如中位数或标准偏差）或数据拆分。我们在合成数据和现实世界中发现KSDAGG优于其他基于自适应KSD的拟合优度测试程序。

上下文的强盗和强化学习算法已成功用于各种交互式学习系统，例如在线广告，推荐系统和动态定价。但是，在高风险应用领域（例如医疗保健）中，它们尚未被广泛采用。原因之一可能是现有方法假定基本机制是静态的，因为它们不会在不同的环境上改变。但是，在许多现实世界中，这些机制可能会跨环境变化，这可能使静态环境假设无效。在本文中，考虑到离线上下文匪徒的框架，我们迈出了解决环境转变问题的一步。我们认为环境转移问题通过因果关系的角度，并提出了多种环境的背景匪徒，从而可以改变基本机制。我们采用因果关系文献的不变性概念，并介绍了政策不变性的概念。我们认为，仅当存在未观察到的变量时，政策不变性才有意义，并表明在这种情况下，保证在适当假设下跨环境概括最佳不变政策。我们的结果建立了因果关系，不变性和上下文土匪之间的具体联系。

了解特定待遇或政策与许多感兴趣领域有关的影响，从政治经济学，营销到医疗保健。在本文中，我们开发了一种非参数算法，用于在合成控制的背景下检测随着时间的流逝的治疗作用。该方法基于许多算法的反事实预测，而不必假设该算法正确捕获模型。我们介绍了一种推论程序来检测治疗效果，并表明测试程序对于固定，β混合过程渐近有效，而无需对所考虑的一组基础算法施加任何限制。我们讨论了平均治疗效果估计的一致性保证，并为提出的方法提供了遗憾的界限。算法类别可能包括随机森林，套索或任何其他机器学习估计器。数值研究和应用说明了该方法的优势。