药物的因果模型已用于分析机器学习系统的安全性方面。但是，识别代理是非平凡的 - 通常只是由建模者假设而没有太多理由来实现因果模型 - 建模失败可能会导致安全分析中的错误。本文提出了对代理商的第一个正式因果定义 - 大约是代理人是制度，如果他们的行为以不同的方式影响世界，则可以改善其政策。由此，我们得出了第一个用于从经验数据中发现代理的因果发现算法，并提供了用于在因果模型和游戏理论影响图之间转换的算法。我们通过解决不正确的因果模型引起的一些混乱来证明我们的方法。

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.

也称为（非参数）结构方程模型（SEMS）的结构因果模型（SCM）被广泛用于因果建模目的。特别是，也称为递归SEM的无循环SCMS，形成了一个研究的SCM的良好的子类，概括了因果贝叶斯网络来允许潜在混淆。在本文中，我们调查了更多普通环境中的SCM，允许存在潜在混杂器和周期。我们展示在存在周期中，无循环SCM的许多方便的性质通常不会持有：它们并不总是有解决方案;它们并不总是诱导独特的观察，介入和反事实分布;边缘化并不总是存在，如果存在边缘模型并不总是尊重潜在的投影;他们并不总是满足马尔可夫财产;他们的图表并不总是与他们的因果语义一致。我们证明，对于SCM一般，这些属性中的每一个都在某些可加工条件下保持。我们的工作概括了SCM的结果，迄今为止仅针对某些特殊情况所知的周期。我们介绍了将循环循环设置扩展到循环设置的简单SCM的类，同时保留了许多方便的无环SCM的性能。用本文，我们的目标是为SCM提供统计因果建模的一般理论的基础。

一个令人着迷的假设是，人类和动物的智力可以通过一些原则（而不是启发式方法的百科全书清单）来解释。如果这个假设是正确的，我们可以更容易地理解自己的智能并建造智能机器。就像物理学一样，原理本身不足以预测大脑等复杂系统的行为，并且可能需要大量计算来模拟人类式的智力。这一假设将表明，研究人类和动物所剥削的归纳偏见可以帮助阐明这些原则，并为AI研究和神经科学理论提供灵感。深度学习已经利用了几种关键的归纳偏见，这项工作考虑了更大的清单，重点是关注高级和顺序有意识的处理的工作。阐明这些特定原则的目的是，它们有可能帮助我们建立从人类的能力中受益于灵活分布和系统概括的能力的AI系统，目前，这是一个领域艺术机器学习和人类智力。

基于AI和机器学习的决策系统已在各种现实世界中都使用，包括医疗保健，执法，教育和金融。不再是牵强的，即设想一个未来，自治系统将推动整个业务决策，并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时，不公平和歧视的问题普遍存在，并且当使用几乎没有透明度，问责制和公平性的机器做出决定时（或可能会放大）。在本文中，我们介绍了\ textit {Causal公平分析}的框架，目的是填补此差距，即理解，建模，并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集，这些机制首先会产生差异，挑战我们称之为因果公平的基本问题分析（FPCFA）。为了解决FPCFA，我们研究了分解差异和公平性的经验度量的问题，将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图，这是组织和解释文献中不同标准之间关系的首次系统尝试。最后，我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设，该假设使数据科学家能够评估不同影响和不同治疗的存在。

This review presents empirical researchers with recent advances in causal inference, and stresses the paradigmatic shifts that must be undertaken in moving from traditional statistical analysis to causal analysis of multivariate data. Special emphasis is placed on the assumptions that underly all causal inferences, the languages used in formulating those assumptions, the conditional nature of all causal and counterfactual claims, and the methods that have been developed for the assessment of such claims. These advances are illustrated using a general theory of causation based on the Structural Causal Model (SCM) described in Pearl (2000a), which subsumes and unifies other approaches to causation, and provides a coherent mathematical foundation for the analysis of causes and counterfactuals. In particular, the paper surveys the development of mathematical tools for inferring (from a combination of data and assumptions) answers to three types of causal queries: (1) queries about the effects of potential interventions, (also called "causal effects" or "policy evaluation") (2) queries about probabilities of counterfactuals, (including assessment of "regret," "attribution" or "causes of effects") and (3) queries about direct and indirect effects (also known as "mediation"). Finally, the paper defines the formal and conceptual relationships between the structural and potential-outcome frameworks and presents tools for a symbiotic analysis that uses the strong features of both.

本文有助于将读者介绍到多功能增强学习（MARL）领域及其与因果关系研究的方法的交叉。我们突出了Marl中的关键挑战，并在因因果方法如何协助解决它们的情况下讨论这些问题。我们促进了对Marl的'因果首先'的透视。具体而言，我们认为因果关系可以提高安全性，可解释性和稳健性，同时还为紧急行为提供了强烈的理论保障。我们讨论潜在的挑战解决方案，并使用这种背景激励未来的研究方向。

常用图是表示和可视化因果关系的。对于少量变量，这种方法提供了简洁和清晰的方案的视图。随着下属的变量数量增加，图形方法可能变得不切实际，并且表示的清晰度丢失。变量的聚类是减少因果图大小的自然方式，但如果任意实施，可能会错误地改变因果关系的基本属性。我们定义了一种特定类型的群集，称为Transit Cluster，保证在某些条件下保留因果效应的可识别性属性。我们提供了一种用于在给定图中查找所有传输群集的声音和完整的算法，并演示集群如何简化因果效应的识别。我们还研究了逆问题，其中一个人以群集的图形开始，寻找扩展图，其中因果效应的可识别性属性保持不变。我们表明这种结构稳健性与过境集群密切相关。

因果关系是理解世界的科学努力的基本组成部分。不幸的是，在心理学和社会科学中，因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性，我们重新制定了心理学研究方法的典型方法，以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程，该过程始于从因果发现和机器学习的融合中纳入技术的发展，验证和透明的理论形式规范。然后，我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里，我们确定利息量是否可以从数据中估算出来，如果是的，则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道，该管道可以（a）促进与测试因果理论的愿望兼容的科学询问（b）鼓励我们的理论透明代表作为明确的数学对象，（c）将我们的统计模型绑定到我们的统计模型中该理论的特定属性，因此减少了理论到模型间隙通常引起的规范不足问题，以及（d）产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程，我们以摘要和讨论来结论。

我们提出了普遍因果关系，这是一个基于类别理论的总体框架，该框架定义了基于因果推理的普遍特性，该属性独立于所使用的基本代表性形式主义。更正式的是，普遍的因果模型被定义为由对象和形态组成的类别，它们代表因果影响，以及进行干预措施（实验）和评估其结果（观察）的结构。函子在类别之间的映射和自然变换映射在相同两个类别的一对函子之间。我们框架中的抽象因果图是使用类别理论的通用构造构建的，包括抽象因果图的限制或共限制，或更普遍的KAN扩展。我们提出了普遍因果推断的两个基本结果。第一个结果称为普遍因果定理（UCT），与图的通用性有关，这些结果被视为函数映射对象和关系从抽象因果图的索引类别到一个实际因果模型，其节点由随机变量标记为实际因果模型和边缘代表功能或概率关系。 UCT指出，任何因果推论都可以以规范的方式表示为代表对象的抽象因果图的共同限制。 UCT取决于滑轮理论的基本结果。第二个结果是因果繁殖特性（CRP），指出对象x对另一个对象y的任何因果影响都可以表示为两个抽象因果图之间的自然转化。 CRP来自Yoneda引理，这是类别理论中最深层的结果之一。 CRP属性类似于复制元素希尔伯特空间中的繁殖属性，该元素是机器学习中内核方法的基础。

动态系统中的完美适应性是一个或多个变量具有对外部刺激的持续变化的初始短暂响应的现象，但随着系统收敛到平衡，其原始值还原为原始值。借助因果有序算法，可以构建代表变量之间的因果关系和平衡分布中条件独立性之间的因果关系的图形表示。我们应用这些工具来制定足够的图形条件，以识别一组一阶微分方程的完美适应。此外，我们提供了足够的条件来测试实验平衡数据中完美适应的情况。我们将此方法应用于蛋白质信号通路的简单模型，并在模拟和使用现实世界中的蛋白质表达数据中测试其预测。我们证明，完美的适应会导致因果发现算法输出中边缘的误导方向。

In this review, we discuss approaches for learning causal structure from data, also called causal discovery. In particular, we focus on approaches for learning directed acyclic graphs (DAGs) and various generalizations which allow for some variables to be unobserved in the available data. We devote special attention to two fundamental combinatorial aspects of causal structure learning. First, we discuss the structure of the search space over causal graphs. Second, we discuss the structure of equivalence classes over causal graphs, i.e., sets of graphs which represent what can be learned from observational data alone, and how these equivalence classes can be refined by adding interventional data.

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

儿童学习的常见方式之一是模仿成年人。模仿学习的重点是从专家产生的示威，没有指定的绩效指标和未观察到的奖励信号的示威中进行的学习政策。模仿学习的流行方法首先直接模仿专家的行为政策（行为克隆）或学习优先考虑观察到的专家轨迹（逆强化学习）的奖励功能。但是，这些方法依赖于以下假设：专家用来确定其行为的协变量得到了完全观察。在本文中，当学习者和专家的感觉输入不同时，我们将放松这一假设和学习模仿学习。首先，我们提供了一个非参数，图形标准，该标准是从示范数据的组合和关于基础环境的定性假设组合来确定模仿的可行性的，该标准以因果模型的形式表示。然后，我们表明，当这种标准不满足时，通过利用专家轨迹的定量知识，模仿仍然可以是可行的。最后，我们开发了一个有效的程序，可以从专家的轨迹中学习模仿政策。

数据科学任务可以被视为了解数据的感觉或测试关于它的假设。从数据推断的结论可以极大地指导我们做出信息做出决定。大数据使我们能够与机器学习结合执行无数的预测任务，例如鉴定患有某种疾病的高风险患者并采取可预防措施。然而，医疗保健从业者不仅仅是仅仅预测的内容 - 它们也对输入特征和临床结果之间的原因关系感兴趣。了解这些关系将有助于医生治疗患者并有效降低风险。通常通过随机对照试验鉴定因果关系。当科学家和研究人员转向观察研究并试图吸引推论时，这种试验通常是不可行的。然而，观察性研究也可能受到选择和/或混淆偏差的影响，这可能导致错误的因果结论。在本章中，我们将尝试突出传统机器学习和统计方法中可能出现的一些缺点，以分析观察数据，特别是在医疗保健数据分析域中。我们将讨论因果化推理和方法，以发现医疗领域的观测研究原因。此外，我们将展示因果推断在解决某些普通机器学习问题等中的应用，例如缺少数据和模型可运输性。最后，我们将讨论将加强学习与因果关系相结合的可能性，作为反击偏见的一种方式。

在本文中，我们通过将新颖的网络安全模拟器与（因果关系）通过优化统一统一，探索网络安全辩护。特别注意最近发表的方法：动态因果贝叶斯优化（DCBO）。我们建议，当提供模拟网络的视图以及红色代理如何在该网络中传播的因果模型时，DCBO可以充当蓝色代理。为了研究DCBO如何对主机节点执行最佳干预措施，以降低红色代理引起的入侵成本。通过此，我们证明了一个完整的网络模拟系统，我们用来生成DCBO的观察数据并提供数值定量结果，从而为未来的工作奠定了基础。

因果表示学习是识别基本因果变量及其从高维观察（例如图像）中的关系的任务。最近的工作表明，可以从观测的时间序列中重建因果变量，假设它们之间没有瞬时因果关系。但是，在实际应用中，我们的测量或帧速率可能比许多因果效应要慢。这有效地产生了“瞬时”效果，并使以前的可识别性结果无效。为了解决这个问题，我们提出了ICITRI，这是一种因果表示学习方法，当具有已知干预目标的完美干预措施时，可以在时间序列中处理瞬时效应。 Icitris从时间观察中识别因果因素，同时使用可区分的因果发现方法来学习其因果图。在三个视频数据集的实验中，Icitris准确地识别了因果因素及其因果图。

有良好的因果建模框架，但是这些框架需要许多人类领域的专业知识来定义因果变量并执行干预措施。为了使自主代理通过互动经验学习抽象的因果模型，需要扩展和澄清现有的理论基础。现有框架没有关于可变选择 /表示形式的指导，更重要的是，没有迹象表明国家空间的行为政策或物理转换不得将其视为干预措施。本文中概述的框架将动作描述为状态空间的转换，例如由运行策略的代理引起的。这使得以统一的方式描述了微型状态空间的转换及其抽象模型，并说后者何时是垂直 /接地 /自然的。然后，我们介绍（因果）变量，将机制定义为不变的预测因子，并说何时可以将动作视为``手术干预''，从而将因果关系和干预技能学习的目标带入了更清晰的焦点。

We explore how observational and interventional causal discovery methods can be combined. A state-of-the-art observational causal discovery algorithm for time series capable of handling latent confounders and contemporaneous effects, called LPCMCI, is extended to profit from casual constraints found through randomized control trials. Numerical results show that, given perfect interventional constraints, the reconstructed structural causal models (SCMs) of the extended LPCMCI allow 84.6% of the time for the optimal prediction of the target variable. The implementation of interventional and observational causal discovery is modular, allowing causal constraints from other sources. The second part of this thesis investigates the question of regret minimizing control by simultaneously learning a causal model and planning actions through the causal model. The idea is that an agent to optimize a measured variable first learns the system's mechanics through observational causal discovery. The agent then intervenes on the most promising variable with randomized values allowing for the exploitation and generation of new interventional data. The agent then uses the interventional data to enhance the causal model further, allowing improved actions the next time. The extended LPCMCI can be favorable compared to the original LPCMCI algorithm. The numerical results show that detecting and using interventional constraints leads to reconstructed SCMs that allow 60.9% of the time for the optimal prediction of the target variable in contrast to the baseline of 53.6% when using the original LPCMCI algorithm. Furthermore, the induced average regret decreases from 1.2 when using the original LPCMCI algorithm to 1.0 when using the extended LPCMCI algorithm with interventional discovery.

Pearl's Do Colculus是一种完整的公理方法，可以从观察数据中学习可识别的因果效应。如果无法识别这种效果，则有必要在系统中执行经常昂贵的干预措施以学习因果效应。在这项工作中，我们考虑了设计干预措施以最低成本来确定所需效果的问题。首先，我们证明了这个问题是NP-HARD，随后提出了一种可以找到最佳解或对数因子近似值的算法。这是通过在我们的问题和最小击球设置问题之间建立联系来完成的。此外，我们提出了几种多项式启发式算法来解决问题的计算复杂性。尽管这些算法可能会偶然发现亚最佳解决方案，但我们的模拟表明它们在随机图上产生了小的遗憾。