图形神经网络（GNN）在高级AI系统中被广泛采用，因为它们在图形数据上的表示能力。即使GNN的解释对于增加对系统的信任至关重要，但由于GNN执行的复杂性，它也是一项挑战。最近，已经提出了许多工作来解决GNN解释中的一些问题。但是，当图形的大小巨大时，它们缺乏概括能力或遭受计算负担。为了应对这些挑战，我们提出了一个多级GNN解释框架，基于观察到GNN是图形数据中多个组件的多模式学习过程。原始问题的复杂性是通过分解为表示为层次结构的多个子部分来放松的。顶级解释旨在指定每个组件对模型执行和预测的贡献，而细粒度的级别则集中于基于知识蒸馏的特征归因和图形结构归因分析。学生模型接受了独立模式的培训，并负责捕获不同的教师行为，后来用于特定的组成部分。此外，我们还旨在实现个性化的解释，因为该框架可以根据用户偏好产生不同的结果。最后，广泛的实验证明了我们提出的方法的有效性和保真度。

知识蒸馏最近成为一种流行的技术，以改善卷积神经网络的模型泛化能力。然而，它对图形神经网络的影响小于令人满意的，因为图形拓扑和节点属性可能以动态方式改变，并且在这种情况下，静态教师模型引导学生培训不足。在本文中，我们通过在在线蒸馏时期同时培训一组图形神经网络来解决这一挑战，其中组知识发挥作用作为动态虚拟教师，并且有效地捕获了图形神经网络的结构变化。为了提高蒸馏性能，在学生之间转移两种知识，以增强彼此：在图形拓扑和节点属性中反映信息的本地知识，以及反映课程预测的全局知识。随着香草知识蒸馏等，在利用有效的对抗性循环学习框架，将全球知识与KL分歧转移。广泛的实验验证了我们提出的在线对抗蒸馏方法的有效性。

由于学术和工业领域的异质图无处不在，研究人员最近提出了许多异质图神经网络（HGNN）。在本文中，我们不再采用更强大的HGNN模型，而是有兴趣设计一个多功能的插件模块，该模块解释了从预先训练的HGNN中提取的关系知识。据我们所知，我们是第一个在异质图上提出高阶（雇用）知识蒸馏框架的人，无论HGNN的模型体系结构如何，它都可以显着提高预测性能。具体而言，我们的雇用框架最初执行一阶节点级知识蒸馏，该蒸馏曲线及其预测逻辑编码了老师HGNN的语义。同时，二阶关系级知识蒸馏模仿了教师HGNN生成的不同类型的节点嵌入之间的关系相关性。在各种流行的HGNN模型和三个现实世界的异质图上进行了广泛的实验表明，我们的方法获得了一致且相当大的性能增强，证明了其有效性和泛化能力。

Graph Neural Networks (GNNs) have been a prevailing technique for tackling various analysis tasks on graph data. A key premise for the remarkable performance of GNNs relies on complete and trustworthy initial graph descriptions (i.e., node features and graph structure), which is often not satisfied since real-world graphs are often incomplete due to various unavoidable factors. In particular, GNNs face greater challenges when both node features and graph structure are incomplete at the same time. The existing methods either focus on feature completion or structure completion. They usually rely on the matching relationship between features and structure, or employ joint learning of node representation and feature (or structure) completion in the hope of achieving mutual benefit. However, recent studies confirm that the mutual interference between features and structure leads to the degradation of GNN performance. When both features and structure are incomplete, the mismatch between features and structure caused by the missing randomness exacerbates the interference between the two, which may trigger incorrect completions that negatively affect node representation. To this end, in this paper we propose a general GNN framework based on teacher-student distillation to improve the performance of GNNs on incomplete graphs, namely T2-GNN. To avoid the interference between features and structure, we separately design feature-level and structure-level teacher models to provide targeted guidance for student model (base GNNs, such as GCN) through distillation. Then we design two personalized methods to obtain well-trained feature and structure teachers. To ensure that the knowledge of the teacher model is comprehensively and effectively distilled to the student model, we further propose a dual distillation mode to enable the student to acquire as much expert knowledge as possible.

我们研究了图神经网络（GNN）的解释性，作为阐明其工作机制的一步。尽管大多数当前方法都集中在解释图节点，边缘或功能上，但我们认为，作为GNNS的固有功能机制，消息流对执行解释性更为自然。为此，我们在这里提出了一种新颖的方法，即FlowX，以通过识别重要的消息流来解释GNN。为了量化流量的重要性，我们建议遵循合作游戏理论中沙普利价值观的哲学。为了解决计算所有联盟边际贡献的复杂性，我们提出了一个近似方案，以计算类似沙普利的值，作为进一步再分配训练的初步评估。然后，我们提出一种学习算法来训练流量评分并提高解释性。关于合成和现实世界数据集的实验研究表明，我们提出的FlowX导致GNN的解释性提高。

深度学习方法正在实现许多人工智能任务上的不断增长。深层模型的一个主要局限性是它们不适合可解释性。可以通过开发事后技术来解释预测，从而产生解释性领域，从而规避这种限制。最近，关于图像和文本的深层模型的解释性取得了重大进展。在图数据的领域，图形神经网络（GNN）及其解释性正在迅速发展。但是，既没有对GNN解释性方法的统一处理，也没有标准的基准和测试床。在这项调查中，我们提供了当前GNN解释性方法的统一和分类观点。我们对这一主题的统一和分类治疗对现有方法的共同性和差异阐明了灯光，并为进一步的方法论发展奠定了基础。为了促进评估，我们生成了一组专门用于GNN解释性的基准图数据集。我们总结了当前的数据集和指标，以评估GNN的解释性。总的来说，这项工作提供了GNN解释性和评估标准化测试床的统一方法论。

Explaining machine learning models is an important and increasingly popular area of research interest. The Shapley value from game theory has been proposed as a prime approach to compute feature importance towards model predictions on images, text, tabular data, and recently graph neural networks (GNNs) on graphs. In this work, we revisit the appropriateness of the Shapley value for GNN explanation, where the task is to identify the most important subgraph and constituent nodes for GNN predictions. We claim that the Shapley value is a non-ideal choice for graph data because it is by definition not structure-aware. We propose a Graph Structure-aware eXplanation (GStarX) method to leverage the critical graph structure information to improve the explanation. Specifically, we define a scoring function based on a new structure-aware value from the cooperative game theory proposed by Hamiache and Navarro (HN). When used to score node importance, the HN value utilizes graph structures to attribute cooperation surplus between neighbor nodes, resembling message passing in GNNs, so that node importance scores reflect not only the node feature importance, but also the node structural roles. We demonstrate that GStarX produces qualitatively more intuitive explanations, and quantitatively improves explanation fidelity over strong baselines on chemical graph property prediction and text graph sentiment classification.

Graph Neural Networks (GNNs) are a powerful tool for machine learning on graphs. GNNs combine node feature information with the graph structure by recursively passing neural messages along edges of the input graph. However, incorporating both graph structure and feature information leads to complex models and explaining predictions made by GNNs remains unsolved. Here we propose GNNEXPLAINER, the first general, model-agnostic approach for providing interpretable explanations for predictions of any GNN-based model on any graph-based machine learning task. Given an instance, GNNEXPLAINER identifies a compact subgraph structure and a small subset of node features that have a crucial role in GNN's prediction. Further, GNNEXPLAINER can generate consistent and concise explanations for an entire class of instances. We formulate GNNEXPLAINER as an optimization task that maximizes the mutual information between a GNN's prediction and distribution of possible subgraph structures. Experiments on synthetic and real-world graphs show that our approach can identify important graph structures as well as node features, and outperforms alternative baseline approaches by up to 43.0% in explanation accuracy. GNNEXPLAINER provides a variety of benefits, from the ability to visualize semantically relevant structures to interpretability, to giving insights into errors of faulty GNNs.

解释机器学习决策的问题是经过深入研究和重要的。我们对一种涉及称为图形神经网络的图形数据的特定类型的机器学习模型感兴趣。众所周知，由于缺乏公认的基准，评估图形神经网络（GNN）的可解释性方法是具有挑战性的。鉴于GNN模型，存在几种可解释性方法来解释具有多种（有时相互矛盾的）方法论的GNN模型。在本文中，我们提出了一个基准，用于评估称为Bagel的GNN的解释性方法。在百吉饼中，我们首先提出了四种不同的GNN解释评估制度 - 1）忠诚，2）稀疏性，3）正确性。 4）合理性。我们在现有文献中调和多个评估指标，并涵盖了各种概念以进行整体评估。我们的图数据集范围从引文网络，文档图，到分子和蛋白质的图。我们对四个GNN模型和九个有关节点和图形分类任务的事后解释方法进行了广泛的实证研究。我们打开基准和参考实现，并在https://github.com/mandeep-rathee/bagel-benchmark上提供它们。

作为当今最受欢迎的机器学习模型之一，Graph神经网络（GNN）最近引起了激烈的兴趣，其解释性也引起了人们的兴趣。用户对更好地了解GNN模型及其结果越来越感兴趣。不幸的是，当今的GNN评估框架通常依赖于合成数据集，从而得出有限范围的结论，因为问题实例缺乏复杂性。由于GNN模型被部署到更关键的任务应用程序中，因此我们迫切需要使用GNN解释性方法的共同评估协议。在本文中，据我们最大的知识，我们提出了针对GNN解释性的第一个系统评估框架，考虑了三种不同的“用户需求”的解释性：解释焦点，掩盖性质和掩蔽转换。我们提出了一个独特的指标，该指标将忠诚度措施结合在一起，并根据其足够或必要的质量对解释进行分类。我们将自己范围用于节点分类任务，并比较GNN的输入级解释性领域中最具代表性的技术。对于广泛使用的合成基准测试，令人惊讶的是，诸如个性化Pagerank之类的浅水技术在最小计算时间内具有最佳性能。但是，当图形结构更加复杂并且节点具有有意义的特征时，根据我们的评估标准，基于梯度的方法，尤其是显着性。但是，没有人在所有评估维度上占主导地位，而且总会有一个权衡。我们在eBay图上的案例研究中进一步应用了我们的评估协议，以反映生产环境。

图形神经网络（GNNS）在节点分类，回归和推荐任务中取得了最新的最新性能。当可提供高质量和丰富的连接结构时，GNNS工作好。但是，在许多真实世界图中，该要求在节点度具有幂律分布的许多真实世界中，因为许多节点具有较少或嘈杂的连接。这种情况的极端情况是节点可能没有邻居，称为严格的冷启动（SCS）场景。这会强制预测模型依赖于节点的输入特征。与通过蒸馏方法相比，我们提出冷啤酒以解决SCS和嘈杂的邻居设置。我们介绍了功能贡献比（FCR），测量使用电感GNN解决SCS问题的可行性，并选择SCS泛化的最佳体系结构。我们通过实验显示FCR Disentangles图数据集的各种组成部分的贡献，并展示了几个公共基准和专有电子商务数据集上的冷啤酒的优越性。我们方法的源代码可用于：https://github.com/amazon-research/gnn-tail-一致化。

消息传递已作为设计图形神经网络（GNN）的有效工具的发展。但是，消息传递的大多数现有方法简单地简单或平均所有相邻的功能更新节点表示。它们受到两个问题的限制，即（i）缺乏可解释性来识别对GNN的预测重要的节点特征，以及（ii）特征过度混合，导致捕获长期依赖和无能为力的过度平滑问题在异质或低同质的下方处理图。在本文中，我们提出了一个节点级胶囊图神经网络（NCGNN），以通过改进的消息传递方案来解决这些问题。具体而言，NCGNN表示节点为节点级胶囊组，其中每个胶囊都提取其相应节点的独特特征。对于每个节点级胶囊，开发了一个新颖的动态路由过程，以适应适当的胶囊，以从设计的图形滤波器确定的子图中聚集。 NCGNN聚集仅有利的胶囊并限制无关的消息，以避免交互节点的过度混合特征。因此，它可以缓解过度平滑的问题，并通过同粒或异质的图表学习有效的节点表示。此外，我们提出的消息传递方案本质上是可解释的，并免于复杂的事后解释，因为图形过滤器和动态路由过程确定了节点特征的子集，这对于从提取的子分类中的模型预测最为重要。关于合成和现实图形的广泛实验表明，NCGNN可以很好地解决过度光滑的问题，并为半监视的节点分类产生更好的节点表示。它的表现优于同质和异质的艺术状态。

图形神经网络（GNN）已证明图形数据的预测性能显着提高。同时，这些模型的预测通常很难解释。在这方面，已经做出了许多努力来从gnnexplainer，XGNN和PGEXPlainer等角度解释这些模型的预测机制。尽管这样的作品呈现出系统的框架来解释GNN，但对于可解释的GNN的整体评论是不可用的。在这项调查中，我们介绍了针对GNN开发的解释性技术的全面综述。我们专注于可解释的图形神经网络，并根据可解释方法的使用对它们进行分类。我们进一步为GNNS解释提供了共同的性能指标，并指出了几个未来的研究指标。

尽管图神经网络（GNNS）已经证明了它们在处理非欧国人结构数据方面的功效，但由于多跳数据依赖性施加的可伸缩性约束，因此很难将它们部署在实际应用中。现有方法试图通过使用训练有素的GNN的标签训练多层感知器（MLP）来解决此可伸缩性问题。即使可以显着改善MLP的性能，但两个问题仍能阻止MLP的表现优于GNN并在实践中使用：图形结构信息的无知和对节点功能噪声的敏感性。在本文中，我们建议在图（NOSMOG）上学习噪声稳定结构感知的MLP，以克服挑战。具体而言，我们首先将节点内容与位置功能进行补充，以帮助MLP捕获图形结构信息。然后，我们设计了一种新颖的表示相似性蒸馏策略，以将结构节点相似性注入MLP。最后，我们介绍了对抗性功能的扩展，以确保稳定的学习能力噪声，并进一步提高性能。广泛的实验表明，在七个数据集中，NOSMOG在转导和归纳环境中均优于GNN和最先进的方法，同时保持竞争性推理效率。

Uncovering rationales behind predictions of graph neural networks (GNNs) has received increasing attention over recent years. Instance-level GNN explanation aims to discover critical input elements, like nodes or edges, that the target GNN relies upon for making predictions. Though various algorithms are proposed, most of them formalize this task by searching the minimal subgraph which can preserve original predictions. However, an inductive bias is deep-rooted in this framework: several subgraphs can result in the same or similar outputs as the original graphs. Consequently, they have the danger of providing spurious explanations and fail to provide consistent explanations. Applying them to explain weakly-performed GNNs would further amplify these issues. To address this problem, we theoretically examine the predictions of GNNs from the causality perspective. Two typical reasons of spurious explanations are identified: confounding effect of latent variables like distribution shift, and causal factors distinct from the original input. Observing that both confounding effects and diverse causal rationales are encoded in internal representations, we propose a simple yet effective countermeasure by aligning embeddings. Concretely, concerning potential shifts in the high-dimensional space, we design a distribution-aware alignment algorithm based on anchors. This new objective is easy to compute and can be incorporated into existing techniques with no or little effort. Theoretical analysis shows that it is in effect optimizing a more faithful explanation objective in design, which further justifies the proposed approach.

链接预测是一项重要的任务，在各个域中具有广泛的应用程序。但是，大多数现有的链接预测方法都假定给定的图遵循同质的假设，并设计基于相似性的启发式方法或表示学习方法来预测链接。但是，许多现实世界图是异性图，同义假设不存在，这挑战了现有的链接预测方法。通常，在异性图中，有许多引起链接形成的潜在因素，并且两个链接的节点在一个或两个因素中往往相似，但在其他因素中可能是不同的，导致总体相似性较低。因此，一种方法是学习每个节点的分离表示形式，每个矢量捕获一个因子上的节点的潜在表示，这铺平了一种方法来模拟异性图中的链接形成，从而导致更好的节点表示学习和链接预测性能。但是，对此的工作非常有限。因此，在本文中，我们研究了一个新的问题，该问题是在异性图上进行链接预测的分离表示学习。我们提出了一种新颖的框架分解，可以通过建模链接形成并执行感知因素的消息来学习以促进链接预测来学习解开的表示形式。在13个现实世界数据集上进行的广泛实验证明了Disenlink对异性恋和血友病图的链接预测的有效性。我们的代码可从https://github.com/sjz5202/disenlink获得

隐私性和解释性是实现值得信赖的机器学习的两种重要成分。我们通过图形重建攻击研究了图机学习中这两个方面的相互作用。这里的对手的目的是重建给定模型解释的训练数据的图形结构。根据对手可用的不同种类的辅助信息，我们提出了几种图形重建攻击。我们表明，事后功能解释的其他知识大大提高了这些攻击的成功率。此外，我们详细研究了攻击性能相对于三种不同类别的图形神经网络的解释方法的差异：基于梯度，基于扰动和基于替代模型的方法。虽然基于梯度的解释在图形结构方面显示最多，但我们发现这些解释并不总是在实用程序上得分很高。对于其他两类的解释，隐私泄漏随着解释实用程序的增加而增加。最后，我们提出了基于随机响应机制的防御，以释放大大降低攻击成功率的解释。我们的匿名代码可用。

图形神经网络（GNN）已被广泛用于建模图形结构化数据，这是由于其在广泛的实用应用中令人印象深刻的性能。最近，GNNS的知识蒸馏（KD）在图形模型压缩和知识转移方面取得了显着进步。但是，大多数现有的KD方法都需要大量的真实数据，这些数据在实践中不容易获得，并且可能排除其在教师模型对稀有或难以获取数据集培训的情况下的适用性。为了解决这个问题，我们提出了第一个用于图形结构化数据（DFAD-GNN）的无数据对抗知识蒸馏的端到端框架。具体而言，我们的DFAD-GNN采用生成性对抗网络，主要由三个组成部分组成：预先训练的教师模型和学生模型被视为两个歧视者，并利用生成器来衍生训练图来从教师模型进入学生模型。在各种基准模型和六个代表性数据集上进行的广泛实验表明，我们的DFAD-GNN在图形分类任务中显着超过了最新的无数据基线。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

图形神经网络（GNNS）是一类强大的机器学习工具，可以模拟节点关系，用于制定节点或链接的预测。GNN开发人员依靠预测的定量度量来评估GNN，但类似于许多其他神经网络，他们很难了解GNN是否真正学习如预期的图形的特征。我们提出了一种对应于其节点嵌入（AKA潜像）的输入图的方法，稍后用于预测的GNN的公共组件。我们摘要数据和任务，并开发一个名为corgie的交互式多视图界面，以实例化抽象。作为Corgie的关键功能，我们提出了K-Hop图布局，以显示啤酒花和它们的聚类结构中的拓扑邻居。为了评估Corgie的功能和可用性，我们展示了如何在两种使用情况下使用Corgie，并使用五个GNN专家进行案例研究。