Wave propagation through nodes and links of a network forms the basis of spectral graph theory. Nevertheless, the sound emitted by nodes within the resonating chamber formed by a network are not well studied. The sound emitted by vibrations of individual nodes reflects the structure of the overall network topology but also the location of the node within the network. In this article, a sound recognition neural network is trained to infer centrality measures from the nodes' wave-forms. In addition to advancing network representation learning, sounds emitted by nodes are plausible in most cases. Auralization of the network topology may open new directions in arts, competing with network visualization.

计算特征向量中心（EC）的现有方法倾向于不足以足够强大，以确定EC在低时间复杂度或对大型网络的不可稳定可扩展的情况下，因此实际上不可靠/计算昂贵。因此，开发一种在低计算时间内可扩展的方法是本质的。因此，我们提出了一种深入学习模型，用于识别具有高特征传染媒介中心的节点。在识别具有监督学习方法的高排名节点时，有一些以前的作品，但在现实世界的情况下，没有标记图，因此监督学习方法的部署成为危险，其使用变得不切实际。因此，我们设计了CUL（与无监督的学习）方法，以无监督的方式学习网络中的相对射周分数。为此，我们开发了一种基于编码器解码器的框架，将节点映射到其各自的估计的EC分数。在不同的合成和现实网络上进行了广泛的实验。我们将CUL与类似于过去的工作的EC估算的基线监督方法进行了比较。观察到，即使在训练上训练数量的训练数据集时，CUL也可以在识别比其监督对方的更高的排名节点时提供相对更好的准确度分数。我们还表明，CUL比EC计算的传统基线方法更快且具有较小的运行时间。代码可在https://github.com/codexhammer/cul上获得。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

图表表示学习方法为网络中的节点生成数值矢量表示，从而能够在标准机器学习模型中使用。这些方法旨在保留关系信息，使得图表中类似的节点在表示空间中彼此接近。相似性可以很大程度上基于两个概念之一：连接或结构作用。在节点结构角色重要的任务中，基于连接的方法表现出差的性能。最近的工作已经开始专注于学习方法的可扩展性，将数百万到数十亿节点和边缘的大规模图。许多无监督的节点表示学习算法无法缩放到大图，并且无法生成未经证明节点的节点表示。在这项工作中，我们提出了推理SiR-Gn，该模型在随机图上预先训练，然后快速计算节点表示，包括非常大的网络。我们证明该模型能够捕获节点的结构角色信息，并在未经网络上的节点和图形分类任务中显示出优异的性能。此外，我们观察到推理SIR-GN的可扩展性与大规模图表的最快电流方法相当。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

大多数人类活动都需要在正式或非正式团队内部和跨部队进行合作。我们对团队所花费的合作努力与他们的表现有何关系的理解仍然是一个辩论问题。团队合作导致了一个高度相互联系的生态系统，这些生态系统可能是重叠的组件，其中与团队成员和其他团队进行互动执行任务。为了解决这个问题，我们提出了一个图形神经网络模型，旨在预测团队的性能，同时确定确定这种结果的驱动程序。特别是，该模型基于三个架构渠道：拓扑，中心性和上下文，它们捕获了不同因素可能塑造了团队的成功。我们赋予该模型具有两种注意机制，以提高模型性能并允许解释性。第一种机制允许查明团队内部的关键成员。第二种机制使我们能够量化三个驱动程序在确定结果绩效方面的贡献。我们在广泛的域上测试模型性能，其表现优于所考虑的大多数经典和神经基准。此外，我们包括专门设计的合成数据集，以验证该模型如何删除我们的模型胜过基线的预期属性。

神经结构搜索使建筑设计的自动化。尽管它取得了成功，但它是计算的昂贵且没有关于如何设计理想的架构的洞察力。在这里，我们提出了一种在寻找神经网络的新方法，在我们通过重新加热相应的图形来搜索神经架构并通过图形属性预测架构性能。因为我们在整个图形空间上没有执行机器学习并使用预测的架构性能来搜索架构，因此搜索过程非常有效。我们发现基于图形的搜索可以提供对所需架构的合理预测。此外，我们找到了有效预测架构性能的图形属性。我们的工作提出了一种寻找神经结构的新方式，并提供神经结构设计的见解。

Recently, contrastive learning (CL) has emerged as a successful method for unsupervised graph representation learning. Most graph CL methods first perform stochastic augmentation on the input graph to obtain two graph views and maximize the agreement of representations in the two views. Despite the prosperous development of graph CL methods, the design of graph augmentation schemes-a crucial component in CL-remains rarely explored. We argue that the data augmentation schemes should preserve intrinsic structures and attributes of graphs, which will force the model to learn representations that are insensitive to perturbation on unimportant nodes and edges. However, most existing methods adopt uniform data augmentation schemes, like uniformly dropping edges and uniformly shuffling features, leading to suboptimal performance. In this paper, we propose a novel graph contrastive representation learning method with adaptive augmentation that incorporates various priors for topological and semantic aspects of the graph. Specifically, on the topology level, we design augmentation schemes based on node centrality measures to highlight important connective structures. On the node attribute level, we corrupt node features by adding more noise to unimportant node features, to enforce the model to recognize underlying semantic information. We perform extensive experiments of node classification on a variety of real-world datasets. Experimental results demonstrate that our proposed method consistently outperforms existing state-of-the-art baselines and even surpasses some supervised counterparts, which validates the effectiveness of the proposed contrastive framework with adaptive augmentation. CCS CONCEPTS• Computing methodologies → Unsupervised learning; Neural networks; Learning latent representations.

情绪预测在心理健康和情绪感知计算中起着至关重要的作用。情绪的复杂性质是由于其对一个人的生理健康，精神状态和周围环境的依赖而产生的，这使其预测一项艰巨的任务。在这项工作中，我们利用移动传感数据来预测幸福和压力。除了一个人的生理特征外，我们还通过天气和社交网络纳入了环境的影响。为此，我们利用电话数据来构建社交网络并开发机器学习体系结构，该架构从图形网络的多个用户中汇总信息，并将其与数据的时间动态集成在一起，以预测所有用户的情感。社交网络的构建不会在用户的EMA或数据收集方面产生额外的成本，也不会引起隐私问题。我们提出了一种自动化用户社交网络影响预测的架构，能够处理现实生活中社交网络的动态分布，从而使其可扩展到大规模网络。我们广泛的评估突出了社交网络集成提供的改进。我们进一步研究了图形拓扑对模型性能的影响。

我们通过定义节点的某些局部特征和矢量表示，然后使用它们来通过深层神经网络来学习全球定义的指标和属性，从而提出了用于图形机器学习和网络分析的局部到全球策略。通过通过呼吸优先搜索扩展节点的程度的概念，定义了{\ bf参数中心函数}的一般家族，可以揭示节点的重要性。我们将{\ bf邻居学位频率（NDF）}引入，作为无向图的节点的局部定义嵌入到欧几里得空间中。这引起了节点的矢量标记，该标记编码了节点局部邻域的结构，可用于图同构测试。我们为构造增加了灵活性，以便它也可以处理动态图。之后，广度优先搜索用于将NDF矢量表示形式扩展到两个不同的节点的矩阵表示，其中包含有关节点社区的高阶信息。我们的节点的矩阵表示为我们提供了一种新的方式，可视化节点的形状。此外，我们使用这些矩阵表示来获取特征向量，该特征向量适用于典型的深度学习算法。为了证明这些节点嵌入实际上包含有关节点的一些信息，在一系列示例中，我们表明可以通过将深度学习应用于这些本地特征来学习Pagerank和紧密的中心性。我们的构造足够灵活，可以处理不断发展的图。最后，我们解释了如何适应有向图的构造。

许多真实世界图（网络）是具有不同类型的节点和边缘的异构。异构图嵌入，旨在学习异构图的低维节点表示，对于各种下游应用至关重要。已经提出了许多基于元路径的嵌入方法来学习近年来异构图的语义信息。然而，在学习异构图形嵌入时，大多数现有技术都在图形结构信息中忽略了图形结构信息。本文提出了一种新颖的结构意识异构图形神经网络（SHGNN），以解决上述限制。详细地，我们首先利用特征传播模块来捕获元路径中中间节点的本地结构信息。接下来，我们使用树关注聚合器将图形结构信息结合到元路径上的聚合模块中。最后，我们利用了元路径聚合器熔断来自不同元路径的聚合的信息。我们对节点分类和聚类任务进行了实验，并在基准数据集中实现了最先进的结果，该数据集显示了我们所提出的方法的有效性。

社交网络（SN）是一个由代表它们之间相互作用的群体组成的社会结构。 SNS最近被广泛使用，随后已成为产品推广和信息扩散的合适平台。 SN中的人们直接影响彼此的利益和行为。 SNS中最重要的问题之一是，如果选择将它们作为网络扩散场景的种子节点选择，那么他们可以以级联的方式对网络中的其他节点产生最大影响。有影响力的扩散器是人们，如果他们被选为网络中出版问题中的种子，那么该网络将拥有最多了解该扩散实体的人。这是称为影响最大化（IM）问题的文献中的一个众所周知的问题。尽管已证明这是一个NP完整的问题，并且在多项式时间内没有解决方案，但有人认为它具有子模块化功能的属性，因此可以使用贪婪的算法来解决。提出改善这种复杂性的大多数方法都是基于以下假设：整个图都是可见的。但是，此假设不适合许多真实世界图。进行了这项研究，以扩展使用链接预测技术与伪可见性图的电流最大化方法。为此，将一种称为指数随机图模型（ERGM）的图生成方法用于链接预测。使用斯坦福大学SNAP数据集的数据对所提出的方法进行了测试。根据实验测试，所提出的方法在现实世界图上有效。

图形神经网络（GNN）已被证明可以实现竞争结果，以解决与图形相关的任务，例如节点和图形分类，链接预测和节点以及各种域中的图形群集。大多数GNN使用消息传递框架，因此称为MPNN。尽管有很有希望的结果，但据报道，MPNN会遭受过度平滑，过度阵型和不足的影响。文献中已经提出了图形重新布线和图形池作为解决这些局限性的解决方案。但是，大多数最先进的图形重新布线方法无法保留该图的全局拓扑，因此没有可区分（电感），并且需要调整超参数。在本文中，我们提出了Diffwire，这是一个在MPNN中进行图形重新布线的新型框架，它通过利用LOV \'ASZ绑定来原理，完全可区分且无参数。我们的方法通过提出两个新的，mpnns中的新的互补层来提供统一的图形重新布线：首先，ctlayer，一个学习通勤时间并将其用作边缘重新加权的相关函数；其次，Gaplayer是优化光谱差距的图层，具体取决于网络的性质和手头的任务。我们从经验上验证了我们提出的方法的价值，并使用基准数据集分别验证了这些层的每个层以进行图形分类。 Diffwire将通勤时间的可学习性汇集到相关的曲率定义，为发展更具表现力的MPNN的发展打开了大门。

网络流问题涉及通过网络分配流量，以便有效地使用基础基础架构，在运输和物流上无处不在。由于数据驱动的优化的吸引力，这些问题已越来越多地使用图形学习方法解决。其中，鉴于其通用性，多商品网络流（MCNF）问题特别感兴趣，因为它涉及多个来源和水槽之间不同大小的多个流量（也称为需求）的分布。我们关注的广泛使用的目标是给定流量需求和路由策略的网络中任何链接的最大利用。在本文中，我们针对MCNF问题提出了一种基于图形神经网络（GNN）的新方法，该方法沿每个链接使用明显的参数化消息函数，类似于所有边缘类型都是唯一的关系模型。我们表明，我们所提出的方法比现有的图形学习方法获得了可观的收益，这些方法不必要地限制了路由。我们使用17个服务提供商拓扑和两个流程路由方案通过互联网路由案例研究广泛评估所提出的方法。我们发现，在许多网络中，MLP与不使用我们机制的通用GNN具有竞争力。此外，我们阐明了图结构与数据驱动的流动路由的难度之间的关系，该方面在该地区现有工作中尚未考虑。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

Deep learning has been shown to be successful in a number of domains, ranging from acoustics, images, to natural language processing. However, applying deep learning to the ubiquitous graph data is non-trivial because of the unique characteristics of graphs. Recently, substantial research efforts have been devoted to applying deep learning methods to graphs, resulting in beneficial advances in graph analysis techniques. In this survey, we comprehensively review the different types of deep learning methods on graphs. We divide the existing methods into five categories based on their model architectures and training strategies: graph recurrent neural networks, graph convolutional networks, graph autoencoders, graph reinforcement learning, and graph adversarial methods. We then provide a comprehensive overview of these methods in a systematic manner mainly by following their development history. We also analyze the differences and compositions of different methods. Finally, we briefly outline the applications in which they have been used and discuss potential future research directions.

在过去的几年中，已经开发了图形绘图技术，目的是生成美学上令人愉悦的节点链接布局。最近，利用可区分损失功能的使用已为大量使用梯度下降和相关优化算法铺平了道路。在本文中，我们提出了一个用于开发图神经抽屉（GND）的新框架，即依靠神经计算来构建有效且复杂的图的机器。 GND是图形神经网络（GNN），其学习过程可以由任何提供的损失函数（例如图形图中通常使用的损失函数）驱动。此外，我们证明，该机制可以由通过前馈神经网络计算的损失函数来指导，并根据表达美容特性的监督提示，例如交叉边缘的最小化。在这种情况下，我们表明GNN可以通过位置功能很好地丰富与未标记的顶点处理。我们通过为边缘交叉构建损失函数来提供概念验证，并在提议的框架下工作的不同GNN模型之间提供定量和定性的比较。

许多复杂网络的结构包括其拓扑顶部的边缘方向性和权重。可以无缝考虑这些属性组合的网络分析是可取的。在本文中，我们研究了两个重要的这样的网络分析技术，即中心和聚类。采用信息流基于集群的模型，该模型本身就是在计算中心的信息定理措施时构建。我们的主要捐款包括马尔可夫熵中心的广义模型，灵活地调整节点度，边缘权重和方向的重要性，具有闭合形式的渐近分析。它导致一种新颖的两级图形聚类算法。中心分析有助于推理我们对给定图形的方法的适用性，并确定探索当地社区结构的“查询”节点，从而导致群集聚类机制。熵中心计算由我们的聚类算法摊销，使其计算得高效：与使用马尔可夫熵中心为聚类的先前方法相比，我们的实验表明了多个速度的速度。我们的聚类算法自然地继承了适应边缘方向性的灵活性，以及​​边缘权重和节点度之间的不同解释和相互作用。总的来说，本文不仅具有显着的理论和概念贡献，还转化为实际相关性的文物，产生新的，有效和可扩展的中心计算和图形聚类算法，其有效通过广泛的基准测试进行了验证。

变压器架构已成为许多域中的主导选择，例如自然语言处理和计算机视觉。然而，与主流GNN变体相比，它对图形水平预测的流行排行榜没有竞争表现。因此，它仍然是一个谜，变形金机如何对图形表示学习表现良好。在本文中，我们通过提出了基于标准变压器架构构建的Gragemer来解决这一神秘性，并且可以在广泛的图形表示学习任务中获得优异的结果，特别是在最近的OGB大规模挑战上。我们在图中利用变压器的关键洞察是有效地将图形的结构信息有效地编码到模型中。为此，我们提出了几种简单但有效的结构编码方法，以帮助Gramemormer更好的模型图形结构数据。此外，我们在数学上表征了Gramemormer的表现力，并展示了我们编码图形结构信息的方式，许多流行的GNN变体都可以被涵盖为GrameRormer的特殊情况。