冷启动是推荐系统中的必要且持久的问题。最先进的解决方案依赖于基于辅助信息的冷启动和现有用户/项目的培训混合模型。这种混合模型将损害现有用户/项目的性能，这可能使这些解决方案不适用于现实世界中的推荐系统，在这些系统中，必须保证现有用户/项目的体验。同时，已证明图形神经网络（GNN）可以有效地进行温暖（非冷淡）建议。但是，从未应用它们来处理用户项目两部分图中的冷启动问题。这是一项具有挑战性但有意义的任务，因为冷启动用户/项目没有链接。此外，设计合适的GNN来进行冷启动建议是不算气的，同时保持现有用户/项目的性能。为了弥合差距，我们提出了一个量身定制的基于GNN的框架（GPATCH），其中包含两个单独但相关的组件。首先，有效的GNN体系结构 - Gwarmer，旨在建模暖用户/物品。其次，我们通过进行冷启动建议来构建相关的补丁网络，以模拟和补丁Gwarmer。基准和大规模商业数据集的实验表明，GPATCH在为现有和冷启动的用户/项目提供建议方面非常出色。

Recent advancements in deep neural networks for graph-structured data have led to state-of-the-art performance on recommender system benchmarks. However, making these methods practical and scalable to web-scale recommendation tasks with billions of items and hundreds of millions of users remains a challenge.Here we describe a large-scale deep recommendation engine that we developed and deployed at Pinterest. We develop a dataefficient Graph Convolutional Network (GCN) algorithm PinSage, which combines efficient random walks and graph convolutions to generate embeddings of nodes (i.e., items) that incorporate both graph structure as well as node feature information. Compared to prior GCN approaches, we develop a novel method based on highly efficient random walks to structure the convolutions and design a novel training strategy that relies on harder-and-harder training examples to improve robustness and convergence of the model.We deploy PinSage at Pinterest and train it on 7.5 billion examples on a graph with 3 billion nodes representing pins and boards, and 18 billion edges. According to offline metrics, user studies and A/B tests, PinSage generates higher-quality recommendations than comparable deep learning and graph-based alternatives. To our knowledge, this is the largest application of deep graph embeddings to date and paves the way for a new generation of web-scale recommender systems based on graph convolutional architectures.

近年来，由于图表代表学习的出色表现，图形神经网络（GNN）技术在许多真实情景中获得了相当大的兴趣，例如推荐系统和社交网络。在推荐系统中，主要挑战是从其互动中学习有效的用户/项目表示。但是，由于它们对数据集和评估度量的差异，比较使用GNNS用于推荐系统的GNN的许多出版物。此外，其中许多只提供了一个演示，以对小型数据集进行实验，这很远可在现实世界推荐系统中应用。为了解决这个问题，我们介绍了Graph4Rec，这是一个Universal Toolkit，它统一地将GNN模型培训到以下部分：图表输入，随机步行生成，自我图形生成，对生成和GNNS选择。从这个训练管道，可以通过一些配置轻松建立自己的GNN模型。此外，我们开发了一个大规模的图形引擎和参数服务器，以支持分布式GNN培训。我们进行系统和全面的实验，以比较不同GNN模型在不同规模中的若干场景中的性能。证明了广泛的实验以识别GNN的关键组分。我们还尝试弄清楚稀疏和密集的参数如何影响GNN的性能。最后，我们研究了包括负面采样，自我图形建设顺序和温暖开始策略的方法，以找到更有效和高效的GNNS在推荐系统上做法。我们的工具包基于PGL HTTPS://github.com/paddlePaddle/pgl，并且在https://github.com/paddlepaddle/pgl/tree/main/apps/graph4rec中打开代码。

Learning vector representations (aka. embeddings) of users and items lies at the core of modern recommender systems. Ranging from early matrix factorization to recently emerged deep learning based methods, existing efforts typically obtain a user's (or an item's) embedding by mapping from pre-existing features that describe the user (or the item), such as ID and attributes. We argue that an inherent drawback of such methods is that, the collaborative signal, which is latent in user-item interactions, is not encoded in the embedding process. As such, the resultant embeddings may not be sufficient to capture the collaborative filtering effect.In this work, we propose to integrate the user-item interactionsmore specifically the bipartite graph structure -into the embedding process. We develop a new recommendation framework Neural Graph Collaborative Filtering (NGCF), which exploits the useritem graph structure by propagating embeddings on it. This leads to the expressive modeling of high-order connectivity in useritem graph, effectively injecting the collaborative signal into the embedding process in an explicit manner. We conduct extensive experiments on three public benchmarks, demonstrating significant improvements over several state-of-the-art models like HOP-Rec [40] and Collaborative Memory Network [5]. Further analysis verifies the importance of embedding propagation for learning better user and item representations, justifying the rationality and effectiveness of NGCF. Codes are available at https://github.com/ xiangwang1223/neural_graph_collaborative_filtering. CCS CONCEPTS• Information systems → Recommender systems. * In the version published in ACM Digital Library, we find some small bugs; the bugs do not change the comparison results and the empirical findings. In this latest version, we update and correct the experimental results (i.e., the preprocessing of Yelp2018 dataset and the ndcg metric). All updates are highlighted in footnotes.

图表卷积网络（GCN）已广泛应用于推荐系统，以其在用户和项目嵌入物上的表示学习功能。然而，由于其递归消息传播机制，GCN容易受到现实世界中常见的噪声和不完整的图表。在文献中，一些工作建议在消息传播期间删除功能转换，但是使其无法有效地捕获图形结构特征。此外，它们在欧几里德空间中的用户和项目模拟了欧几里德空间中的项目，该空间已经在建模复杂的图表时具有高失真，进一步降低了捕获图形结构特征并导致次优性能的能力。为此，在本文中，我们提出了一个简单而有效的四元数图卷积网络（QGCN）推荐模型。在所提出的模型中，我们利用超复杂的四元数空间来学习用户和项目表示，并进行功能转换，以提高性能和鲁棒性。具体来说，我们首先将所有用户和项目嵌入到四元数空间中。然后，我们将eMaterNion嵌入传播层与四元数特征转换介绍以执行消息传播。最后，我们将在每层生成的嵌入物结合在一起，平均汇集策略以获得最终嵌入的推荐。在三个公共基准数据集上进行了广泛的实验表明，我们提出的QGCN模型优于大幅度的基线方法。

建议中的用户项交互可以自然地将其作为用户项二分钟图。鉴于图形表示学习中图形神经网络（GNN）的成功，已提出基于GNN的C方法来推进推荐系统。这些方法通常根据学习的用户和项目嵌入式提出建议。但是，我们发现它们不会在真实建议中表现出很常见的稀疏稀疏用户项目图。因此，在这项工作中，我们介绍了一种新颖的视角，以建立基于GNN的CF方法，了解建议的框架局部图协作滤波（LGCF）。 LGCF的一个关键优势在于它不需要为每个用户和项目学习嵌入，这在稀疏方案中具有挑战性。或者，LGCF旨在将有用的CF信息编码为本地化的图表并基于这些图形提出建议。关于各种数据集的广泛实验验证了LGCF的有效性，尤其是稀疏场景。此外，经验结果表明LGCF为基于嵌入的CF模型提供了互补信息，该模型可用于提高推荐性能。

包括传统浅层模型和深图神经网络（GNN）在内的图形嵌入方法已导致有希望的应用。然而，由于其优化范式，浅层模型尤其是基于随机步行的算法无法充分利用采样子图或序列中的邻居接近度。基于GNN的算法遇到了高阶信息的利用不足，在堆叠过多的层时很容易引起过度平滑的问题，这可能会恶化低度（长尾）项目的建议，从而限制了表现力和可伸缩性。在本文中，我们提出了一个新颖的框架SAC，即空间自动回归编码，以统一的方式解决上述问题。为了充分利用邻居接近和高级信息，我们设计了一种新型的空间自回旋范式。具体而言，我们首先随机掩盖了多跳的邻居，并通过以明确的多跳上注意来整合所有其他周围的邻居来嵌入目标节点。然后，我们加强模型，通过对比编码和蒙面邻居的嵌入来学习目标节点的邻居预测性编码，并配备了新的硬性阴性采样策略。为了了解目标到邻居预测任务的最小足够表示并删除邻居的冗余，我们通过最大化目标预测性编码和蒙面邻居的嵌入以及同时约束编码之间的相互信息来设计邻居信息瓶颈和周围的邻居的嵌入。公共推荐数据集和实际方案网络规模数据集Douyin-Friend-Recormendation的实验结果证明了SAC的优势与最先进的方法相比。

图表神经网络（GNNS）已广泛应用于推荐任务，并获得了非常吸引人的性能。然而，大多数基于GNN的推荐方法在实践中遭受数据稀疏问题。同时，预训练技术在减轻了各个领域（如自然语言处理（NLP）和计算机视觉（CV）等域中的数据稀疏而取得了巨大成功。因此，图形预培训具有扩大基于GNN的建议的数据稀疏的巨大潜力。但是，预先培训GNN，建议面临独特的挑战。例如，不同推荐任务中的用户项交互图具有不同的用户和项目集，并且它们通常存在不同的属性。因此，在NLP和CV中常用的成功机制将知识从预训练任务转移到下游任务，例如共享所学习的嵌入式或特征提取器，而不是直接适用于现有的基于GNN的推荐模型。为了解决这些挑战，我们精致地设计了一个自适应图形预训练框架，用于本地化协作滤波（适应）。它不需要传输用户/项目嵌入式，并且能够跨越不同图的共同知识和每个图形的唯一性。广泛的实验结果表明了适应的有效性和优越性。

图形神经网络（GNN）已显示为与用户项目交互图建模的协作过滤（CF）的有前途的解决方案。现有基于GNN的推荐系统的关键思想是递归执行沿用户项目交互边缘传递的消息，以完善编码的嵌入。然而，尽管它们有效，但当前的大多数推荐模型都依赖于足够和高质量的培训数据，因此学习的表示形式可以很好地捕获准确的用户偏好。用户行为数据在许多实际建议方案中通常很嘈杂，并且表现出偏斜的分布，这可能会导致基于GNN的模型中的次优表示性能。在本文中，我们提出了SHT，这是一种新颖的自我监视的超盖变压器框架（SHT），该框架（SHT）通过以明确的方式探索全球协作关系来增强用户表示。具体而言，我们首先赋予图形神经CF范式，以通过HyperGraph Transformer网络维护用户和项目之间的全局协作效果。在蒸馏的全球环境中，提出了一个跨视图生成的自我监督学习组件，用于对用户项目交互图的数据增强，以增强推荐系统的鲁棒性。广泛的实验表明，SHT可以显着改善各种最新基线的性能。进一步的消融研究表明，我们的SHT推荐框架在减轻数据稀疏性和噪声问题方面具有出色的表示能力。源代码和评估数据集可在以下网址获得：https：//github.com/akaxlh/sht。

近年来，多媒体推荐的兴趣日益增长，旨在预测用户是否会与具有多模式内容的项目进行交互。以前的研究侧重于建模用户项目与包含作为侧面信息的多模式特征的交互。但是，该方案并不适用于多媒体推荐。首先，只有通过高阶项 - 用户项共同发生隐含地建模协作项目 - 项目关系。我们认为这些多模式内容的潜在语义项 - 项目结构可以有利于学习更好的项目表示，并协助推荐模型全面发现候选项目。其次，以前的研究忽视了细粒度的多峰融合。虽然访问多种方式可能允许我们捕获丰富的信息，但我们认为以前的工作中的线性组合或连接的简单粗粒融合不足以完全理解内容信息和项目关系。在此结束时，我们提出了一个潜在的结构采用对比模型融合方法（微型简洁性）。具体而言，我们设计了一种新型的模态感知结构学习模块，它为每个模态学习项目项目关系。基于学习的模态感知潜在项目关系，我们执行明确地将物品关联的图形卷评进行了模当感知的项目表示。然后，我们设计一种新颖的对比方法来保险熔断多模峰特征。这些丰富的项目表示可以插入现有的协作过滤方法，以便更准确的建议。关于现实世界数据集的广泛实验证明了我们在最先进的基线上的方法的优越性。

知识图表通常掺入到推荐系统，以提高整体性能。由于知识图的推广和规模，大多数知识的关系是不是目标用户项预测有帮助。要利用知识图在推荐系统捕捉目标具体知识的关系，我们需要提炼知识图，以保留有用的信息和完善的知识来捕捉用户的喜好。为了解决这个问题，我们提出了知识感知条件注意网络（KCAN），这是一个终端到终端的模式纳入知识图形转换为推荐系统。具体来说，我们使用一个知识感知注意传播方式，以获得所述节点表示第一，其捕获用户 - 项目网络和知识图表对全球语义相似度。然后给出一个目标，即用户 - 项对，我们会自动提炼出知识图到基于知识感知关注的具体目标子。随后，通过在应用子有条件的注意力聚集，我们细化知识图，以获得特定目标节点表示。因此，我们可以得到两个表示性和个性化，以实现整体性能。现实世界的数据集实验结果表明，我们对国家的最先进的算法框架的有效性。

异构信息网络（HIN）捕获各种实体之间的复杂关系，并已广泛用于提高各种数据挖掘任务的有效性，例如在推荐系统中。许多现有的文欣推荐算法利用手工制作的元路径来提取来自网络的语义信息。这些算法依赖于广泛的域知识，可以选择最佳的元路径集。对于HIN与众多节点和链路类型高度复杂的应用程序，手工制作方法的方法太繁琐，并且容易出错。为了解决这个问题，我们提出了基于加强学习的元路径选择（RMS）框架，以选择有效的元路径，并将它们包含在现有的基于元路径的推荐中。为了识别高质量的元路径，RMS列举了基于加强学习（RL）的策略网络（代理），从而从下游推荐任务的性能获取奖励。我们设计一个基于HIN的推荐模型，HREC，有效地使用元路径信息。我们将HREC与RMS进行了整合并导出了我们的推荐解决方案，RMS-HREC，它自动使用有效的元路径。实验对实时数据集表明，我们的算法通过自动捕获重要元路径，可以显着提高推荐模型的性能。

最近，图神经网络显示了建模基于网络的推荐系统中复杂拓扑结构的优势。由于节点之间的各种相互作用以及来自各种类型的节点和边缘的大量语义，因此在多重异质网络中学习表达性节点表示的研究兴趣爆发。推荐系统中最重要的任务之一是预测特定边缘类型下两个节点之间的潜在连接（即关系）。尽管现有的研究利用明确的元数据来汇总邻居，但实际上，它们仅考虑了关系内部的元数据，因此无法通过相互关联信息来利用潜在的提升。此外，在各种关系下，尤其是在越来越多的节点和边缘类型的情况下，全面利用相互关系的元数据并不总是直接的。此外，两个节点之间不同关系的贡献很难衡量。为了应对挑战，我们提出了Hybridgnn，这是一种具有混合聚集流和分层的端到端GNN模型，以在多路复用方案中充分利用异质性。具体而言，Hybridgnn应用了一个随机的关系探索模块来利用不同关系之间的多重性属性。然后，我们的模型利用在关系内的元数据和随机探索下的混合聚集流以学习丰富的语义。为了探索不同聚合流的重要性并利用多重性属性，我们提出了一个新型的分层注意模块，该模块既利用了Metapath级别的注意力和关系级的关注。广泛的实验结果表明，与几个最先进的基线相比，Hybridgnn取得了最佳性能。

推荐系统的目标是通过用户项目的交互历史记录对每个用户和每个项目之间的相关性进行建模，以便最大程度地提高样本得分并最大程度地减少负面样本。当前，两个流行的损失功能被广泛用于优化推荐系统：点心和成对。尽管这些损失功能被广泛使用，但是有两个问题。 （1）这些传统损失功能不适合推荐系统的目标，并充分利用了先验知识信息。 （2）这些传统损失功能的缓慢收敛速度使各种建议模型的实际应用变得困难。为了解决这些问题，我们根据先验知识提出了一个名为“监督个性化排名”（SPR）的新型损失函数。提出的方法通过利用原始数据中每个用户或项目的相互作用历史记录的先验知识来改善BPR损失。与BPR不同，而不是构建<用户，正面项目，负面项目>三元组，而是拟议的SPR构造<用户，相似的用户，正面项目，负面项目，否定项目> Quadruples。尽管SPR非常简单，但非常有效。广泛的实验表明，我们提出的SPR不仅取得了更好的建议性能，而且还可以显着加速收敛速度，从而大大减少所需的训练时间。

许多以前的研究旨在增加具有深度神经网络技术的协同过滤，以实现更好的推荐性能。但是，大多数现有的基于深度学习的推荐系统专为建模单数类型的用户项目交互行为而设计，这几乎无法蒸馏用户和项目之间的异构关系。在实际推荐方案中，存在多重的用户行为，例如浏览和购买。由于用户的多行为模式在不同的项目上俯视，现有推荐方法不足以捕获来自用户多行为数据的异构协作信号。灵感灵感来自图形神经网络的结构化数据建模，这项工作提出了一个图形神经多行为增强建议（GNMR）框架，其明确地模拟了基于图形的消息传递体系结构下不同类型的用户项目交互之间的依赖性。 GNMR向关系聚合网络设计为模拟交互异质性，并且通过用户项交互图递归地执行相邻节点之间的嵌入传播。实体世界推荐数据集的实验表明，我们的GNMR始终如一地优于最先进的方法。源代码可在https://github.com/akaxlh/gnmr中获得。

历史互动是推荐模型培训的默认选择，通常表现出高稀疏性，即大多数用户项目对都是未观察到的缺失数据。标准选择是将缺失的数据视为负训练样本，并估计用户项目对之间的相互作用以及观察到的相互作用。通过这种方式，在训练过程中不可避免地会误标记一些潜在的互动，这将损害模型的保真度，阻碍模型回忆起错误标签的项目，尤其是长尾尾。在这项工作中，我们从新的不确定性的新角度研究了标签的问题，该问题描述了缺失数据的固有随机性。随机性促使我们超越了相互作用的可能性，并接受了不确定性建模。为此，我们提出了一个新的不确定性不确定性建议（AUR）框架，该框架由新的不确定性估计器以及正常的推荐模型组成。根据核心不确定性理论，我们得出了一个新的建议目标来学习估计量。由于错误标签的机会反映了一对的潜力，因此AUR根据不确定性提出了建议，该建议被证明是为了改善较不受欢迎的项目的建议性能而不会牺牲整体性能。我们在三个代表性推荐模型上实例化AUR：来自主流模型体系结构的矩阵分解（MF），LightGCN和VAE。两个现实世界数据集的广泛结果验证了AUR W.R.T.的有效性。更好的建议结果，尤其是在长尾项目上。

In recent years, Graph Neural Networks (GNNs), which can naturally integrate node information and topological structure, have been demonstrated to be powerful in learning on graph data. These advantages of GNNs provide great potential to advance social recommendation since data in social recommender systems can be represented as user-user social graph and user-item graph; and learning latent factors of users and items is the key. However, building social recommender systems based on GNNs faces challenges. For example, the user-item graph encodes both interactions and their associated opinions; social relations have heterogeneous strengths; users involve in two graphs (e.g., the useruser social graph and the user-item graph). To address the three aforementioned challenges simultaneously, in this paper, we present a novel graph neural network framework (GraphRec) for social recommendations. In particular, we provide a principled approach to jointly capture interactions and opinions in the user-item graph and propose the framework GraphRec, which coherently models two graphs and heterogeneous strengths. Extensive experiments on two real-world datasets demonstrate the effectiveness of the proposed framework GraphRec.

图形神经网络（GNN）已通过隐式捕获协作效应的消息通知成功地采用了推荐系统。然而，大多数现有的推荐消息机制是直接从GNN继承的，而无需仔细检查捕获的协作效果是否会受益于用户偏好的预测。在本文中，我们首先分析了消息传播如何捕获协作效应，并提出了面向建议的拓扑指标，共同的相互作用比率（CIR），该比例（CIR）衡量了节点的特定邻居与其其余邻居之间的相互作用水平。在证明了利用邻居与高级CIR合作的好处之后，我们提出了一项推荐销售的GNN，协作意识图形卷积网络（CAGCN），它超出了1-Weisfeiler-Lehman（1-WL）测试，以区分非优质 - 图形图形。六个基准数据集的实验表明，最佳CAGCN变体的表现优于最具代表性的基于GNN的建议模型LightGCN，在Recess@20中的近10％，并且达到了80 \％的加速。我们的代码可在https://github.com/yuwvandy/cagcn上公开获取。

冷启动问题是推荐任务的根本挑战。最近的自我监督学习（SSL）图形神经网络（GNNS）模型，PT-GNN，预先列出GNN模型以重建冷启动嵌入，并为冷启动推荐表示了很大的潜力。然而，由于过平滑的问题，PT-GNN只能捕获多达3阶关系，这不能提供许多有用的辅助信息来描绘目标冷启动用户或项目。此外，嵌入重建任务仅考虑用户和项目的子图内的相关性，同时忽略不同子图之间的相关间。为解决上述挑战，我们提出了一种基于多策略的冷启动推荐（MPT）的预训练方法，它从模型架构和借口任务的角度扩展了PT-GNN，以提高冷启动推荐性能。具体地，在模型架构方面，除了由GNN编码器捕获的用户和项目的短程依赖性之外，我们还引入变压器编码器以捕获远程依赖性。在借口任务方面，除了通过嵌入重建任务考虑用户和项目的相关性，我们还添加了嵌入对比学习任务以捕获用户和项目的相关性。我们在元学习设置下培训GNN和变压器编码，在这些借口任务下，以模拟真实的冷启动方案，使模型轻松迅速，适应新的冷启动用户和项目。三个公共推荐数据集的实验显示了对Vanilla GNN模型的提议MPT模型的优势，预先培训了用户/项目嵌入推断和推荐任务的GNN模型。

顺序推荐旨在为特定时间戳在特定时间戳提供历史行为中为用户选择最合适的项目。现有方法通常根据像马尔可夫链等转换的方法模拟用户行为序列。然而，这些方法也隐含地假设用户在不考虑用户之间的影响而彼此独立。实际上，这种影响在序列推荐中发挥着重要作用，因为用户的行为容易受其他人的影响。因此，期望聚合用户行为和用户之间的影响，这些用户在时间上演化并涉及用户和项目的异构图。在本文中，我们纳入了动态用户项异构图，提出了一种新的顺序推荐框架。结果，可以考虑历史行为以及用户之间的影响。为此，我们首先将顺序建议形式正式确定估计时间动态异构图和用户行为序列的条件概率的问题。之后，我们利用条件随机字段来聚合异构图形和用户行为以进行概率估计，并采用伪似然方法来得出易行目标函数。最后，我们提供所提出的框架的可扩展和灵活的实现。三个现实世界数据集的实验结果不仅展示了我们所提出的方法的有效性，而且还提供了一些关于顺序推荐的有洞察力的发现。