原产地目的地（O-D）旅行需求预测是运输中的基本挑战。最近，时空深度学习模型展示了提高预测准确性的巨大潜力。但是，很少有研究能够解决细粒O-D矩阵中的不确定性和稀疏问题。这提出了一个严重的问题，因为许多零偏离了确定性深度学习模型的基础的高斯假设。为了解决这个问题，我们设计了一个空间零膨胀的负二项式神经网络（Stzinb-gnn），以量化稀疏旅行需求的不确定性。它使用扩散和时间卷积网络分析空间和时间相关性，然后将其融合以参数化行进需求的概率分布。使用两个具有各种空间和时间分辨率的现实世界数据集对STZINB-GNN进行了检查。结果表明，由于其高精度，紧密的置信区间和可解释的参数，尤其是在高时空分辨率下，Stzinb-GNN比基准模型的优越性。 STZINB-GNN的稀疏参数对各种运输应用具有物理解释。

动态需求预测对于城市交通系统有效运行和管理至关重要。在单模需求预测上进行了广泛的研究，忽略了不同运输模式的需求可以彼此相关。尽管最近的一些努力，现有的多式化需求预测方法通常不够灵活，以便在不同模式下具有不同的空间单元和异质时空相关性的多路复用网络。为了解决这些问题，本研究提出了一种多重峰需求预测的多关系时空图神经网络（ST-MRGNN）。具体地，跨模式的空间依赖性被多个内部和模态关系图编码。引入多关系图神经网络（MRGNN）以捕获跨模式异构空间依赖性，包括广义图卷积网络，以了解关系图中的消息传递机制和基于关注的聚合模块，以总结不同的关系。我们进一步将MRGNN与时间门控卷积层相结合，共同模拟异质时滞的相关性。广泛的实验是使用真实的地铁和来自纽约市的乘车数据集进行的实验，结果验证了我们提出的方法对模式的现有方法的提高性能。需求稀疏位置的改进特别大。进一步分析ST-MRGNN的注意机制还表明了对理解跨模式相互作用的良好解释性。

近年来，图形神经网络（GNN）与复发性神经网络（RNN）的变体相结合，在时空预测任务中达到了最先进的性能。对于流量预测，GNN模型使用道路网络的图形结构来解释链接和节点之间的空间相关性。最近的解决方案要么基于复杂的图形操作或避免预定义的图。本文提出了一种新的序列结构，以使用具有稀疏体系结构的GNN-RNN细胞在多个抽象的抽象上提取时空相关性，以减少训练时间与更复杂的设计相比。通过多个编码器编码相同的输入序列，并随着编码层的增量增加，使网络能够通过多级抽象来学习一般和详细的信息。我们进一步介绍了来自加拿大蒙特利尔的街道细分市场流量数据的新基准数据集。与高速公路不同，城市路段是循环的，其特征是复杂的空间依赖性。与基线方法相比，一小时预测的实验结果和我们的MSLTD街道级段数据集对我们的模型提高了7％以上，同时将计算资源要求提高了一半以上竞争方法。

准确的交通预测对于智能城市实现交通控制，路线计划和流动检测至关重要。尽管目前提出了许多时空方法，但这些方法在同步捕获流量数据的时空依赖性方面缺陷。此外，大多数方法忽略了随着流量数据的变化而产生的道路网络节点之间的动态变化相关性。我们建议基于神经网络的时空交互式动态图卷积网络（STIDGCN），以应对上述流量预测的挑战。具体而言，我们提出了一个交互式动态图卷积结构，该结构将序列划分为间隔，并通过交互式学习策略同步捕获流量数据的时空依赖性。交互式学习策略使StidGCN有效地预测。我们还提出了一个新颖的动态图卷积模块，以捕获由图生成器和融合图卷积组成的流量网络中动态变化的相关性。动态图卷积模块可以使用输入流量数据和预定义的图形结构来生成图形结构。然后将其与定义的自适应邻接矩阵融合，以生成动态邻接矩阵，该矩阵填充了预定义的图形结构，并模拟了道路网络中节点之间的动态关联的产生。在四个现实世界流量流数据集上进行的广泛实验表明，StidGCN的表现优于最先进的基线。

我们都取决于流动性，车辆运输会影响我们大多数人的日常生活。因此，预测道路网络中流量状态的能力是一项重要的功能和具有挑战性的任务。流量数据通常是从部署在道路网络中的传感器获得的。关于时空图神经网络的最新建议通过将流量数据建模为扩散过程，在交通数据中建模复杂的时空相关性方面取得了巨大进展。但是，直观地，流量数据包含两种不同类型的隐藏时间序列信号，即扩散信号和固有信号。不幸的是，几乎所有以前的作品都将交通信号完全视为扩散的结果，同时忽略了固有的信号，这会对模型性能产生负面影响。为了提高建模性能，我们提出了一种新型的脱钩时空框架（DSTF），该框架以数据驱动的方式将扩散和固有的交通信息分开，其中包含独特的估计门和残差分解机制。分离的信号随后可以通过扩散和固有模块分别处理。此外，我们提出了DSTF的实例化，分离的动态时空图神经网络（D2STGNN），可捕获时空相关性，还具有动态图学习模块，该模块针对学习流量网络动态特征的学习。使用四个现实世界流量数据集进行的广泛实验表明，该框架能够推进最先进的框架。

建模城市环境中的网络级交通流量如何变化对于运输，公共安全和城市规划中的决策有用。交通流量系统可以视为一个动态过程，随着时间的推移，状态之间（例如，每个道路段的交通量）之间过渡。在现实世界中的流量系统中，诸如交通信号控制或可逆车道更改之类的交通操作动作，该系统的状态受历史状态和交通操作的行动的影响。在本文中，我们考虑了在现实世界中建模网络级交通流量的问题，在现实世界中，可用数据稀疏（即仅观察到交通系统的一部分）。我们提出了Dtignn，该方法可以预测稀疏数据的网络级流量流。 Dtignn将交通系统建模为受交通信号影响的动态图，学习以运输的基本过渡方程为基础的过渡模型，并预测未来的交通状态在此过程中归类。通过全面的实验，我们证明了我们的方法优于最先进的方法，并且可以更好地支持运输中的决策。

不确定性是时间序列预测任务的重要考虑因素。在这项工作中，我们专门致力于量化流量预测的不确定性。为了实现这一目标，我们开发了深层时空的不确定性定量（DeepStuq），可以估计核心和认知不确定性。我们首先利用时空模型来对流量数据的复杂时空相关性进行建模。随后，开发了两个独立的次神经网络，以最大化异质对数可能性，以估计不确定性。为了估计认知不确定性，我们通过整合蒙特卡洛辍学和平均自适应重量的重新训练方法来结合变异推理和深层结合的优点。最后，我们提出了基于温度缩放的后处理校准方法，从而提高了模型的概括能力估计不确定性。在四个公共数据集上进行了广泛的实验，经验结果表明，就点预测和不确定性量化而言，所提出的方法优于最先进的方法。

Traffic state prediction in a transportation network is paramount for effective traffic operations and management, as well as informed user and system-level decision-making. However, long-term traffic prediction (beyond 30 minutes into the future) remains challenging in current research. In this work, we integrate the spatio-temporal dependencies in the transportation network from network modeling, together with the graph convolutional network (GCN) and graph attention network (GAT). To further tackle the dramatic computation and memory cost caused by the giant model size (i.e., number of weights) caused by multiple cascaded layers, we propose sparse training to mitigate the training cost, while preserving the prediction accuracy. It is a process of training using a fixed number of nonzero weights in each layer in each iteration. We consider the problem of long-term traffic speed forecasting for a real large-scale transportation network data from the California Department of Transportation (Caltrans) Performance Measurement System (PeMS). Experimental results show that the proposed GCN-STGT and GAT-STGT models achieve low prediction errors on short-, mid- and long-term prediction horizons, of 15, 30 and 45 minutes in duration, respectively. Using our sparse training, we could train from scratch with high sparsity (e.g., up to 90%), equivalent to 10 times floating point operations per second (FLOPs) reduction on computational cost using the same epochs as dense training, and arrive at a model with very small accuracy loss compared with the original dense training

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

流量预测在智能运输系统中交通控制和调度任务的实现中起着重要作用。随着数据源的多元化，合理地使用丰富的流量数据来对流量流中复杂的时空依赖性和非线性特征进行建模是智能运输系统的关键挑战。此外，清楚地评估从不同数据中提取的时空特征的重要性成为一个挑战。提出了双层 - 空间时间特征提取和评估（DL -STFEE）模型。 DL-STFEE的下层是时空特征提取层。流量数据中的空间和时间特征是通过多画图卷积和注意机制提取的，并生成了空间和时间特征的不同组合。 DL-STFEE的上层是时空特征评估层。通过高维自我注意力发项机制产生的注意力评分矩阵，空间特征组合被融合和评估，以便获得不同组合对预测效应的影响。在实际的流量数据集上进行了三组实验，以表明DL-STFEE可以有效地捕获时空特征并评估不同时空特征组合的重要性。

Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.

How can we augment a dynamic graph for improving the performance of dynamic graph neural networks? Graph augmentation has been widely utilized to boost the learning performance of GNN-based models. However, most existing approaches only enhance spatial structure within an input static graph by transforming the graph, and do not consider dynamics caused by time such as temporal locality, i.e., recent edges are more influential than earlier ones, which remains challenging for dynamic graph augmentation. In this work, we propose TiaRa (Time-aware Random Walk Diffusion), a novel diffusion-based method for augmenting a dynamic graph represented as a discrete-time sequence of graph snapshots. For this purpose, we first design a time-aware random walk proximity so that a surfer can walk along the time dimension as well as edges, resulting in spatially and temporally localized scores. We then derive our diffusion matrices based on the time-aware random walk, and show they become enhanced adjacency matrices that both spatial and temporal localities are augmented. Throughout extensive experiments, we demonstrate that TiaRa effectively augments a given dynamic graph, and leads to significant improvements in dynamic GNN models for various graph datasets and tasks.

图表上的交通流量预测在许多字段（例如运输系统和计算机网络）中具有现实世界应用。由于复杂的时空相关性和非线性交通模式，交通预测可能是高度挑战的。现有的作品主要是通过分别考虑空间相关性和时间相关性来模拟此类时空依赖性的模型，并且无法对直接的时空相关性进行建模。受到图形域中变形金刚最近成功的启发，在本文中，我们建议使用局部多头自我攻击直接建模时空图上的跨空间相关性。为了降低时间的复杂性，我们将注意力接收场设置为空间相邻的节点，还引入了自适应图以捕获隐藏的空间范围依赖性。基于这些注意机制，我们提出了一种新型的自适应图形时空变压器网络（ASTTN），该网络堆叠了多个时空注意层以在输入图上应用自我注意力，然后是线性层进行预测。公共交通网络数据集，Metr-La PEMS-Bay，PEMSD4和PEMSD7的实验结果证明了我们模型的出色性能。

人口级社会事件，如民事骚乱和犯罪，往往对我们的日常生活产生重大影响。预测此类事件对于决策和资源分配非常重要。由于缺乏关于事件发生的真实原因和潜在机制的知识，事件预测传统上具有挑战性。近年来，由于两个主要原因，研究事件预测研究取得了重大进展：（1）机器学习和深度学习算法的开发和（2）社交媒体，新闻来源，博客，经济等公共数据的可访问性指标和其他元数据源。软件/硬件技术中的数据的爆炸性增长导致了社会事件研究中的深度学习技巧的应用。本文致力于提供社会事件预测的深层学习技术的系统和全面概述。我们专注于两个社会事件的域名：\ Texit {Civil unrest}和\ texit {犯罪}。我们首先介绍事件预测问题如何作为机器学习预测任务制定。然后，我们总结了这些问题的数据资源，传统方法和最近的深度学习模型的发展。最后，我们讨论了社会事件预测中的挑战，并提出了一些有希望的未来研究方向。

Spatiotemporal forecasting has various applications in neuroscience, climate and transportation domain. Traffic forecasting is one canonical example of such learning task. The task is challenging due to (1) complex spatial dependency on road networks, (2) non-linear temporal dynamics with changing road conditions and (3) inherent difficulty of long-term forecasting. To address these challenges, we propose to model the traffic flow as a diffusion process on a directed graph and introduce Diffusion Convolutional Recurrent Neural Network (DCRNN), a deep learning framework for traffic forecasting that incorporates both spatial and temporal dependency in the traffic flow. Specifically, DCRNN captures the spatial dependency using bidirectional random walks on the graph, and the temporal dependency using the encoder-decoder architecture with scheduled sampling. We evaluate the framework on two real-world large scale road network traffic datasets and observe consistent improvement of 12% -15% over state-of-the-art baselines.

准确预测网络范围的交通状况对于智能运输系统至关重要。在过去十年中，机器学习技术已被广泛用于此任务，导致最先进的性能。我们提出了一种新颖的深入学习模型，图卷积出的经常性神经网络（GCGRNN），预测网络范围，多步交通量。 GCGRNN可以在历史流量数据中自动捕获交通传感器和时间依赖性之间的空间相关性。我们已经使用加利福尼亚州洛杉矶的150个传感器中提取的两个交通数据集进行了评估我们的模型，分别在一小时和15分钟的时间分辨率。结果表明，我们的模型在预测准确性方面优于其他五个基准模型。例如，与使用每小时数据集的最新的扩散卷积经常性神经网络（DCRNN）模型相比，我们的模型将MAE减少25.3％，RMSE以29.2％，并用20.2％的MAPE。我们的模型还可以比DCRNN更快的培训达52％。 GCGRNN的数据和实现可以在https://github.com/leilin-research/gcgrnn找到。

“轨迹”是指由地理空间中的移动物体产生的迹线，通常由一系列按时间顺序排列的点表示，其中每个点由地理空间坐标集和时间戳组成。位置感应和无线通信技术的快速进步使我们能够收集和存储大量的轨迹数据。因此，许多研究人员使用轨迹数据来分析各种移动物体的移动性。在本文中，我们专注于“城市车辆轨迹”，这是指城市交通网络中车辆的轨迹，我们专注于“城市车辆轨迹分析”。城市车辆轨迹分析提供了前所未有的机会，可以了解城市交通网络中的车辆运动模式，包括以用户为中心的旅行经验和系统范围的时空模式。城市车辆轨迹数据的时空特征在结构上相互关联，因此，许多先前的研究人员使用了各种方法来理解这种结构。特别是，由于其强大的函数近似和特征表示能力，深度学习模型是由于许多研究人员的注意。因此，本文的目的是开发基于深度学习的城市车辆轨迹分析模型，以更好地了解城市交通网络的移动模式。特别是，本文重点介绍了两项研究主题，具有很高的必要性，重要性和适用性：下一个位置预测，以及合成轨迹生成。在这项研究中，我们向城市车辆轨迹分析提供了各种新型模型，使用深度学习。

As ride-hailing services become increasingly popular, being able to accurately predict demand for such services can help operators efficiently allocate drivers to customers, and reduce idle time, improve congestion, and enhance the passenger experience. This paper proposes UberNet, a deep learning Convolutional Neural Network for short-term prediction of demand for ride-hailing services. UberNet empploys a multivariate framework that utilises a number of temporal and spatial features that have been found in the literature to explain demand for ride-hailing services. The proposed model includes two sub-networks that aim to encode the source series of various features and decode the predicting series, respectively. To assess the performance and effectiveness of UberNet, we use 9 months of Uber pickup data in 2014 and 28 spatial and temporal features from New York City. By comparing the performance of UberNet with several other approaches, we show that the prediction quality of the model is highly competitive. Further, Ubernet's prediction performance is better when using economic, social and built environment features. This suggests that Ubernet is more naturally suited to including complex motivators in making real-time passenger demand predictions for ride-hailing services.

揭开多个机场之间的延迟传播机制的神秘面纱对于精确且可解释的延迟预测至关重要，这对于所有航空业利益相关者来说至关重要。主要挑战在于有效利用与延迟传播有关的时空依赖性和外源因素。但是，以前的作品仅考虑有限的时空模式，其因素很少。为了促进延迟预测的更全面的传播建模，我们提出了时空传播网络（STPN），这是一种时空可分开的图形卷积网络，在时空依赖性捕获中是新颖的。从空间关系建模的方面，我们提出了一个多画卷积模型，考虑地理位置和航空公司计划。从时间依赖性捕获的方面，我们提出了一种多头的自我发起的机制，可以端对端学习，并明确地推定延迟时间序列的多种时间依赖性。我们表明，关节空间和时间学习模型产生了Kronecker产品的总和，这是由于时空依赖性归因于几个空间和时间邻接矩阵的总和。通过这种方式，STPN允许对空间和时间因素进行串扰，以建模延迟传播。此外，将挤压和激发模块添加到STPN的每一层，以增强有意义的时空特征。为此，我们在大规模机场网络中将STPN应用于多步进和出发延迟预测。为了验证我们的模型的有效性，我们尝试了两个现实世界中的延迟数据集，包括美国和中国航班延迟；我们表明，STPN优于最先进的方法。此外，STPN产生的反事实表明，它学习了可解释的延迟传播模式。

Spatial-temporal graph modeling is an important task to analyze the spatial relations and temporal trends of components in a system. Existing approaches mostly capture the spatial dependency on a fixed graph structure, assuming that the underlying relation between entities is pre-determined. However, the explicit graph structure (relation) does not necessarily reflect the true dependency and genuine relation may be missing due to the incomplete connections in the data. Furthermore, existing methods are ineffective to capture the temporal trends as the RNNs or CNNs employed in these methods cannot capture long-range temporal sequences. To overcome these limitations, we propose in this paper a novel graph neural network architecture, Graph WaveNet, for spatial-temporal graph modeling. By developing a novel adaptive dependency matrix and learn it through node embedding, our model can precisely capture the hidden spatial dependency in the data. With a stacked dilated 1D convolution component whose receptive field grows exponentially as the number of layers increases, Graph WaveNet is able to handle very long sequences. These two components are integrated seamlessly in a unified framework and the whole framework is learned in an end-to-end manner. Experimental results on two public traffic network datasets, METR-LA and PEMS-BAY, demonstrate the superior performance of our algorithm.