近年来，霍克斯进程的异步序列的知识是一个值得关注的主题，基于神经网络的鹰过程逐渐成为最热门研究的领域，特别是基于复发神经网络（RNN）。然而，这些模型仍然包含RNN的一些固有缺点，例如消失和爆炸梯度和长期依赖性问题。同时，基于自我关注的变压器在文本处理和语音识别等顺序建模中取得了巨大成功。虽然变压器鹰过程（THP）已经获得了巨大的性能改进，但是THP不会有效地利用异步事件中的时间信息，因为这些异步序列，事件发生时刻与事件的类型一样重要，而传统的THPS只是转换时间信息进入位置编码并将其添加为变压器的输入。考虑到这一点，我们提出了一种新型的基于变压器的霍克斯工艺模型，暂时关注增强变压器鹰过程（TAA-THP），我们修改了传统的DOT产品注意力结构，并介绍了关注结构的时间编码。我们对多种合成和现实生活数据集进行多项实验，以验证我们提出的TAA-THP模型的性能，与现有的基线模型相比，在不同测量上实现的显着改进，包括在测试数据集上的日志可能性，并预测事件类型的准确性和发生时间。此外，通过烧蚀研究，我们通过比较模型的性能和没有时间关注的模型的性能，生动地证明了引入额外的时间关注的优点。

异步事件序列广泛分布在自然界和人类活动中，例如地震记录，社交媒体中的用户活动等。如何蒸馏来自这些看似混乱的数据是研究人员专注的持久主题。最有用的模型之一是点过程模型，在此基础上，研究人员获得了许多明显的结果。此外，近年来，提出了神经网络基础的点过程模型，特别是复发性神经网络（RNN），并与传统模型进行比较，其性能大大提高。变压器模型的启发，可以有效地学习序列数据而无需反复和卷积结构，变压器鹰过程出现，并实现了最先进的性能。然而，有一些研究证明，转换变压器中的递归计算可以进一步提高变压器性能。因此，我们出现了一种新型的变压器鹰过程模型，通用变压器鹰过程（UTHP），其中包含递归机制和自我关注机制，并提高了模型的局部感知能力，我们还介绍了卷积神经网络（CNN）在位置方向前馈部分。我们对几个数据集进行实验，以验证UTHP的有效性，并在引入递归机制后探索变化。这些关于多个数据集的实验表明，与以前的最先进模型相比，我们提出的新模式的性能具有一定的改进。

抽象的。我们遇到的大多数真实世界数据都是异步事件序列，因此过去几十年的特点是在社交网络，电子医疗记录和金融交易领域实施各种点进程。在开始时，霍克斯过程及其变体可以同时模拟复杂序列中不同事件之间的自触发和相互触发模式，以清晰和定量的方式更受欢迎.Later On，随着神经网络的进步，神经网络的进程陆续提出，逐渐成为一个研究热点。变压器鹰过程（THP）的提议取得了巨大的性能改进，因此掀起了基于变压器的神经鹰过程的新升级。但是，THP不会充分利用异步事件序列中发生的发生时间和事件类型的信息。它只是添加了事件类型转换的编码和将时间转换的位置编码到源编码。与此同时，从单个变压器构建的学习者将导致偏差不可避免。为了缓解这些问题，我们提出了一个三变形率霍克斯进程（TRI-THP）模型，其中将事件和时间信息作为辅助信息添加到DOT-Product Idition中，以形成新的多回力。 TRI-THP的有效性由一系列关于现实世界和合成数据的一系列精心设计的实验证明。

我们提出了一种新型的复发图网络（RGN）方法，用于通过学习潜在的复杂随机过程来预测离散标记的事件序列。使用点过程的框架，我们将标记的离散事件序列解释为各种唯一类型的不同序列的叠加。图网络的节点使用LSTM来合并过去的信息，而图形注意力网络（GAT网络）引入了强烈的电感偏见，以捕获这些不同类型的事件之间的相互作用。通过更改自我注意力的机制从过去的事件中参加活动，我们可以从$ \ MATHCAL {O}（n^2）$（事件总数）到$ \ Mathcal的时间和空间复杂性降低{o}（| \ Mathcal {y} |^2）$（事件类型的数量）。实验表明，与最新的基于最新的变压器架构相比，所提出的方法可以提高对数可能具有较低时间和空间复杂性的对数可能具有较低时间和空间复杂性的任务的性能。

时间点过程作为连续域的随机过程通常用于模拟具有发生时间戳的异步事件序列。由于深度神经网络的强烈表达性，在时间点过程的背景下，它们是捕获异步序列中的模式的有希望的选择。在本文中，我们首先审查了最近的研究强调和困难，在深处时间点过程建模异步事件序列，可以得出四个领域：历史序列的编码，条件强度函数的制定，事件的关系发现和学习方法优化。我们通过将其拆除进入四个部分来介绍最近提出的模型，并通过对公平实证评估的相同学习策略进行重新涂布前三个部分进行实验。此外，我们扩展了历史编码器和条件强度函数家族，并提出了一种GRANGER因果区发现框架，用于利用多种事件之间的关系。因为格兰杰因果关系可以由格兰杰因果关系图表示，所以采用分层推断框架中的离散图结构学习来揭示图的潜在结构。进一步的实验表明，具有潜在图表发现的提议框架可以捕获关系并实现改进的拟合和预测性能。

时间点过程（TPP）通常用于模拟具有出现时间戳的异步事件序列，并由以历史影响为条件的概率模型揭示。尽管以前的许多作品通过最大程度地提高了TPP模型的“合适性”，但它们的预测性能不令人满意，这意味着模型产生的时间戳与真实的观察相距甚远。最近，诸如DENOTO扩散和得分匹配模型之类的深层生成模型通过证明其生成高质量样本的能力，在图像生成任务方面取得了巨大进展。但是，在事件发生在TPP的情况下，尚无完整而统一的作品来探索和研究生成模型的潜力。在这项工作中，我们尝试通过设计一个unified \ textbf {g} \ textbf {n} eural \ textbf {t} emporal \ emporal \ textbf {p} oint \ textbf {p} rocess {p} rocess（\ textsc {\ textsc { GNTPP}）模型探索其可行性和有效性，并进一步改善模型的预测性能。此外，在衡量历史影响方面，我们修改了细心的模型，这些模型总结了历史事件的影响，并以适应性的重新加权术语来考虑事件的类型关系和时间间隔。已经进行了广泛的实验，以说明\ textsc {gntpp}的预测能力的提高，并用一系列生成概率解码器，并从修订后的注意力中获得了绩效增长。据我们所知，这是第一批适应生成模型在完整的统一框架中并在TPP背景下研究其有效性的作品。我们的代码库包括第5.1.1节中给出的所有方法。5.1.1在\ url {https://github.com/bird-tao/gntpp}中打开。我们希望代码框架可以促进神经TPP的未来研究。

We consider a sequential decision making problem where the agent faces the environment characterized by the stochastic discrete events and seeks an optimal intervention policy such that its long-term reward is maximized. This problem exists ubiquitously in social media, finance and health informatics but is rarely investigated by the conventional research in reinforcement learning. To this end, we present a novel framework of the model-based reinforcement learning where the agent's actions and observations are asynchronous stochastic discrete events occurring in continuous-time. We model the dynamics of the environment by Hawkes process with external intervention control term and develop an algorithm to embed such process in the Bellman equation which guides the direction of the value gradient. We demonstrate the superiority of our method in both synthetic simulator and real-world problem.

在本文中，我们使用霍克斯过程来模拟失效序列，即压缩机站的事件，并对压缩机站的各种故障事件进行生存分析。然而，到目前为止，几乎所有相关文献的霍克斯点过程都假定条件强度函数的基本强度是时间不变。这种假设显然太苛刻了才能得到验证。例如，在实际应用中，包括财务分析，可靠性分析，生存分析和社会网络分析，真理条件强度函数的基本强度很可能是时变的。恒定基本强度不会反映随时间发生的故障的基本概率。因此，为了解决这个问题，在本文中，我们提出了一种新的时变基强度，例如，来自威布尔分布。首先，我们从Weibull分布介绍基本强度，然后我们通过最大似然估计器提出有效的学习算法。对恒基强度合成数据，时变基本强度合成数据和实际数据的实验表明，我们的方法可以同时和鲁棒地学习鹰过程和时变基强度的触发模式。真实世界数据的实验揭示了不同种类的失败的格兰杰因果关系和随着时间的推移变化的故障基础概率。

我们提出了一种建模不规则间隔的离散事件序列的方法。我们从变压器的连续时间变型开始，最初制定（Vaswani等，2017）用于没有时间戳的序列。我们在时间$ T $嵌入可能的事件（或其他布尔事实）通过注意在时间$ <T $（以及它们发生时为真实的事实）的事件上。我们使用模式匹配的逻辑规则来控制此关注，这些规则与共享与会者的事件和事实相关。这些规则确定将参加哪些先前的事件，以及如何将事件和事实的嵌入式转换为注意力查询，键和值。其他逻辑规则描述了如何以响应事件更改集事集。我们的方法密切关注Mei等人。 （2020A），并通过时间形式主义进行逻辑规则的时间正式主义。与那样一样，域专家首先写一组逻辑规则，每个逻辑规则在每次$ t $时都建立一个可能的事件和其他事实。每个可能的事件或其他事实都是使用从建立它的规则派生的神经结构嵌入。我们与Mei等人的唯一区别。 （2020A）是，我们得出了一个更平坦的关注的神经结构，而他们使用了更多的串行LSTM架构。我们发现我们的注意力的方法在Robocup数据集中表现得同样良好，逻辑规则在提高性能方面发挥着重要作用。我们还将这两种方法与两种以前的基于关注的方法进行了比较（Zuo等，2020; Zhang等，2020A），在没有逻辑规则的情况下更简单的合成和真实域，并发现我们所提出的方法至少是好的，而有时比其他三种方法中的每一种更好。

通过深度学习（DL）大大扩展了数据驱动故障诊断模型的范围。然而，经典卷积和反复化结构具有计算效率和特征表示的缺陷，而基于注意机制的最新变压器架构尚未应用于该字段。为了解决这些问题，我们提出了一种新颖的时变电片（TFT）模型，其灵感来自序列加工的香草变压器大规模成功。特别是，我们设计了一个新的笨蛋和编码器模块，以从振动信号的时频表示（TFR）中提取有效抽象。在此基础上，本文提出了一种基于时变电片的新的端到端故障诊断框架。通过轴承实验数据集的案例研究，我们构建了最佳变压器结构并验证了其故障诊断性能。与基准模型和其他最先进的方法相比，证明了所提出的方法的优越性。

学习时空事件的动态是一个根本的问题。神经点过程提高了与深神经网络的点过程模型的表现。但是，大多数现有方法只考虑没有空间建模的时间动态。我们提出了深蓝点过程（DeepStpp），这是一款整合时空点流程的深层动力学模型。我们的方法灵活，高效，可以在空间和时间准确地预测不规则采样的事件。我们方法的关键构造是非参数时空强度函数，由潜在过程管理。强度函数享有密度的闭合形式集成。潜在进程捕获事件序列的不确定性。我们使用摊销变分推理来推断使用深网络的潜在进程。使用合成数据集，我们验证我们的模型可以准确地学习真实的强度函数。在真实世界的基准数据集上，我们的模型展示了最先进的基线的卓越性能。

Remaining Useful Life (RUL) estimation plays a critical role in Prognostics and Health Management (PHM). Traditional machine health maintenance systems are often costly, requiring sufficient prior expertise, and are difficult to fit into highly complex and changing industrial scenarios. With the widespread deployment of sensors on industrial equipment, building the Industrial Internet of Things (IIoT) to interconnect these devices has become an inexorable trend in the development of the digital factory. Using the device's real-time operational data collected by IIoT to get the estimated RUL through the RUL prediction algorithm, the PHM system can develop proactive maintenance measures for the device, thus, reducing maintenance costs and decreasing failure times during operation. This paper carries out research into the remaining useful life prediction model for multi-sensor devices in the IIoT scenario. We investigated the mainstream RUL prediction models and summarized the basic steps of RUL prediction modeling in this scenario. On this basis, a data-driven approach for RUL estimation is proposed in this paper. It employs a Multi-Head Attention Mechanism to fuse the multi-dimensional time-series data output from multiple sensors, in which the attention on features is used to capture the interactions between features and attention on sequences is used to learn the weights of time steps. Then, the Long Short-Term Memory Network is applied to learn the features of time series. We evaluate the proposed model on two benchmark datasets (C-MAPSS and PHM08), and the results demonstrate that it outperforms the state-of-art models. Moreover, through the interpretability of the multi-head attention mechanism, the proposed model can provide a preliminary explanation of engine degradation. Therefore, this approach is promising for predictive maintenance in IIoT scenarios.

任何人类活动都可以表示为实现某个目标的行动的时间顺序。与机器制造的时间序列不同，这些动作序列是高度分散的，因为在不同的人之间完成类似动作的时间可能会有所不同。因此，了解这些序列的动力学对于许多下游任务，例如活动长度预测，目标预测等都是必不可少的。对活动序列建模的现有神经方法要么仅限于视觉数据，要么是特定于任务的神经方法，即仅限于下一个动作或目标预测。在本文中，我们提出了积极主动的，是一个神经标记的时间点过程（MTPP）框架，用于建模活动序列中的动作连续时间分布，同时解决三个高影响力问题 - 下一步动作预测，序列 - 目标预测，序列预测，和端到端序列生成。具体而言，我们利用具有时间归一化流量的自我发项模块来模拟序列中的动作之间的影响和到达时间间的时间。此外，对于时间敏感的预测，我们通过基于边缘的优化程序进行了序列目标的早期检测。这种往返允许积极主动使用有限数量的动作来预测序列目标。从三个活动识别数据集得出的序列进行的广泛实验表明，在动作和目标预测方面，主动的准确性提升了，并且是有史以来第一次应用端到端动作序列生成的实验。

基于电子健康记录（EHR）的健康预测建筑模型已成为一个活跃的研究领域。 EHR患者旅程数据由患者定期的临床事件/患者访问组成。大多数现有研究的重点是建模访问之间的长期依赖性，而无需明确考虑连续访问之间的短期相关性，在这种情况下，将不规则的时间间隔（并入为辅助信息）被送入健康预测模型中以捕获患者期间的潜在渐进模式。 。我们提出了一个具有四个模块的新型深神经网络，以考虑各种变量对健康预测的贡献：i）堆叠的注意力模块在每个患者旅程中加强了临床事件中的深层语义，并产生访问嵌入，ii）短 - 术语时间关注模块模型在连续访问嵌入之间的短期相关性，同时捕获这些访问嵌入中时间间隔的影响，iii）长期时间关注模块模型的长期依赖模型，同时捕获时间间隔内的时间间隔的影响这些访问嵌入，iv），最后，耦合的注意模块适应了短期时间关注和长期时间注意模块的输出，以做出健康预测。对模拟III的实验结果表明，与现有的最新方法相比，我们的模型的预测准确性以及该方法的可解释性和鲁棒性。此外，我们发现建模短期相关性有助于局部先验的产生，从而改善了患者旅行的预测性建模。

Accurate traffic flow prediction, a hotspot for intelligent transportation research, is the prerequisite for mastering traffic and making travel plans. The speed of traffic flow can be affected by roads condition, weather, holidays, etc. Furthermore, the sensors to catch the information about traffic flow will be interfered with by environmental factors such as illumination, collection time, occlusion, etc. Therefore, the traffic flow in the practical transportation system is complicated, uncertain, and challenging to predict accurately. This paper proposes a deep encoder-decoder prediction framework based on variational Bayesian inference. A Bayesian neural network is constructed by combining variational inference with gated recurrent units (GRU) and used as the deep neural network unit of the encoder-decoder framework to mine the intrinsic dynamics of traffic flow. Then, the variational inference is introduced into the multi-head attention mechanism to avoid noise-induced deterioration of prediction accuracy. The proposed model achieves superior prediction performance on the Guangzhou urban traffic flow dataset over the benchmarks, particularly when the long-term prediction.

来自多个来源的一些数据可以建模为具有不同采样频率，数据组成，时间关系和特征不同的多模式时间序列事件。不同类型的事件具有复杂的非线性关系，每个事件的时间都是不规则的。经典的复发性神经网络（RNN）模型和当前最新变压器模型都无法很好地处理这些功能。在本文中，基于长期短期存储网络（LSTM）提出了用于多模式不规则时间序列事件的特征融合框架。首先，根据不同事件的不规则模式提取复杂特征。其次，将复杂特征之间的非线性相关性和复杂的时间依赖关系捕获并融合到张量中。最后，使用特征门来控制不同张量的访问频率。对MIMIC-III数据集进行的广泛实验表明，所提出的框架在AUC（接收器操作特征曲线下的区域）和AP（平均精度）方面显着优于现有方法。

由于非平稳性，现实世界多变量时间序列（MTS）的分布会随着时间而变化，称为分布漂移。大多数现有的MT预测模型都会极大地遭受分销漂移的影响，并随着时间的推移降低了预测性能。现有方法通过适应最新到达数据或根据未来数据得出的元知识进行自我纠正来解决分布漂移。尽管在MT的预测中取得了巨大的成功，但这些方法几乎无法捕获固有的分布变化，尤其是从分布的角度来看。因此，我们提出了一个新型的框架时间条件变化自动编码器（TCVAE），以对MTS中历史观察结果和未来数据之间的动态分布依赖性进行建模，并将依赖性作为时间条件分布推断为利用潜在变量。具体而言，新型的颞鹰注意机制代表了随后馈入馈送前网络的时间因素，以估计潜在变量的先前高斯分布。时间因素的表示进一步动态地调整了基于变压器的编码器和解码器的结构，以利用门控注意机制来变化。此外，我们引入条件连续归一化流量，以将先前的高斯转化为复杂且无形式的分布，以促进对时间条件分布的灵活推断。在六个现实世界MTS数据集上进行的广泛实验表明，与最先进的MTS预测基线相比，TCVAE的出色鲁棒性和有效性。我们进一步说明了TCVAE通过多方面的案例研究和现实情况下的可视化来说明TCVAE的适用性。

Predicting discrete events in time and space has many scientific applications, such as predicting hazardous earthquakes and outbreaks of infectious diseases. History-dependent spatio-temporal Hawkes processes are often used to mathematically model these point events. However, previous approaches have faced numerous challenges, particularly when attempting to forecast one or multiple future events. In this work, we propose a new neural architecture for multi-event forecasting of spatio-temporal point processes, utilizing transformers, augmented with normalizing flows and probabilistic layers. Our network makes batched predictions of complex history-dependent spatio-temporal distributions of future discrete events, achieving state-of-the-art performance on a variety of benchmark datasets including the South California Earthquakes, Citibike, Covid-19, and Hawkes synthetic pinwheel datasets. More generally, we illustrate how our network can be applied to any dataset of discrete events with associated markers, even when no underlying physics is known.

新闻建议是现代社会中有效的信息传播解决方案。虽然近年来已经见证了许多有前途的新闻推荐模型，但它们主要以静态方式捕获文件级上的用户新交互。然而，在现实世界的情景中，新闻可以很复杂和多样化，盲目地将所有内容挤压到嵌入式矢量中，在提取与用户的个性化偏好兼容的信息中可以不太有效。此外，新闻推荐方案中的用户偏好可以是高度动态的，并且应该设计定制的动态机制以获得更好的推荐性能。在本文中，我们提出了一种新颖的动态新闻推荐模型。为了更好地理解新闻内容，我们利用注意机制分别代表了从句子，元素和文档级别的消息。为了捕获用户的动态偏好，连续时间信息无缝地结合到关注权重的计算中。更具体地，我们设计了一个分层关注网络，其中下层学习不同句子和元素的重要性，并且上层捕获先前互动和目标新闻之间的相关性。为了全面模型动态字符，我们首先通过结合绝对和相对时间信息来增强传统的关注机制，然后我们提出了一种动态的负采样方法来优化用户的隐式反馈。我们基于三个现实世界数据集进行广泛的实验，以展示我们的模型的效果。我们的源代码和预先训练的表示在https://github.com/lshowway/d-han提供。

基于历史行为数据的行为预测具有实际的现实意义。它已在推荐，预测学习成绩等中应用。随着用户数据描述的完善，新功能的发展以及多个数据源的融合，包含多种行为的异质行为数据变得越来越普遍。在本文中，我们旨在纳入行为预测的异质用户行为和社会影响。为此，本文提出了一个长期术语内存（LSTM）的变体，该变体可以在对行为序列进行建模时考虑上下文信息，该投影机制可以模拟不同类型的行为之间的多方面关系以及多方面的多方面关系注意机制可以动态地从不同的方面找到信息。许多行为数据属于时空数据。提出了一种基于时空数据并建模社会影响力的社交行为图的无监督方法。此外，基于剩余的基于学习的解码器旨在根据社会行为表示和其他类型的行为表示自动构建多个高阶交叉特征。对现实世界数据集的定性和定量实验已经证明了该模型的有效性。