Transformer-based models have gained large popularity and demonstrated promising results in long-term time-series forecasting in recent years. In addition to learning attention in time domain, recent works also explore learning attention in frequency domains (e.g., Fourier domain, wavelet domain), given that seasonal patterns can be better captured in these domains. In this work, we seek to understand the relationships between attention models in different time and frequency domains. Theoretically, we show that attention models in different domains are equivalent under linear conditions (i.e., linear kernel to attention scores). Empirically, we analyze how attention models of different domains show different behaviors through various synthetic experiments with seasonality, trend and noise, with emphasis on the role of softmax operation therein. Both these theoretical and empirical analyses motivate us to propose a new method: TDformer (Trend Decomposition Transformer), that first applies seasonal-trend decomposition, and then additively combines an MLP which predicts the trend component with Fourier attention which predicts the seasonal component to obtain the final prediction. Extensive experiments on benchmark time-series forecasting datasets demonstrate that TDformer achieves state-of-the-art performance against existing attention-based models.

尽管基于变压器的方法已显着改善了长期序列预测的最新结果，但它们不仅在计算上昂贵，而且更重要的是，无法捕获全球时间序列的观点（例如，整体趋势）。为了解决这些问题，我们建议将变压器与季节性趋势分解方法相结合，在这种方法中，分解方法捕获了时间序列的全局概况，而变形金刚捕获了更详细的结构。为了进一步提高变压器的长期预测性能，我们利用了以下事实：大多数时间序列倾向于在诸如傅立叶变换之类的知名基础上具有稀疏的表示形式，并开发出频率增强的变压器。除了更有效外，所提出的方法被称为频率增强分解变压器（{\ bf fedFormer}），比标准变压器更有效，具有线性复杂性对序列长度。我们对六个基准数据集的实证研究表明，与最先进的方法相比，FedFormer可以将预测错误降低14.8 \％$ $和$ 22.6 \％\％\％\％$ $，分别为多变量和单变量时间序列。代码可在https://github.com/maziqing/fedformer上公开获取。

最近的研究表明，诸如RNN和Transformers之类的深度学习模型为长期预测时间序列带来了显着的性能增长，因为它们有效地利用了历史信息。但是，我们发现，如何在神经网络中保存历史信息，同时避免过度适应历史上的噪音，这仍然有很大的改进空间。解决此问题可以更好地利用深度学习模型的功能。为此，我们设计了一个\ textbf {f}要求\ textbf {i} mpraved \ textbf {l} egendre \ textbf {m} emory模型，或{\ bf film}：它应用了legendre promotions topimate legendre provientions近似历史信息，近似历史信息，使用傅立叶投影来消除噪声，并添加低级近似值以加快计算。我们的实证研究表明，所提出的膜显着提高了由（\ textbf {20.3 \％}，\ textbf {22.6 \％}）的多变量和单变量长期预测中最新模型的准确性。我们还证明，这项工作中开发的表示模块可以用作一般插件，以提高其他深度学习模块的长期预测性能。代码可从https://github.com/tianzhou2011/film/获得。

Time series forecasting is a long-standing challenge due to the real-world information is in various scenario (e.g., energy, weather, traffic, economics, earthquake warning). However some mainstream forecasting model forecasting result is derailed dramatically from ground truth. We believe it's the reason that model's lacking ability of capturing frequency information which richly contains in real world datasets. At present, the mainstream frequency information extraction methods are Fourier transform(FT) based. However, use of FT is problematic due to Gibbs phenomenon. If the values on both sides of sequences differ significantly, oscillatory approximations are observed around both sides and high frequency noise will be introduced. Therefore We propose a novel frequency enhanced channel attention that adaptively modelling frequency interdependencies between channels based on Discrete Cosine Transform which would intrinsically avoid high frequency noise caused by problematic periodity during Fourier Transform, which is defined as Gibbs Phenomenon. We show that this network generalize extremely effectively across six real-world datasets and achieve state-of-the-art performance, we further demonstrate that frequency enhanced channel attention mechanism module can be flexibly applied to different networks. This module can improve the prediction ability of existing mainstream networks, which reduces 35.99% MSE on LSTM, 10.01% on Reformer, 8.71% on Informer, 8.29% on Autoformer, 8.06% on Transformer, etc., at a slight computational cost ,with just a few line of code. Our codes and data are available at https://github.com/Zero-coder/FECAM.

近年来，已对变压器进行了积极研究，以预测。尽管在各种情况下经常显示出令人鼓舞的结果，但传统的变压器并非旨在充分利用时间序列数据的特征，因此遭受了一些根本的限制，例如，它们通常缺乏分解能力和解释性，并且既不有效，也没有有效的效率 - 期望。在本文中，我们提出了一种新颖的时间序列变压器体系结构Etsformer，它利用了指数平滑的原理，以改善变压器的时间序列预测。特别是，受到预测时间序列的经典指数平滑方法的启发，我们提出了新型的指数平滑注意力（ESA）和频率注意（FA），以替代香草变压器中的自我发挥机制，从而提高了准确性和效率。基于这些，我们使用模块化分解块重新设计了变压器体系结构，以便可以学会将时间序列数据分解为可解释的时间序列组件，例如水平，增长和季节性。对各种时间序列基准的广泛实验验证了该方法的功效和优势。代码可从https://github.com/salesforce/etsformer获得。

延长预测时间是对真实应用的危急需求，例如极端天气预警和长期能源消耗规划。本文研究了时间序列的长期预测问题。基于现有的变压器的模型采用各种自我关注机制来发现远程依赖性。然而，长期未来的复杂时间模式禁止模型找到可靠的依赖项。此外，变压器必须采用长期级效率的稀疏版本的点明显自我关注，从而导致信息利用瓶颈。超越变形金刚，我们将自动运气设计为具有自动相关机制的新型分解架构。我们突破了序列分解的预处理公约，并将其翻新为深层模型的基本内部。这种设计为复杂的时间序列具有渐进式分解容量的自动成形。此外，由随机过程理论的启发，我们基于串联周期性设计自相关机制，这在子系列级别进行了依赖关系发现和表示聚合。自动相关性效率和准确性的自我关注。在长期预测中，自动成形器产生最先进的准确性，六个基准测试中的相对改善38％，涵盖了五种实际应用：能源，交通，经济，天气和疾病。此存储库中可用的代码：\ url {https：//github.com/thuml/autoformer}。

最近，对于长期时间序列预测（LTSF）任务，基于变压器的解决方案激增。尽管过去几年的表现正在增长，但我们质疑这项研究中这一研究的有效性。具体而言，可以说，变形金刚是最成功的解决方案，是在长序列中提取元素之间的语义相关性。但是，在时间序列建模中，我们要在一组连续点的有序集中提取时间关系。在采用位置编码和使用令牌将子系列嵌入变压器中的同时，有助于保留某些订购信息，但\ emph {置换不变}的自我注意力专注机制的性质不可避免地会导致时间信息损失。为了验证我们的主张，我们介绍了一组名为LTSF线性的令人尴尬的简单单层线性模型，以进行比较。在九个现实生活数据集上的实验结果表明，LTSF线性在所有情况下都超过现有的基于变压器的LTSF模型，并且通常要大幅度较大。此外，我们进行了全面的经验研究，以探索LTSF模型各种设计元素对其时间关系提取能力的影响。我们希望这一令人惊讶的发现为LTSF任务打开了新的研究方向。我们还主张重新审视基于变压器解决方案对其他时间序列分析任务（例如，异常检测）的有效性。代码可在：\ url {https://github.com/cure-lab/ltsf-linear}中获得。

使用变压器的深度学习最近在许多重要领域取得了很大的成功，例如自然语言处理，计算机视觉，异常检测和推荐系统等。在变压器的几种优点中，对于时间序列预测，捕获远程时间依赖性和相互作用的能力是可取的，从而导致其在各种时间序列应用中的进步。在本文中，我们为非平稳时间序列构建了变压器模型。这个问题具有挑战性，但至关重要。我们为基于小波的变压器编码器体系结构提供了一个新颖的单变量时间序列表示学习框架，并将其称为W-Transformer。所提出的W-Transformer使用最大重叠离散小波转换（MODWT）到时间序列数据，并在分解数据集上构建本地变压器，以生动地捕获时间序列中的非机构性和远程非线性依赖性。在来自各个领域的几个公共基准时间序列数据集和具有不同特征的几个公开基准时间序列数据集上评估我们的框架，我们证明它的平均表现明显优于短期和长期预测的基线预报器，即使是由包含的数据集组成的数据集只有几百个培训样本。

深度学习已被积极应用于预测时间序列，从而导致了大量新的自回归模型体系结构。然而，尽管基于时间指数的模型具有吸引人的属性，例如随着时间的推移是连续信号函数，导致表达平滑，但对它们的关注很少。实际上，尽管基于天真的深度指数模型比基于经典时间指数的模型的手动预定义函数表示表达得多，但由于缺乏电感偏见和时间序列的非平稳性，它们的预测不足以预测。在本文中，我们提出了DeepTime，这是一种基于深度指数的模型，该模型通过元学习公式训练，该公式克服了这些局限性，从而产生了有效而准确的预测模型。对现实世界数据集的广泛实验表明，我们的方法通过最先进的方法实现了竞争成果，并且高效。代码可从https://github.com/salesforce/deeptime获得。

为了提高风能生产的安全性和可靠性，短期预测已成为最重要的。这项研究的重点是挪威大陆架的多步时时空风速预测。图形神经网络（GNN）体系结构用于提取空间依赖性，具有不同的更新功能以学习时间相关性。这些更新功能是使用不同的神经网络体系结构实现的。近年来，一种这样的架构，即变压器，在序列建模中变得越来越流行。已经提出了对原始体系结构的各种改动，以更好地促进时间序列预测，本研究的重点是告密者Logsparse Transformer和AutoFormer。这是第一次将logsparse变压器和自动形态应用于风预测，并且第一次以任何一种或告密者的形式在时空设置以进行风向预测。通过比较时空长的短期记忆（LSTM）和多层感知器（MLP）模型，该研究表明，使用改变的变压器体系结构作为GNN中更新功能的模型能够超越这些功能。此外，我们提出了快速的傅立叶变压器（FFTRANSFORMER），该变压器是基于信号分解的新型变压器体系结构，由两个单独的流组成，分别分析趋势和周期性成分。发现FFTRANSFORMER和自动成型器可在10分钟和1小时的预测中取得优异的结果，而FFTRANSFORMER显着优于所有其他模型的4小时预测。最后，通过改变图表表示的连通性程度，该研究明确说明了所有模型如何利用空间依赖性来改善局部短期风速预测。

Multivariate time series forecasting (MTSF) is a fundamental problem in numerous real-world applications. Recently, Transformer has become the de facto solution for MTSF, especially for the long-term cases. However, except for the one forward operation, the basic configurations in existing MTSF Transformer architectures were barely carefully verified. In this study, we point out that the current tokenization strategy in MTSF Transformer architectures ignores the token uniformity inductive bias of Transformers. Therefore, the vanilla MTSF transformer struggles to capture details in time series and presents inferior performance. Based on this observation, we make a series of evolution on the basic architecture of the vanilla MTSF transformer. We vary the flawed tokenization strategy, along with the decoder structure and embeddings. Surprisingly, the evolved simple transformer architecture is highly effective, which successfully avoids the over-smoothing phenomena in the vanilla MTSF transformer, achieves a more detailed and accurate prediction, and even substantially outperforms the state-of-the-art Transformers that are well-designed for MTSF.

最近，由于引入变压器，时间序列的性能最近得到了极大的改善。在本文中，我们提出了一个一般的多尺度框架，可以应用于基于最新的变压器的时间序列预测模型，包括自动构造和告密者。使用具有共同权重，体系结构适应和专门设计的归一化方案的多个尺度上的预测时间序列，我们能够通过最小的其他计算开销来实现重大的性能改进。通过详细的消融研究，我们证明了我们提出的建筑和方法论创新的有效性。此外，我们在四个公共数据集上的实验表明，所提出的多规模框架的表现优于相应的基线，平均改善比自动型和告密者的平均改善分别为13％和38％。

各种深度学习模型，尤其是一些最新的基于变压器的方法，已大大改善了长期时间序列预测的最新性能。但是，这些基于变压器的模型遭受了严重的恶化性能，并延长了输入长度除了使用扩展的历史信息。此外，这些方法倾向于在长期预测中处理复杂的示例，并增加模型复杂性，这通常会导致计算的显着增加和性能较低的鲁棒性（例如，过度拟合）。我们提出了一种新型的神经网络架构，称为Treedrnet，以进行更有效的长期预测。受稳健回归的启发，我们引入了双重残差链接结构，以使预测更加稳健。对Kolmogorov-Arnold表示定理进行了明确的介绍，并明确介绍了特征选择，模型集合和树结构，以进一步利用扩展输入序列，从而提高了可靠的输入序列和Treedrnet的代表力。与以前的顺序预测工作的深层模型不同，Treedrnet完全建立在多层感知下，因此具有很高的计算效率。我们广泛的实证研究表明，Treedrnet比最先进的方法更有效，将预测错误降低了20％至40％。特别是，Treedrnet的效率比基于变压器的方法高10倍。该代码将很快发布。

Dengue fever is a virulent disease spreading over 100 tropical and subtropical countries in Africa, the Americas, and Asia. This arboviral disease affects around 400 million people globally, severely distressing the healthcare systems. The unavailability of a specific drug and ready-to-use vaccine makes the situation worse. Hence, policymakers must rely on early warning systems to control intervention-related decisions. Forecasts routinely provide critical information for dangerous epidemic events. However, the available forecasting models (e.g., weather-driven mechanistic, statistical time series, and machine learning models) lack a clear understanding of different components to improve prediction accuracy and often provide unstable and unreliable forecasts. This study proposes an ensemble wavelet neural network with exogenous factor(s) (XEWNet) model that can produce reliable estimates for dengue outbreak prediction for three geographical regions, namely San Juan, Iquitos, and Ahmedabad. The proposed XEWNet model is flexible and can easily incorporate exogenous climate variable(s) confirmed by statistical causality tests in its scalable framework. The proposed model is an integrated approach that uses wavelet transformation into an ensemble neural network framework that helps in generating more reliable long-term forecasts. The proposed XEWNet allows complex non-linear relationships between the dengue incidence cases and rainfall; however, mathematically interpretable, fast in execution, and easily comprehensible. The proposal's competitiveness is measured using computational experiments based on various statistical metrics and several statistical comparison tests. In comparison with statistical, machine learning, and deep learning methods, our proposed XEWNet performs better in 75% of the cases for short-term and long-term forecasting of dengue incidence.

交通预测在智能运输系统中起着不可或缺的作用，使每日旅行更方便和更安全。然而，时空相关的动态演化使得准确的流量预测非常困难。现有工作主要采用图形神经NetWroks（GNNS）和深度时间序列模型（例如，复发性神经网络），以捕获动态交通系统中的复杂时空模式。对于空间模式，GNN难以在道路网络中提取全局空间信息，即远程传感器信息。虽然我们可以使用自我关注来提取全球空间信息，如前面的工作中，它也伴随着巨大的资源消耗。对于时间模式，交通数据不仅易于识别每日和每周趋势，而且难以识别由事故引起的短期噪音（例如，汽车事故和雷暴）。现有交通模型难以在时间序列中区分复杂的时间模式，因此难以实现准确的时间依赖。为了解决上述问题，我们提出了一种新颖的噪声感知高效时空变压器架构，用于准确的交通预测，名为StFormer。 Stformer由两个组件组成，这是噪声感知的时间自我关注（NATSA）和基于图形的稀疏空间自我关注（GBS3A）。 NATSA将高频分量和低频分量与时间序列分开以消除噪声并分别通过学习滤波器和时间自我关注捕获稳定的时间依赖性。 GBS3A以基于图形的稀疏查询替换vanilla自我关注的完整查询，以减少时间和内存使用情况。四个现实世界交通数据集的实验表明，履带器优于较低的计算成本的最先进的基线。

神经预测的最新进展加速了大规模预测系统的性能。然而，长途预测仍然是一项非常艰巨的任务。困扰任务的两个常见挑战是预测的波动及其计算复杂性。我们介绍了N-HITS，该模型通过结合新的分层插值和多率数据采样技术来解决挑战。这些技术使提出的方法能够顺序组装其预测，并在分解输入信号并合成预测的同时强调不同频率和尺度的组件。我们证明，在平稳性的情况下，层次结构插值技术可以有效地近似于任意长的视野。此外，我们从长远的预测文献中进行了广泛的大规模数据集实验，证明了我们方法比最新方法的优势，在该方法中，N-HITS可提供比最新的16％的平均准确性提高。变压器体系结构在减少计算时间的同时（50次）。我们的代码可在https://bit.ly/3jlibp8上找到。

时间序列数据在研究以及各种工业应用中无处不在。有效地分析可用的历史数据并提供对未来的见解，使我们能够做出有效的决策。最近的研究见证了基于变压器的架构的出色表现，尤其是在《远距离时间序列》的政权预测中。但是，稀疏变压器体系结构的当前状态无法将其简化和上取样过程磨损，无法以与输入相似的分辨率产生输出。我们提出了基于新颖的Y形编码器架构的Yformer模型，该架构（1）在U-NET启发的体系结构中使用从缩小的编码层到相应的UPSMPLED DEXODER层的直接连接，（2）组合了降尺度/降压/以稀疏的注意来提高采样，以捕获远距离效应，（3）通过添加辅助重建损失来稳定编码器堆栈。已经在四个基准数据集上使用相关基线进行了广泛的实验，与单变量和多元设置的艺术现状相比，MAE的平均改善为19.82，18.41百分比和13.62，11.85百分比MAE。

时间是时间序列最重要的特征之一，但没有得到足够的关注。先前的时间序列预测研究主要集中于将过去的子序列（查找窗口）映射到未来的系列（预测窗口），而系列的时间通常只是在大多数情况下都扮演辅助角色。由于这些窗口中的点处理，将其推断为长期未来在模式上是艰难的。为了克服这一障碍，我们提出了一个名为DateFormer的全新时间序列预测框架，他将注意力转移到建模时间上，而不是遵循上述实践。具体而言，首先按时间序列分为补丁，以监督通过Transformers（DERT）的日期编码器表示的动态日期代表的学习。然后将这些表示形式馈入一个简单的解码器，以产生更粗的（或全局）预测，并用于帮助模型从回顾窗口中寻求有价值的信息，以学习精致（或本地）的预测。 DateFormer通过将上述两个部分求和来获得最终结果。我们对七个基准测试的经验研究表明，与序列建模方法相比，时间模型方法对于长期序列预测更有效。 DateFormer产生最先进的准确性，相对改进40％，并将最大可靠的预测范围扩大到半年水平。

多元时间序列预测已在各种领域（包括金融，交通，能源和医疗保健）中广泛范围的应用程序。为了捕获复杂的时间模式，大量研究设计了基于RNN，GNN和Transformers的许多变体的复杂神经网络体系结构。但是，复杂的模型在计算上通常是昂贵的，因此当应用于大型现实世界数据集时，在训练和推理效率方面面临严重的挑战。在本文中，我们介绍了Lightts，这是一种基于简单的基于MLP的结构的轻度深度学习体系结构。 LightT的关键思想是在两种微妙的下采样策略之上应用基于MLP的结构，包括间隔抽样和连续采样，灵感来自至关重要的事实，即下采样时间序列通常保留其大多数信息。我们对八个广泛使用的基准数据集进行了广泛的实验。与现有的最新方法相比，Lightts在其中五个方面表现出更好的性能，其余的性能可比性。此外，Lightts高效。与最大的基准数据集上的先前SOTA方法相比，它使用的触发器少于5％。此外，Lightts的预测准确性与以前的SOTA方法相比，在长序列预测任务中，预测准确性的差异要小得多。

传染病仍然是全世界人类疾病和死亡的主要因素之一，其中许多疾病引起了流行的感染波。特定药物和预防疫苗防止大多数流行病的不可用，这使情况变得更糟。这些迫使公共卫生官员，卫生保健提供者和政策制定者依靠由流行病的可靠预测产生的预警系统。对流行病的准确预测可以帮助利益相关者调整对手的对策，例如疫苗接种运动，人员安排和资源分配，以减少手头的情况，这可以转化为减少疾病影响的影响。不幸的是，大多数过去的流行病（例如，登革热，疟疾，肝炎，流感和最新的Covid-19）表现出非线性和非平稳性特征，这是由于它们基于季节性依赖性变化以及这些流行病的性质的扩散波动而引起的。 。我们使用基于最大的重叠离散小波变换（MODWT）自动回归神经网络分析了各种流行时期时间序列数据集，并将其称为EWNET。 MODWT技术有效地表征了流行时间序列中的非平稳行为和季节性依赖性，并在拟议的集合小波网络框架中改善了自回旋神经网络的预测方案。从非线性时间序列的角度来看，我们探讨了所提出的EWNET模型的渐近平稳性，以显示相关的马尔可夫链的渐近行为。我们还理论上还研究了学习稳定性的效果以及在拟议的EWNET模型中选择隐藏的神经元的选择。从实际的角度来看，我们将我们提出的EWNET框架与以前用于流行病预测的几种统计，机器学习和深度学习模型进行了比较。