太阳能的间歇性质挑战了光伏（PV）在电网中的大规模集成。使用深度学习的基于天空图像的太阳预测已被认为是预测短期波动的一种有希望的方法。但是，对于基于图像的太阳预测，几乎没有公开可用的标准化基准数据集，这限制了不同预测模型的比较和预测方法的探索。为了填补这些空白，我们介绍了Skipp'd-天空图像和光伏发电数据集。该数据集包含三年（2017-2019）的质量控制下采样的天空图像和PV发电数据，这些数据可用于使用深度学习的短期太阳能预测。此外，为了支持研究的灵活性，我们还提供了高分辨率，高频天空图像和PV发电数据以及并发的Sky录像。我们还包括一个包含数据处理脚本和基线模型实现的代码库，以供研究人员重现我们以前的工作并加速其在太阳预测中的研究。

Solar forecasting from ground-based sky images using deep learning models has shown great promise in reducing the uncertainty in solar power generation. One of the biggest challenges for training deep learning models is the availability of labeled datasets. With more and more sky image datasets open sourced in recent years, the development of accurate and reliable solar forecasting methods has seen a huge growth in potential. In this study, we explore three different training strategies for deep-learning-based solar forecasting models by leveraging three heterogeneous datasets collected around the world with drastically different climate patterns. Specifically, we compare the performance of models trained individually based on local datasets (local models) and models trained jointly based on the fusion of multiple datasets from different locations (global models), and we further examine the knowledge transfer from pre-trained solar forecasting models to a new dataset of interest (transfer learning models). The results suggest that the local models work well when deployed locally, but significant errors are observed for the scale of the prediction when applied offsite. The global model can adapt well to individual locations, while the possible increase in training efforts need to be taken into account. Pre-training models on a large and diversified source dataset and transferring to a local target dataset generally achieves superior performance over the other two training strategies. Transfer learning brings the most benefits when there are limited local data. With 80% less training data, it can achieve 1% improvement over the local baseline model trained using the entire dataset. Therefore, we call on the efforts from the solar forecasting community to contribute to a global dataset containing a massive amount of imagery and displaying diversified samples with a range of sky conditions.

Sky-image-based solar forecasting using deep learning has been recognized as a promising approach in reducing the uncertainty in solar power generation. However, one of the biggest challenges is the lack of massive and diversified sky image samples. In this study, we present a comprehensive survey of open-source ground-based sky image datasets for very short-term solar forecasting (i.e., forecasting horizon less than 30 minutes), as well as related research areas which can potentially help improve solar forecasting methods, including cloud segmentation, cloud classification and cloud motion prediction. We first identify 72 open-source sky image datasets that satisfy the needs of machine/deep learning. Then a database of information about various aspects of the identified datasets is constructed. To evaluate each surveyed datasets, we further develop a multi-criteria ranking system based on 8 dimensions of the datasets which could have important impacts on usage of the data. Finally, we provide insights on the usage of these datasets for different applications. We hope this paper can provide an overview for researchers who are looking for datasets for very short-term solar forecasting and related areas.

将间歇性可再生能源集成到大量的电网中是具有挑战性的。旨在解决这一困难的建立良好的方法涉及即将到来的能源供应可变性以适应电网的响应。在太阳能中，可以在全天空摄像机（前方30分钟）和卫星观测（提前6小时）的不同时间尺度上预测由遮挡云引起的短期变化。在这项研究中，我们将这两种互补的观点集成到单个机器学习框架中的云覆盖物上，以改善时间内（最高60分钟）的辐照度预测。确定性和概率预测均在不同的天气条件（晴朗，多云，阴天）以及不同的输入配置（天空图像，卫星观测和/或过去的辐照度值）中进行评估。我们的结果表明，混合模型在晴朗的条件下有益于预测，并改善了长期预测。这项研究为将来的新颖方法奠定了基础，即在单个学习框架中将天空图像和卫星观测结合起来，以推动太阳现象。

太阳能现在是历史上最便宜的电力形式。不幸的是，由于其变异性，显着提高栅格的太阳能的一部分仍然具有挑战性，这使得电力的供需平衡更加困难。虽然热发电机坡度 - 它们可以改变输出的最高速率 - 是有限的，太阳能的坡度基本上是无限的。因此，准确的近期太阳能预测或垂圈，对于提供预警来调整热发电机输出，以响应于太阳能变化来调整热发电机，以确保平衡供需。为了解决问题，本文开发了使用自我监督学习的丰富和易于使用的多光谱卫星数据的太阳能垂圈的一般模型。具体而言，我们使用卷积神经网络（CNN）和长短期内存网络（LSTM）开发深度自动回归模型，这些模型在多个位置训练全球培训，以预测最近推出的最近收集的时空数据的未来观察-R系列卫星。我们的模型估计了基于卫星观测的未来的太阳辐照度，我们向较小的场地特定的太阳能数据培训的回归模型提供，以提供近期太阳能光伏（PV）预测，其考虑了现场特征的特征。我们评估了我们在25个太阳能场所的不同覆盖区域和预测视野的方法，并表明我们的方法利用地面真理观察结果产生靠近模型的错误。

太阳能的高效整合到电力组合中取决于其间歇性的可靠预期。预测由云覆盖动态产生的太阳辐照度的时间变异的有希望的方法是基于地面天空图像或卫星图像序列的分析。尽管结果令人鼓舞，但现有深度学习方法的经常性限制在于对过去观察的反应而不是积极预期未来事件的无处不在的趋势。这导致频繁的时间滞后和有限的预测突发事件的能力。为了解决这一挑战，我们介绍了Eclipse，一种时空神经网络架构，即模型从天空图像模拟云运动，不仅预测未来的辐照水平，而且还可以在本地辐照度图上提供更丰富的信息。我们表明Eclipse预期关键事件，并在产生视觉上现实期货的同时降低时间延误。

汇集操作引起的翻译不变性是卷积神经网络的固有属性，这有助于诸如分类的许多计算机视觉任务。然而，为了利用旋转不变的任务，卷积架构需要特定的旋转不变层或广泛的数据增强，以从给定空间配置的不同旋转版本中学习。将图像展开到其极性坐标中提供了更明显的表示，以训练卷积架构，因为旋转不变性变为平移，因此可以从单个图像中学习给定场景的视觉上不同但其他等同的旋转版本。我们展示了两个基于视觉的太阳辐照性预测挑战（即使用地面拍摄的天空图像或卫星图像），即该预处理步骤通过标准化场景表示来显着提高预测结果，同时将培训时间减少4倍4倍。使用旋转增强数据。此外，该变换放大了围绕旋转中心的区域，导致更准确的短期辐照度预测。

我们基于技能评分，对确定性太阳预测进行了首次全面的荟萃分析，筛选了Google Scholar的1,447篇论文，并审查了320篇论文的全文以进行数据提取。用多元自适应回归样条模型，部分依赖图和线性回归构建和分析了4,758点的数据库。值得注意的是，分析说明了数据中最重要的非线性关系和交互项。我们量化了对重要变量的预测准确性的影响，例如预测范围，分辨率，气候条件，区域的年度太阳辐照度水平，电力系统大小和容量，预测模型，火车和测试集以及使用不同的技术和投入。通过控制预测之间的关键差异，包括位置变量，可以在全球应用分析的发现。还提供了该领域科学进步的概述。

提出了一种使用天气数据实时太阳生成预测的新方法，同时提出了既有空间结构依赖性的依赖。随着时间的推移，观察到的网络被预测到较低维度的表示，在该表示的情况下，在推理阶段使用天气预报时，使用各种天气测量来训练结构化回归模型。从国家太阳辐射数据库获得的德克萨斯州圣安东尼奥地区的288个地点进行了实验。该模型预测具有良好精度的太阳辐照度（夏季R2 0.91，冬季为0.85，全球模型为0.89）。随机森林回归者获得了最佳准确性。进行了多个实验来表征缺失数据的影响和不同的时间范围的影响，这些范围提供了证据表明，新算法不仅在随机的情况下，而且在机制是空间和时间上都丢失的数据是可靠的。

随着Covid-19影响每个国家的全球和改变日常生活，预测疾病的传播的能力比任何先前的流行病更重要。常规的疾病 - 展开建模方法，隔间模型，基于对病毒的扩散的时空均匀性的假设，这可能导致预测到欠低，特别是在高空间分辨率下。本文采用替代技术 - 时空机器学习方法。我们提出了Covid-LSTM，一种基于长期短期内存深度学习架构的数据驱动模型，用于预测Covid-19在美国县级的发病率。我们使用每周数量的新阳性案例作为时间输入，以及来自Facebook运动和连通数据集的手工工程空间特征，以捕捉时间和空间的疾病的传播。 Covid-LSTM在我们的17周的评估期间优于Covid-19预测集线器集合模型（CovidHub-Ensemble），使其首先比一个或多个预测期更准确的模型。在4周的预测地平线上，我们的型号平均每县平均50例比CovidHub-Ensemble更准确。我们强调，在Covid-19之前，在Covid-19之前的数据驱动预测的未充分利用疾病传播的预测可能是由于以前疾病缺乏足够的数据，除了最近的时尚预测方法的机器学习方法的进步。我们讨论了更广泛的数据驱动预测的障碍，以及将来将使用更多的基于学习的模型。

我们基准了一个简单学习模型的亚季节预测工具包，该工具包优于操作实践和最先进的机器学习和深度学习方法。这些模型，由Mouatadid等人引入。 （2022），包括（a）气候++，这是气候学的一种适应性替代品，对于降水而言，准确性9％，比美国运营气候预测系统（CFSV2）高9％，熟练250％； （b）CFSV2 ++，一种学习的CFSV2校正，可将温度和降水精度提高7-8％，技能提高50-275％； （c）持久性++是一种增强的持久性模型，将CFSV2预测与滞后测量相结合，以将温度和降水精度提高6-9％，技能提高40-130％。在整个美国，气候++，CFSV2 ++和持久性++工具包始终优于标准气象基准，最先进的机器和深度学习方法，以及欧洲中等范围的天气预报集合中心。

分布式的小型太阳能光伏（PV）系统正在以快速增加的速度安装。这可能会对分销网络和能源市场产生重大影响。结果，在不同时间分辨率和视野中，非常需要改善对这些系统发电的预测。但是，预测模型的性能取决于分辨率和地平线。在这种情况下，将多个模型的预测结合到单个预测中的预测组合（合奏）可能是鲁棒的。因此，在本文中，我们提供了对五个最先进的预测模型的性能以及在多个分辨率和视野下的现有预测组合的比较和见解。我们提出了一种基于粒子群优化（PSO）的预测组合方法，该方法将通过加权单个模型产生的预测来使预报掌握能够为手头的任务产生准确的预测。此外，我们将提出的组合方法的性能与现有的预测组合方法进行了比较。使用现实世界中的PV电源数据集进行了全面的评估，该数据集在美国三个位置的25个房屋中测得。在四种不同的分辨率和四个不同视野之间的结果表明，基于PSO的预测组合方法的表现优于使用任何单独的预测模型和其他预测组合的使用，而平均平均绝对规模误差降低了3.81％，而最佳性能则最佳性能单个个人模型。我们的方法使太阳预报员能够为其应用产生准确的预测，而不管预测分辨率或视野如何。

随着高级数字技术的蓬勃发展，用户以及能源分销商有可能获得有关家庭用电的详细信息。这些技术也可以用来预测家庭用电量（又称负载）。在本文中，我们研究了变分模式分解和深度学习技术的使用，以提高负载预测问题的准确性。尽管在文献中已经研究了这个问题，但选择适当的分解水平和提供更好预测性能的深度学习技术的关注较少。这项研究通过研究六个分解水平和五个不同的深度学习网络的影响来弥合这一差距。首先，使用变分模式分解将原始负载轮廓分解为固有模式函数，以减轻其非平稳方面。然后，白天，小时和过去的电力消耗数据作为三维输入序列馈送到四级小波分解网络模型。最后，将与不同固有模式函数相关的预测序列组合在一起以形成聚合预测序列。使用摩洛哥建筑物的电力消耗数据集（MORED）的五个摩洛哥家庭的负载曲线评估了该方法，并根据最新的时间序列模型和基线持久性模型进行了基准测试。

后处理整体预测系统可以改善天气预报，尤其是对于极端事件预测。近年来，已经开发出不同的机器学习模型来提高后处理步骤的质量。但是，这些模型在很大程度上依赖数据并生成此类合奏成员需要以高计算成本的数值天气预测模型进行多次运行。本文介绍了ENS-10数据集，由十个合奏成员组成，分布在20年中（1998-2017）。合奏成员是通过扰动数值天气模拟来捕获地球的混乱行为而产生的。为了代表大气的三维状态，ENS-10在11个不同的压力水平以及0.5度分辨率的表面中提供了最相关的大气变量。该数据集以48小时的交货时间针对预测校正任务，这实质上是通过消除合奏成员的偏见来改善预测质量。为此，ENS-10为预测交货时间t = 0、24和48小时（每周两个数据点）提供了天气变量。我们在ENS-10上为此任务提供了一组基线，并比较了它们在纠正不同天气变量预测时的性能。我们还评估了使用数据集预测极端事件的基准。 ENS-10数据集可在创意共享归因4.0国际（CC By 4.0）许可下获得。

对联合国可持续发展目标的进展（SDGS）因关键环境和社会经济指标缺乏数据而受到阻碍，其中历史上有稀疏时间和空间覆盖率的地面调查。机器学习的最新进展使得可以利用丰富，频繁更新和全球可用的数据，例如卫星或社交媒体，以向SDGS提供洞察力。尽管有希望的早期结果，但到目前为止使用此类SDG测量数据的方法在很大程度上在不同的数据集或使用不一致的评估指标上进行了评估，使得难以理解的性能是改善，并且额外研究将是最丰富的。此外，处理卫星和地面调查数据需要域知识，其中许多机器学习群落缺乏。在本文中，我们介绍了3个SDG的3个基准任务的集合，包括与经济发展，农业，健康，教育，水和卫生，气候行动和陆地生命相关的任务。 15个任务中的11个数据集首次公开发布。我们为Acceptandbench的目标是（1）降低机器学习界的进入的障碍，以促进衡量和实现SDGS; （2）提供标准基准，用于评估各种SDG的任务的机器学习模型; （3）鼓励开发新颖的机器学习方法，改进的模型性能促进了对SDG的进展。

谷歌的运营洪水预测系统是制定的，为机构和公众提供准确的实时洪水警告，重点是河流洪水在大型潮流的河流中。它在2018年开始运作，自从地理位置扩展以来。该预测系统由四个子系统组成：数据验证，阶段预测，淹没建模和警报分配。机器学习用于两个子系统。阶段预测采用长短期内存（LSTM）网络和线性模型进行建模。使用阈值和歧管模型计算洪水淹没，前者计算淹没程度，后者计算淹没程度和深度。本文首次提供的歧管模型提供了一种机器学习替代洪水淹没的液压建模。在评估历史数据时，所有型号都可以实现可操作使用的足够高的度量指标。 LSTM表现出比线性模型更高的技能，而阈值和歧管模型达到了类似的性能度量，以便在淹没程度上进行建模。在2021年的季风季节期间，洪水预警系统在印度和孟加拉国运营，覆盖河流的洪水区，总面积287,000平方公里，拥有350多万人。超过100米的洪水警报被发送给受影响的人口，相关当局以及紧急组织。系统上的当前和未来的工作包括将覆盖范围扩展到额外的洪水易发位置，以及提高建模能力和准确性。

A well-performing prediction model is vital for a recommendation system suggesting actions for energy-efficient consumer behavior. However, reliable and accurate predictions depend on informative features and a suitable model design to perform well and robustly across different households and appliances. Moreover, customers' unjustifiably high expectations of accurate predictions may discourage them from using the system in the long term. In this paper, we design a three-step forecasting framework to assess predictability, engineering features, and deep learning architectures to forecast 24 hourly load values. First, our predictability analysis provides a tool for expectation management to cushion customers' anticipations. Second, we design several new weather-, time- and appliance-related parameters for the modeling procedure and test their contribution to the model's prediction performance. Third, we examine six deep learning techniques and compare them to tree- and support vector regression benchmarks. We develop a robust and accurate model for the appliance-level load prediction based on four datasets from four different regions (US, UK, Austria, and Canada) with an equal set of appliances. The empirical results show that cyclical encoding of time features and weather indicators alongside a long-short term memory (LSTM) model offer the optimal performance.

We introduce a machine-learning (ML)-based weather simulator--called "GraphCast"--which outperforms the most accurate deterministic operational medium-range weather forecasting system in the world, as well as all previous ML baselines. GraphCast is an autoregressive model, based on graph neural networks and a novel high-resolution multi-scale mesh representation, which we trained on historical weather data from the European Centre for Medium-Range Weather Forecasts (ECMWF)'s ERA5 reanalysis archive. It can make 10-day forecasts, at 6-hour time intervals, of five surface variables and six atmospheric variables, each at 37 vertical pressure levels, on a 0.25-degree latitude-longitude grid, which corresponds to roughly 25 x 25 kilometer resolution at the equator. Our results show GraphCast is more accurate than ECMWF's deterministic operational forecasting system, HRES, on 90.0% of the 2760 variable and lead time combinations we evaluated. GraphCast also outperforms the most accurate previous ML-based weather forecasting model on 99.2% of the 252 targets it reported. GraphCast can generate a 10-day forecast (35 gigabytes of data) in under 60 seconds on Cloud TPU v4 hardware. Unlike traditional forecasting methods, ML-based forecasting scales well with data: by training on bigger, higher quality, and more recent data, the skill of the forecasts can improve. Together these results represent a key step forward in complementing and improving weather modeling with ML, open new opportunities for fast, accurate forecasting, and help realize the promise of ML-based simulation in the physical sciences.

对于电网操作，具有精细时间和空间分辨率的太阳能发电准确预测对于电网的操作至关重要。然而，与数值天气预报（NWP）结合机器学习的最先进方法具有粗略分辨率。在本文中，我们采用曲线图信号处理透视和型号的多网站光伏（PV）生产时间序列作为图表上的信号，以捕获它们的时空依赖性并实现更高的空间和时间分辨率预测。我们提出了两种新颖的图形神经网络模型，用于确定性多站点PV预测，被称为图形 - 卷积的长期内存（GCLSTM）和图形 - 卷积变压器（GCTRAFO）模型。这些方法仅依赖于生产数据并利用PV系统提供密集的虚拟气象站网络的直觉。所提出的方法是在整整一年的两组数据集中评估：1）来自304个真实光伏系统的生产数据，以及2）模拟生产1000个PV系统，包括瑞士分布。该拟议的模型优于最先进的多站点预测方法，用于预测前方6小时的预测视野。此外，所提出的模型以NWP优于最先进的单站点方法，如前方的视野上的输入。

在智能电网和负载平衡的背景下，每日峰值负荷预测已成为能源行业利益相关者的关键活动。对峰值幅度和时序的理解对于实现峰值剃须等智能电网策略至关重要。本文提出的建模方法利用了高分辨率和低分辨率信息来预测每日峰值需求规模和时序。由此产生的多分辨率建模框架可以适应不同的模型类。本文的主要贡献是一般性和正式介绍多分辨率建模方法，b）关于通过广义添加剂模型和神经网络和C）实验结果的不同决议的建模方法的讨论英国电力市场。结果证实，建议的建模方法的预测性能与低分辨率和高分辨率替代品具有竞争力。