流程挖掘是一组技术,该技术被组织用于理解和改善其运营流程。设计任何流程重新设计程序的第一步是找到过程改进机会。在现有的工作中,通常假定在事先检测或易于检测到的有问题的过程实例集合中发生不良结果。因此,过程增强程序涉及在这些过程实例中找到根本原因和问题的处理。例如,有问题的实例集被视为具有异常值或值的值或大于该过程特征之一中给定阈值的值。但是,在各种情况下,使用这种方法,遗漏了许多流程增强机会,而不是这些有问题的过程实例所捕获的。为了克服这个问题,我们将找到过程增强区域作为上下文敏感的异常/异常检测问题。我们将过程增强区域定义为一组情况(过程实例或过程实例的前缀),其中过程性能令人惊讶。我们的目的是表征那些过程/结果/结果与在类似情况下的性能/结果明显不同的情况。为了评估拟议方法的有效性和相关性,我们已经对几个现实生活事件日志进行了实施和评估。
translated by 谷歌翻译
概念漂移过程挖掘(PM)是一种挑战,因为古典方法假设进程处于稳态,即事件共享相同的进程版本。我们对这些领域的交叉点进行了系统的文献综述,从而审查了过程采矿中的概念漂移,并提出了用于漂移检测和在线流程挖掘的现有技术的分类,以实现不断发展的环境。现有的作品描绘了(i)PM仍然主要关注离线分析,并且(ii)由于缺乏公共评估协议,数据集和指标,过程中的概念漂移技术的评估是麻烦的。
translated by 谷歌翻译
我们建议使用基于规则的技术加速系统级调试的根源程序。我们描述了该过程及其如何提供高质量的调试提示,以减少调试工作。这包括来自许多测试日志的工程功能的启发式方法,以及用于生成强大调试提示的数据分析技术。作为案例研究,我们将这些技术用于电源管理(PM)设计功能软件包C8的根源失败,并显示了它们的有效性。此外,我们提出了一种挖掘引起根源的经验和重用结果,加速未来调试活动并减少对验证专家的依赖的方法。我们认为,这些技术也对不同级别的抽象级别的其他验证活动也有益,对于复杂的硬件,软件和固件系统,包括前硅和后硅。
translated by 谷歌翻译
长序列中的子序列异常检测是在广泛域中应用的重要问题。但是,迄今为止文献中提出的方法具有严重的局限性:它们要么需要用于设计异常发现算法的先前领域知识,要么在与相同类型的复发异常情况下使用繁琐且昂贵。在这项工作中,我们解决了这些问题,并提出了一种适用于域的不可知论次序列异常检测的方法。我们的方法series2graph基于新型低维嵌入子序列的图表。 Series2Graph不需要标记的实例(例如监督技术)也不需要无异常的数据(例如零阳性学习技术),也不需要识别长度不同的异常。在迄今为止使用的最大合成和真实数据集的实验结果表明,所提出的方法正确地识别了单一和复发异常,而无需任何先验的特征,以优于多种差距的准确性,同时提高了几种竞争的方法,同时又表现出色更快的数量级。本文出现在VLDB 2020中。
translated by 谷歌翻译
给定传感器读数随着时间的推移从电网上,我们如何在发生异常时准确地检测?实现这一目标的关键部分是使用电网传感器网络在电网上实时地在实时检测到自然故障或恶意的任何不寻常的事件。行业中现有的坏数据探测器缺乏鲁布布利地检测广泛类型的异常,特别是由于新兴网络攻击而造成的复杂性,因为它们一次在网格的单个测量快照上运行。新的ML方法更广泛适用,但通常不会考虑拓扑变化对传感器测量的影响,因此无法适应历史数据中的定期拓扑调整。因此,我们向DynWatch,基于域知识和拓扑知识算法用于使用动态网格上的传感器进行异常检测。我们的方法准确,优于实验中的现有方法20%以上(F-Measure);快速,在60K +分支机用中的每次传感器上平均运行小于1.7ms,使用笔记本电脑,并在图表的大小上线性缩放。
translated by 谷歌翻译
日志数据异常检测是IT操作的人工智能区域中的核心组件。但是,大量现有方法使其难以为特定系统选择正确的方法。更好地了解不同种类的异常,以及哪些算法适合检测它们,将支持研究人员和IT运营商。虽然已经存在的异常分类常见的分类,但尚未专门应用于记录数据,指出该域中的特征和特点。在本文中,我们为不同种类的日志数据异常提供了一种分类,并介绍了一种分析标记数据集中的这种异常的方法。我们将我们的分类系统应用于三个常见的基准数据集Thunderbird,Spirit和BGL,并培训了五种最先进的无监督异常检测算法,以评估它们在检测不同种类的异常中的性能。我们的结果表明,最常见的异常类型也是最容易预测的。此外,基于深度学习的方法在所有异常类型中占据了基于数据的方法,但特别是当涉及到检测语境异常时。
translated by 谷歌翻译
在许多应用程序中,检测异常行为是新兴的需求,尤其是在安全性和可靠性是关键方面的情况下。尽管对异常的定义严格取决于域框架,但它通常是不切实际的或太耗时的,无法获得完全标记的数据集。使用无监督模型来克服缺乏标签的模型通常无法捕获特定的特定异常情况,因为它们依赖于异常值的一般定义。本文提出了一种新的基于积极学习的方法Alif,以通过减少所需标签的数量并将检测器调整为用户提供的异常的定义来解决此问题。在存在决策支持系统(DSS)的情况下,提出的方法特别有吸引力,这种情况在现实世界中越来越流行。尽管常见的DSS嵌入异常检测功能取决于无监督的模型,但它们没有办法提高性能:Alif能够通过在常见操作期间利用用户反馈来增强DSS的功能。 Alif是对流行的隔离森林的轻巧修改,在许多真实的异常检测数据集中,相对于其他最先进的算法证明了相对于其他最先进算法的出色性能。
translated by 谷歌翻译
The Internet of Things (IoT) is a system that connects physical computing devices, sensors, software, and other technologies. Data can be collected, transferred, and exchanged with other devices over the network without requiring human interactions. One challenge the development of IoT faces is the existence of anomaly data in the network. Therefore, research on anomaly detection in the IoT environment has become popular and necessary in recent years. This survey provides an overview to understand the current progress of the different anomaly detection algorithms and how they can be applied in the context of the Internet of Things. In this survey, we categorize the widely used anomaly detection machine learning and deep learning techniques in IoT into three types: clustering-based, classification-based, and deep learning based. For each category, we introduce some state-of-the-art anomaly detection methods and evaluate the advantages and limitations of each technique.
translated by 谷歌翻译
Existing measures and representations for trajectories have two longstanding fundamental shortcomings, i.e., they are computationally expensive and they can not guarantee the `uniqueness' property of a distance function: dist(X,Y) = 0 if and only if X=Y, where $X$ and $Y$ are two trajectories. This paper proposes a simple yet powerful way to represent trajectories and measure the similarity between two trajectories using a distributional kernel to address these shortcomings. It is a principled approach based on kernel mean embedding which has a strong theoretical underpinning. It has three distinctive features in comparison with existing approaches. (1) A distributional kernel is used for the very first time for trajectory representation and similarity measurement. (2) It does not rely on point-to-point distances which are used in most existing distances for trajectories. (3) It requires no learning, unlike existing learning and deep learning approaches. We show the generality of this new approach in three applications: (a) trajectory anomaly detection, (b) anomalous sub-trajectory detection, and (c) trajectory pattern mining. We identify that the distributional kernel has (i) a unique data-dependent property and the above uniqueness property which are the key factors that lead to its superior task-specific performance; and (ii) runtime orders of magnitude faster than existing distance measures.
translated by 谷歌翻译
在M维数据点的云中,我们将如何发现,以及排名,单点和群体 - 异常?我们是第一个概括了两个维度的异常检测:第一维度是我们在统一的观点下处理点异常,以及组异常 - 我们将把它们称为广义异常。第二维度不仅可以检测到,而且还可以在可疑顺序中排名,但也排名,异常。异常检测和排名具有许多应用:例如,在癫痫患者的脑电图中,异常可能表明癫痫发作;在计算机网络流量数据中,它可能表示电源故障或DOS / DDOS攻击。我们首先设置一些合理的公理;令人惊讶的是,早期的方法都没有通过所有公理。我们的主要贡献是Gen2Out算法,具有以下理想的性质:(a)所指的原理和声音异常评分,使得探测器的公理组合,(b)倍增,在其检测到,以及排名的级别点和组异常,(c)可扩展,它是快速且可伸缩的,线性输入大小。 (d)有效,关于现实世界癫痫记录(200GB)的实验证明了临床医生证实Gen2Out的有效性。在27个现实世界基准数据集上的实验表明,GEN2OUT检测到准确性的地面真理组,匹配或优于点异常基线基线算法,没有对组异常的竞争,并且在储运机上需要大约2分钟的数据点。
translated by 谷歌翻译
分析序列数据通常导致有趣模式的发现,然后是异常检测。近年来,已经提出了许多框架和方法来发现序列数据中有趣的模式以及检测异常行为。然而,现有的算法主要专注于频率驱动的分析,并且它们是在现实世界的环境中应用的具有挑战性。在这项工作中,我们展示了一个名为Duos的新的异常检测框架,可以从一组序列中发现实用程序感知异常顺序规则。在基于模式的异常检测算法中,我们纳入了一个组的异常度和实用程序,然后介绍了实用程序感知异常序列规则(UOSR)的概念。我们表明这是一种检测异常的更有意义的方式。此外,我们提出了一些有效的修剪策略w.r.t.用于挖掘UOSR的上限,以及异常检测。在若干现实世界数据集上进行了广泛的实验研究表明,所提出的Duos算法具有更好的有效性和效率。最后,DUOS优于基线算法,具有合适的可扩展性。
translated by 谷歌翻译
自动日志文件分析可以尽早发现相关事件,例如系统故障。特别是,自我学习的异常检测技术在日志数据中捕获模式,随后向系统操作员报告意外的日志事件事件,而无需提前提供或手动对异常情况进行建模。最近,已经提出了越来越多的方法来利用深度学习神经网络为此目的。与传统的机器学习技术相比,这些方法证明了出色的检测性能,并同时解决了不稳定数据格式的问题。但是,有许多不同的深度学习体系结构,并且编码由神经网络分析的原始和非结构化日志数据是不平凡的。因此,我们进行了系统的文献综述,概述了部署的模型,数据预处理机制,异常检测技术和评估。该调查没有定量比较现有方法,而是旨在帮助读者了解不同模型体系结构的相关方面,并强调未来工作的开放问题。
translated by 谷歌翻译
异常检测领域中的大多数建议仅集中在检测阶段,特别是在最近的深度学习方法上。在提供高度准确的预测的同时,这些模型通常缺乏透明度,充当“黑匣子”。这种批评已经越来越多,即解释在可接受性和可靠性方面被认为非常相关。在本文中,我们通过检查ADMNC(混合数值和分类空间的异常检测)模型来解决此问题,这是一种现有的非常准确的,尽管不透明的异常检测器能够使用数值和分类输入进行操作。这项工作介绍了扩展EADMNC(在混合数值和分类空间上可解释的异常检测),这为原始模型获得的预测提供了解释性。通过Apache Spark Framework,我们保留了原始方法的可伸缩性。 EADMNC利用了先前的ADMNC模型的配方,以提供事前和事后解释性,同时保持原始体系结构的准确性。我们提出了一个事前模型,该模型在全球范围内通过将输入数据分割为均质组,仅使用少数变量来解释输出。我们设计了基于回归树的图形表示,主管可以检查以了解正常数据和异常数据之间的差异。我们的事后解释由基于文本的模板方法组成,该方法在本地提供了支持每个检测的文本参数。我们报告了广泛的现实数据,特别是在网络入侵检测领域的实验结果。使用网络入侵域中的专家知识来评估解释的有用性。
translated by 谷歌翻译
日志是确保许多软件系统的可靠性和连续性,尤其是大规模分布式系统的命令。他们忠实地录制运行时信息,以便于系统故障排除和行为理解。由于现代软件系统的大规模和复杂性,日志量已达到前所未有的水平。因此,对于基于逻究的异常检测,常规的手动检查方法甚至传统的基于机器学习的方法变得不切实际,这是一种不切实际的是,作为基于深度学习的解决方案的快速发展的催化剂。然而,目前在诉诸神经网络的代表性日志的异常探测器之间缺乏严格的比较。此外,重新实现过程需要不琐碎的努力,并且可以轻易引入偏差。为了更好地了解不同异常探测器的特性,在本文中,我们提供了六种最先进的方法使用的五种流行神经网络的全面审查和评估。特别是,4种所选方法是无监督的,并且剩下的两个是监督的。这些方法是用两个公开的日志数据集进行评估,其中包含近1600万日志消息和总共有04万个异常实例。我们相信我们的工作可以作为这一领域的基础,为未来的学术研究和工业应用做出贡献。
translated by 谷歌翻译
为了允许机器学习算法从原始数据中提取知识,必须首先清除,转换,并将这些数据置于适当的形式。这些通常很耗时的阶段被称为预处理。预处理阶段的一个重要步骤是特征选择,其目的通过减少数据集的特征量来更好地执行预测模型。在这些数据集中,不同事件的实例通常是不平衡的,这意味着某些正常事件被超出,而其他罕见事件非常有限。通常,这些罕见的事件具有特殊的兴趣,因为它们具有比正常事件更具辨别力。这项工作的目的是过滤提供给这些罕见实例的特征选择方法的实例,从而积极影响特征选择过程。在这项工作过程中,我们能够表明这种过滤对分类模型的性能以及异常值检测方法适用于该过滤。对于某些数据集,所产生的性能增加仅为百分点,但对于其他数据集,我们能够实现高达16%的性能的增加。这项工作应导致预测模型的改进以及在预处理阶段的过程中的特征选择更好的可解释性。本着公开科学的精神,提高了我们的研究领域的透明度,我们已经在公开的存储库中提供了我们的所有源代码和我们的实验结果。
translated by 谷歌翻译
监视网络流量数据以检测异常的任何隐藏模式是一个具有挑战性和耗时的任务,需要高计算资源。为此,适当的摘要技术非常重要,在那里它可以是原始数据的替代品。但是,总结数据受到异常的威胁。因此,创建一个可以将与原始数据相同的模式的摘要至关重要。因此,在本文中,我们提出了一种智能摘要方法,用于识别隐藏的异常,称为innident。建议的方法保证了将原始数据分布保持在总结数据。我们的方法是一种基于聚类的算法,它通过每个群集中的本地加权功能动态地将原始要素空间映射到新的特征空间。因此,在新的特征空间中,类似的样本更近,因此,异常值更为可检测。此外,基于簇大小的选择代表与总结数据中的原始数据保持相同的分发。在执行异常检测算法和异常检测算法之前,可以使用载体作为预处理方法。基准数据集的实验结果证明了数据的摘要可以是异常检测任务中的原始数据的替代品。
translated by 谷歌翻译
作为在Internet交换路由到达性信息的默认协议,边界网关协议(BGP)的流量异常行为与互联网异常事件密切相关。 BGP异常检测模型通过其实时监控和警报功能确保互联网上的稳定路由服务。以前的研究要么专注于特征选择问题或数据中的内存特征,同时忽略特征之间的关系和特征中的精确时间相关(无论是长期还是短期依赖性)。在本文中,我们提出了一种用于捕获来自BGP更新流量的异常行为的多视图模型,其中使用黄土(STL)方法的季节性和趋势分解来减少原始时间序列数据中的噪声和图表网络中的噪声(GAT)用于分别发现功能中的特征关系和时间相关性。我们的结果优于异常检测任务的最先进的方法,平均F1分别在平衡和不平衡数据集上得分高达96.3%和93.2%。同时,我们的模型可以扩展以对多个异常进行分类并检测未知事件。
translated by 谷歌翻译
偏差检测旨在检测偏差过程实例,例如医疗保健过程中的患者和制造过程中的产品。组织的业务流程在各种上下文情况下执行,例如,在医院的情况下,Covid-19的大流行,并且在汽车公司的情况下缺乏半导体芯片短缺。因此,上下文感知的偏差检测对于提供相关见解至关重要。但是,现有工作1)不提供系统合并各种环境的系统方式,2)在不使用大量现有偏差检测技术的情况下量身定制为特定方法,而3)没有区分正面和负面环境,以证明和反驳分别偏差。在这项工作中,我们提供了一个框架来弥合上述差距。我们已将提出的框架作为Web服务实施,可以扩展到各种上下文和偏差检测方法。我们通过使用255种不同的上下文场景进行实验来评估所提出的框架的有效性。
translated by 谷歌翻译
Unsupervised anomaly detection in time-series has been extensively investigated in the literature. Notwithstanding the relevance of this topic in numerous application fields, a complete and extensive evaluation of recent state-of-the-art techniques is still missing. Few efforts have been made to compare existing unsupervised time-series anomaly detection methods rigorously. However, only standard performance metrics, namely precision, recall, and F1-score are usually considered. Essential aspects for assessing their practical relevance are therefore neglected. This paper proposes an original and in-depth evaluation study of recent unsupervised anomaly detection techniques in time-series. Instead of relying solely on standard performance metrics, additional yet informative metrics and protocols are taken into account. In particular, (1) more elaborate performance metrics specifically tailored for time-series are used; (2) the model size and the model stability are studied; (3) an analysis of the tested approaches with respect to the anomaly type is provided; and (4) a clear and unique protocol is followed for all experiments. Overall, this extensive analysis aims to assess the maturity of state-of-the-art time-series anomaly detection, give insights regarding their applicability under real-world setups and provide to the community a more complete evaluation protocol.
translated by 谷歌翻译
业务流程偏差是指业务流程执行的子集的现象,以消极或积极的方式偏离{他们的预期或理想的结果。业务流程的偏差执行包括违反合规规则的人,或者欠冲前或超过绩效目标的执行。偏差挖掘涉及通过分析支持业务流程的系统存储的事件日志来揭示揭示异常执行的原因。在本文中,首先通过基于顺序和声明模式模式的特征和它们的组合来研究解释业务流程的偏差问题。然后,通过基于纯数据属性值和数据感知声明规则利用事件日志中的事件日志和迹线的数据属性来进一步提高说明。然后通过用于规则感应的直接和间接方法来提取表征消化的解释。使用来自多个域的实际日志,根据他们准确地区分过程的非偏差和异常执行能力以及决赛的可理解性的能力来评估一系列特征类型和不同形式的决策规则。返回给用户的结果。
translated by 谷歌翻译