There has been significant work recently in developing machine learning models in high energy physics (HEP), for tasks such as classification, simulation, and anomaly detection. Typically, these models are adapted from those designed for datasets in computer vision or natural language processing without necessarily incorporating inductive biases suited to HEP data, such as respecting its inherent symmetries. Such inductive biases can make the model more performant and interpretable, and reduce the amount of training data needed. To that end, we develop the Lorentz group autoencoder (LGAE), an autoencoder model equivariant with respect to the proper, orthochronous Lorentz group $\mathrm{SO}^+(3,1)$, with a latent space living in the representations of the group. We present our architecture and several experimental results on jets at the LHC and find it significantly outperforms a non-Lorentz-equivariant graph neural network baseline on compression and reconstruction, and anomaly detection. We also demonstrate the advantage of such an equivariant model in analyzing the latent space of the autoencoder, which can have a significant impact on the explainability of anomalies found by such black-box machine learning models.
translated by 谷歌翻译
The findable, accessible, interoperable, and reusable (FAIR) data principles have provided a framework for examining, evaluating, and improving how we share data with the aim of facilitating scientific discovery. Efforts have been made to generalize these principles to research software and other digital products. Artificial intelligence (AI) models -- algorithms that have been trained on data rather than explicitly programmed -- are an important target for this because of the ever-increasing pace with which AI is transforming scientific and engineering domains. In this paper, we propose a practical definition of FAIR principles for AI models and create a FAIR AI project template that promotes adherence to these principles. We demonstrate how to implement these principles using a concrete example from experimental high energy physics: a graph neural network for identifying Higgs bosons decaying to bottom quarks. We study the robustness of these FAIR AI models and their portability across hardware architectures and software frameworks, and report new insights on the interpretability of AI predictions by studying the interplay between FAIR datasets and AI models. Enabled by publishing FAIR AI models, these studies pave the way toward reliable and automated AI-driven scientific discovery.
translated by 谷歌翻译
隐肌和数字水印是隐藏图像像素中可回收数据的任务。基于深神经网络(DNN)的图像隐肌和水印技术正在迅速取代传统的手工工程管道。基于DNN的水印技术已大大提高了嵌入式水印的消息能力,不可识别性和鲁棒性。但是,这种改进是以水印编码器神经网络的计算开销增加为代价的。在这项工作中,我们设计了第一个加速器平台FastStamp,用于执行基于DNN的密封造影和硬件图像的数字水印。我们首先提出了一个参数有效的DNN模型,用于嵌入图像像素中的可回收位串。我们提出的模型可以与先前最新DNN的水印方法的成功指标相匹配,同时在记忆足迹方面的速度明显更快,更轻。然后,我们设计了一个基于FPGA的加速器框架,以通过利用数据并行性和自定义计算路径来进一步改善模型吞吐量和功耗。 FastStamp允许将硬件签名嵌入图像中,以建立媒体真实性和数字媒体的所有权。与先前基于DNN的水印编码器实施同时消耗更少的功率的GPU实现相比,我们的最佳设计的推断速度更快68倍。
translated by 谷歌翻译
鉴于HEP研究的核心,数据科学(DS)和机器学习(ML)在高能量物理学(HEP)中的作用增长良好和相关。此外,利用物理数据固有的对称性激发了物理信息的ML作为计算机科学研究的充满活力的子场。 HEP研究人员从广泛使用的材料中受益匪浅,可用于教育,培训和劳动力开发。他们还为这些材料做出了贡献,并为DS/ML相关的字段提供软件。物理部门越来越多地在DS,ML和物理学的交集上提供课程,通常使用HEP研究人员开发的课程,并涉及HEP中使用的开放软件和数据。在这份白皮书中,我们探讨了HEP研究与DS/ML教育之间的协同作用,讨论了此交叉路口的机会和挑战,并提出了将是互惠互利的社区活动。
translated by 谷歌翻译
机器学习的应用(ML)日益增加,用于许多独特而具有挑战性的科学应用。但是,这些应用面临的至关重要的挑战是它们需要超长延迟和探索器ML功能。鉴于摩尔定律和丹纳德缩放的放缓,再加上科学仪器的快速进步,导致数据速率不断增长,因此需要在极端边缘的超快速ML。边缘的快速ML对于实时减少和过滤科学数据至关重要,以加速科学实验并实现更深刻的见解。为了加速实时科学边缘ML硬件和软件解决方案,我们需要具有足够规格的受限基准任务,以便通常适用且可访问。这些基准可以指导未来Edge ML硬件的设计,用于能够满足纳秒和微秒级延迟要求的科学应用程序。为此,我们介绍了一组科学的ML基准,涵盖了各种ML和嵌入式系统技术。
translated by 谷歌翻译
我们介绍了MLPERF小型推理基准(FPGA)平台上MLPERF微小的推理基准的最新结果。我们使用开源HLS4ML和Finn工作流,旨在使FPGA中优化神经网络的AI硬件代码民主化。我们介绍关键字发现,异常检测和图像分类基准任务的设计和实现过程。最终的硬件实现是针对速度和效率量身定制的,可配置的,可配置的空间数据流体系结构,并引入了新的通用优化和作为本工作的一部分开发的常见工作流程。完整的工作流程从量化感知培训到FPGA实施。该解决方案部署在芯片(PYNQ-Z2)和纯FPGA(ARTY A7-100T)平台上。由此产生的提交的潜伏期低至20 $ \ mu $ s和每次推论的低至30 $ \ mu $ j的能耗。我们展示了异质硬件平台上新兴的ML基准如何催化协作和开发新技术和更容易访问的工具。
translated by 谷歌翻译
我们向开放的神经网络交换(ONNX)中间表示格式提出扩展,以表示任意量化的量化神经网络。我们首先通过利用整数剪辑来引入对现有基于ONX的量化格式低精度量化的支持,从而产生了两个新的向后兼容的变体:带有剪辑和量化clip-dequantize(QCDQ)格式的量化运算符格式。然后,我们引入了一种新型的高级ONNX格式,称为量化ONNX(QONNX),该格式介绍了三个新运算符 - Quant,Biporlquant和Trunc,以表示均匀的量化。通过保持QONNX IR高级和灵活性,我们可以针对更广泛的平台。我们还介绍了与QONNX合作的实用程序,以及其在FINN和HLS4ML工具链中使用的示例。最后,我们介绍了QONNX模型动物园,以共享低精确的量化神经网络。
translated by 谷歌翻译
在CERN大强子撞机(LHC)的碰撞中的带电粒子轨迹的测定是一个重要但挑战性的问题,特别是在LHC(HL-LHC)的未来高亮度相期间的高相互作用密度条件下。图形神经网络(GNNS)是一种类型的几何深度学习算法,通过将跟踪器数据嵌入作为图形节点来成功应用于此任务的几何深度学习算法,而边缘表示可能的曲线段 - 并将边缘分类为真实或假轨道段。但是,由于其大量的计算成本,它们在基于硬件或软件的触发器应用中的研究受到限制。在本文中,我们介绍了一个自动翻译工作流程,集成到一个名为$ \ texttt {hls4ml} $的更广泛的工具中,用于将GNN转换为现场可编程门阵列(FPGA)的固件。我们使用此翻译工具实现用于带电粒子跟踪的GNN,使用TrackML挑战DataSet在FPGA上培训,其中设计针对不同的图表大小,任务复杂和延迟/吞吐量要求。该工作可以在HL-LHC实验的触发水平下纳入带电粒子跟踪GNN。
translated by 谷歌翻译
AutoEncoders在异常检测中具有高能物理学中的有用应用,特别是对于喷气机 - 在碰撞中产生的颗粒的准直淋浴,例如Cern大型强子撞机的碰撞。我们探讨了基于图形的AutoEncoders,它们在其“粒子云”表示中的喷射器上运行,并且可以在喷气机内的粒子中利用相互依存的依赖性,用于这种任务。另外,我们通过图形神经网络对能量移动器的距离开发可差的近似,这随后可以用作自动化器的重建损耗函数。
translated by 谷歌翻译
粒子流(PF)算法用于通用粒子检测器中,通过组合来自不同子目录的信息来重建碰撞的综合粒子级视图。已经开发出作为机器学习粒子流(MLPF)算法的图形神经网络(GNN)模型,以替代基于规则的PF算法。但是,了解模型的决策并不简单,特别是鉴于设定的预测任务,动态图形构建和消息传递步骤的复杂性。在本文中,我们适应了GNN的层状相关性传播技术,并将其应用于MLPF算法,以衡量相关节点和特征的预测。通过这个过程,我们深入了解模型的决策。
translated by 谷歌翻译