With the rise of AI in recent years and the increase in complexity of the models, the growing demand in computational resources is starting to pose a significant challenge. The need for higher compute power is being met with increasingly more potent accelerators and the use of large compute clusters. However, the gain in prediction accuracy from large models trained on distributed and accelerated systems comes at the price of a substantial increase in energy demand, and researchers have started questioning the environmental friendliness of such AI methods at scale. Consequently, energy efficiency plays an important role for AI model developers and infrastructure operators alike. The energy consumption of AI workloads depends on the model implementation and the utilized hardware. Therefore, accurate measurements of the power draw of AI workflows on different types of compute nodes is key to algorithmic improvements and the design of future compute clusters and hardware. To this end, we present measurements of the energy consumption of two typical applications of deep learning models on different types of compute nodes. Our results indicate that 1. deriving energy consumption directly from runtime is not accurate, but the consumption of the compute node needs to be considered regarding its composition; 2. neglecting accelerator hardware on mixed nodes results in overproportional inefficiency regarding energy consumption; 3. energy consumption of model training and inference should be considered separately - while training on GPUs outperforms all other node types regarding both runtime and energy consumption, inference on CPU nodes can be comparably efficient. One advantage of our approach is that the information on energy consumption is available to all users of the supercomputer, enabling an easy transfer to other workloads alongside a raise in user-awareness of energy consumption.
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列,该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战,这是由于探测器的几何形状,不均匀的散射和冰中光的吸收,并且低于100 GEV的光,每个事件产生的信号光子数量相对较少。为了应对这一挑战,可以将ICECUBE事件表示为点云图形,并将图形神经网络(GNN)作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开,对不同的中微子事件类型进行分类,并重建沉积的能量,方向和相互作用顶点。基于仿真,我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术,包括已知系统不确定性的影响。对于中微子事件分类,与当前的IceCube方法相比,GNN以固定的假阳性速率(FPR)提高了信号效率的18%。另外,GNN在固定信号效率下将FPR的降低超过8(低于半百分比)。对于能源,方向和相互作用顶点的重建,与当前最大似然技术相比,分辨率平均提高了13%-20%。当在GPU上运行时,GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件,这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
系列弹性执行器(SEA)具有固有的合规性,可为机器人提供安全的扭矩来源,这些源是与各种环境相互作用的机器人,包括人类。这些应用对海体扭矩控制器有很高的要求,扭矩响应以及与其环境的相互作用行为。为了区分现有技术的扭矩控制器,这项工作正在引入统一的理论和实验框架,其基于它们的扭矩传递行为,表观阻抗行为,特别是表观阻抗的钝化性,即它们的相互作用稳定性,也是如此作为对传感器噪声的敏感性。我们比较经典的海上控制方法,如级联PID控制器和全状态反馈控制器,使用干扰观察者,加速反馈和适应规则,具有先进的控制器。仿真和实验证明了稳定的相互作用,高带宽和低噪声水平之间的折衷。基于这些权衡,可以基于与各个环境的所需交互来设计和调整特定于应用程序特定控制器。
translated by 谷歌翻译
在各种条件下行走期间关节阻抗的知识与临床决策以及机器人步态培训师,腿部假体,腿矫形器和可穿戴外骨骼的发展相关。虽然步行过程中的脚踝阻抗已经通过实验评估,但尚未识别步行期间的膝盖和髋关节阻抗。在这里,我们开发并评估了下肢扰动器,以识别跑步机行走期间髋关节,膝关节和踝关节阻抗。下肢扰动器(Loper)由致动器组成,致动器通过杆连接到大腿。 Loper允许将力扰动施加到自由悬挂的腿上,同时站立在对侧腿上,带宽高达39Hz。在以最小的阻抗模式下行走时,Loper和大腿之间的相互作用力低(<5N),并且对行走图案的效果小于正常行走期间的对象内变异性。使用摆动腿动力学的非线性多体动力学模型,在摆动阶段在速度为0.5米/秒的速度的九个受试者期间估计臀部,膝关节和踝关节阻抗。所识别的模型能够预测实验反应,因为分别占髋部,膝关节和踝部的平均方差为99%,96%和77%。对受试者刚度的平均分别在34-66nm / rad,0-3.5nm / rad,0-3.5nm / rad和2.5-24nm / rad的三个时间点之间变化,分别用于臀部,膝部和踝关节。阻尼分别在1.9-4.6 nms / rad,0.02-0.14 nms / rad和0.2-2.4 nms / rad的0.02-0.14 nms / rad供应到0.2-2.4nms / rad。发达的洛普勒对不受干扰的行走模式具有可忽略的影响,并且允许在摆动阶段识别臀部,膝关节和踝关节阻抗。
translated by 谷歌翻译
我们将语言建模(LM)作为多标签结构化预测任务,通过重新构建培训,从单独预测单个地理词来排序一组可以继续给定的上下文的单词。为避免注释Top-$ K $等级,我们使用预先训练的LMS生成它们:GPT-2,BERT和Born-Eventical Models。这导致基于秩的知识蒸馏(KD)。我们还使用$ n $ -gram开发一种方法来创建非概率教师,而不是需要预先训练的LM等级。我们确认假设我们可以将LIGE视为排名任务,并且我们可以在不使用预先训练的LM的情况下进行。我们表明,基于秩的KD通常提高了困惑(PPL),而与基于Kullback-Leibler的KD相比,通常具有统计显着性。令人惊讶的是,鉴于该方法的简单性,$ n $ -grams充当竞争教师,并实现类似伯特或出生的模型教师的类似表现。 GPT-2始终作为最好的教师,并使用它和Wiki-02上的变压器-XL学生,基于秩的KD从65.27到55.94减少了一个跨熵基线,并反对基于KL的KD为56.70。
translated by 谷歌翻译