本文介绍了稀疏的周期性收缩期(SPS)数据流,该数据流程推进了最先进的硬件加速器,用于支持轻型神经网络。具体而言,SPS DataFlow启用了一种新型的硬件设计方法,该方法通过新兴的修剪方案(定期基于模式的稀疏性(PPS))解锁。通过利用PPS的规律性,我们的Sparsity-Aware编译器可以最佳地重新定位权重,并在硬件中使用一个简单的索引单元来在权重和激活之间创建匹配。通过编译器硬件编码,SPS DataFlow具有更高的并行度,同时没有高索引开销,并且没有模型的准确性损失。在诸如VGG和Resnet之类的流行基准测试中进行了评估,SPS数据流以及随附的神经网络编译器编译器优于卷积神经网络(CNN)加速器设计的瞄准FPGA设备的设计。针对其他支撑重量存储格式,SPS导致4.49倍的能源效率提高,同时将存储需求降低3.67倍,用于总重量存储(非预紧权重加索引)和22,044X的索引存储器。
translated by 谷歌翻译