是否可以在深网络中重组非线性激活函数以创建硬件有效的模型?为了解决这个问题,我们提出了一个称为重组激活网络(RANS)的新范式,该范式操纵模型中的非线性数量以提高其硬件意识和效率。首先,我们提出了RAN-STHICER(RAN-E) - 一个新的硬件感知搜索空间和半自动搜索算法 - 用硬件感知的块替换效率低下的块。接下来,我们提出了一种称为RAN-IMPLICIC(RAN-I)的无训练模型缩放方法,从理论上讲,我们在非线性单元的数量方面证明了网络拓扑与其表现性之间的联系。我们证明,我们的网络在不同尺度和几种类型的硬件上实现最新的成像网结果。例如,与有效网络-lite-B0相比,RAN-E在ARM Micro-NPU上每秒(FPS)提高了1.5倍,同时提高了类似的精度。另一方面,ran-i以相似或更好的精度表现出#macs的#macs降低2倍。我们还表明,在基于ARM的数据中心CPU上,RAN-I的FPS比Convnext高40%。最后,与基于Convnext的模型相比,基于RAN-I的对象检测网络在数据中心CPU上获得了类似或更高的映射,并且在数据中心CPU上的fps高达33%。
translated by 谷歌翻译