受益于扩大云基础设施，今天深度神经网络（DNN）在云中培训时具有越来越高的性能。研究人员花了几个月的努力，竞争额外的模型精度百分比。但是，当这些模型实际上在实践中部署在边缘设备上时，通常情况可能会突然下降超过10％而无明显原因。关键挑战是，在边缘设备上对ML推理执行并不多的可见性，并且在边缘部署过程中对潜在问题的认识很少。我们呈现ml-exray，一个端到端的框架，它提供了ML执行的层级细节的可见性，并帮助开发人员分析和调试云到边缘部署问题。更常见的是，子最佳边缘性能的原因不仅可以在模型本身中介绍，而是在整个数据流和部署过程中的每一个操作。评估显示ML-EXRARE可以有效地捕获部署问题，例如使用ML-EXRARE的预处理错误，量化问题，次优内核等，用户需要写入不到15行代码以完全检查边缘部署管道。消除这些问题，ML-EXRARE可以通过最多30％的模型性能，Pinpoint忽略层，指导用户通过两个数量级来优化内核执行延迟。代码和API将被释放为开源多语言仪表库和Python部署验证库。
translated by 谷歌翻译