深度学习理论的基本追求是了解学习算法需要的重量空间中轨迹的性质。最近被隔离的一个这样的财产是“局部弹性”($ s _ {\ rm rel} $),它量化了采样数据点对另一个数据点预测的影响的传播。在这项工作中,我们通过在各种环境中提供新的理论见解和更加谨慎的经验证据,对本地弹性进行全面研究。首先,特定于分类设置,我们建议一个新的定义为$ s _ {\ rm} $的原始想法。通过实验在SVHN,CIFAR-10和CIFAR-100上进行最先进的神经网络训练,我们演示了我们的新$ S _ {\ rm} $检测到更新的重量更新的属性,以便在内部进行预测更改相同类的采样数据。接下来,我们通过神经网络的示例演示了原始$ s _ {\ rm rm} $显示2美元的阶段行为:当$ s _ {\ rm rm} $迅速变化时,他们的培训通过初始弹性阶段进行。当$ s _ {\ rm rel} $仍然很大时,最终的非弹性阶段。最后,我们通过渐变流提供多个学习的例子,其中一个人可以获得原始$ s _ {\ rm} $函数的封闭形式表达式。通过研究这些派生公式的曲线,我们给出了回归设置中的一些实验检测的属性的理论示范。
translated by 谷歌翻译