Command Palette
Search for a command to run...
你只需要一个好的初始化。
你只需要一个好的初始化。
Dmytro Mishkin; Jiri Matas
摘要
层序单位方差(LSUV)初始化是一种用于深度网络学习的简单权重初始化方法。该方法包括两个步骤。首先,使用正交矩阵对每个卷积层或内积层的权重进行预初始化。其次,从第一层到最后一层依次进行,将每一层输出的方差归一化为1。实验结果表明,使用不同的激活函数(如Maxout、ReLU系列、tanh)时,所提出的初始化方法能够实现非常深的网络学习,其特点如下:(i) 所生成网络的测试准确率优于或等于传统方法;(ii) 至少与专门为非常深的网络设计的复杂方案(如FitNets(Romero等人,2015年)和Highway(Srivastava等人,2015年))一样快。该方法在GoogLeNet、CaffeNet、FitNets和残差网络上进行了性能评估,并在MNIST、CIFAR-10/100和ImageNet数据集上达到了最先进水平或接近最先进水平。