HyperAIHyperAI

Command Palette

Search for a command to run...

你只需要一个好的初始化。

Dmytro Mishkin; Jiri Matas

摘要

层序单位方差(LSUV)初始化是一种用于深度网络学习的简单权重初始化方法。该方法包括两个步骤。首先,使用正交矩阵对每个卷积层或内积层的权重进行预初始化。其次,从第一层到最后一层依次进行,将每一层输出的方差归一化为1。实验结果表明,使用不同的激活函数(如Maxout、ReLU系列、tanh)时,所提出的初始化方法能够实现非常深的网络学习,其特点如下:(i) 所生成网络的测试准确率优于或等于传统方法;(ii) 至少与专门为非常深的网络设计的复杂方案(如FitNets(Romero等人,2015年)和Highway(Srivastava等人,2015年))一样快。该方法在GoogLeNet、CaffeNet、FitNets和残差网络上进行了性能评估,并在MNIST、CIFAR-10/100和ImageNet数据集上达到了最先进水平或接近最先进水平。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供