摘要
卷积神经网络在物体识别方面表现出色，这得益于一系列近期的技术进步：修正线性单元（ReLU）、数据增强、dropout 技术以及大规模标注数据集。无监督数据被提议作为另一种提升性能的方法。然而，遗憾的是，最先进的方法并未采用无监督预训练，这引出了一个问题：在当前的技术进步背景下，无监督预训练是否仍然有用？如果有用，那么在什么情况下有用？我们从三个方面回答这个问题：1）开发一种结合了 ReLU 和近期无监督正则化技术的无监督方法；2）分析在 CIFAR-10 数据集上，不同比例的无监督样本与有监督样本下，无监督预训练相对于数据增强和 dropout 技术的优势；3）在 STL-10 数据集上验证我们的发现。我们发现，正如预期的那样，当无监督样本与有监督样本的比例较高时，无监督预训练有助于性能提升；令人惊讶的是，当这一比例较低时，无监督预训练反而会损害性能。此外，我们通过结合额外的颜色增强技术进行无监督预训练，在 STL-10 数据集上达到了接近最先进水平的性能。