卷积网络中修正激活函数的实证评估

本文研究了不同类型的修正激活函数在卷积神经网络中的性能表现，包括标准修正线性单元（ReLU）、泄漏修正线性单元（Leaky ReLU）、参数化修正线性单元（PReLU）以及一种新的随机泄漏修正线性单元（RReLU）。我们对这些激活函数进行了标准图像分类任务的评估。实验结果表明，在修正激活单元中引入非零负斜率可以持续改善性能。因此，我们的发现否定了稀疏性是ReLU良好性能的关键这一普遍观点。此外，在小规模数据集上，使用确定性的负斜率或学习负斜率都容易导致过拟合，其效果不如使用随机化的对应版本。通过使用RReLU，我们在CIFAR-100测试集上达到了75.68%的准确率，而无需多次测试或集成模型。