摘要
我们使用散射网络作为监督混合深度网络前几层的通用且固定的初始化方法。研究表明，早期层并不一定需要进行学习，在使用预定义表示的情况下，该方法能够提供迄今为止最佳的结果，同时在性能上与深度卷积神经网络（Deep CNNs）相当。通过使用浅层级联的1 x 1卷积，可以编码对应于非常小空间窗口的散射系数，从而在imagenet ILSVRC2012数据集上达到AlexNet的精度。我们证明了这种局部编码能够显式地学习对旋转的不变性。将散射网络与现代残差网络（ResNet）结合，我们在imagenet ILSVRC2012数据集上实现了单裁剪情况下5%的错误率为11.4%，这一结果与ResNet-18架构相当，但仅使用了10层。此外，我们发现混合架构在小样本情况下也能表现出色，其性能超过了端到端模型，这得益于它们能够融入几何先验知识。我们在CIFAR-10数据集的子集和STL-10数据集上对此进行了验证。