在这项工作中，我们提出了一种非常简单的深度学习网络用于图像分类，该网络仅包含最基本的数据处理组件：级联主成分分析（PCA）、二值哈希和分块直方图。在所提出的架构中，PCA 用于学习多阶段滤波器组。随后通过简单的二值哈希和分块直方图进行索引和池化。因此，这种架构被称为 PCA 网络（PCANet），并且可以极其容易和高效地设计和学习。为了对比和更好地理解，我们还介绍了两种 PCANet 的简单变体，即 RandNet 和 LDANet。它们与 PCANet 具有相同的拓扑结构，但其级联滤波器要么是随机选择的，要么是从 LDA 学习得到的。我们在许多基准视觉数据集上广泛测试了这些基本网络，以完成不同的任务，例如在 LFW 数据集上进行人脸验证，在 MultiPIE、Extended Yale B、AR 和 FERET 数据集上进行人脸识别，以及在 MNIST 数据集上进行手写数字识别。令人惊讶的是，在所有任务中，这种看似简单的 PCANet 模型的表现与当前最先进的特征（无论是预定义的、高度手工设计的还是通过深度神经网络仔细学习的）相当。更令人惊讶的是，它在 Extended Yale B、AR 和 FERET 数据集以及 MNIST 变体的许多分类任务中创下了新的记录。其他公共数据集上的额外实验也展示了 PCANet 在纹理分类和物体识别方面作为简单但极具竞争力的基线模型的巨大潜力。