让我们保持简单：使用简单的架构超越更深更复杂的架构

主要获奖的卷积神经网络（CNN）模型，如AlexNet、VGGNet、ResNet和GoogleNet，包含数千万至数亿个参数，这给计算和内存带来了相当大的开销。这限制了它们在训练、优化和内存效率方面的实际应用。相反，为了解决这一问题而提出的轻量级架构主要面临准确性较低的问题。这些低效问题大多源于遵循一种随意的方法。我们提出了一种基于一系列设计原则的简单架构，称为SimpleNet，并通过实验证明，精心设计但简单且深度适中的架构可以与更深更复杂的架构表现相当。SimpleNet在计算/内存效率与准确性之间提供了良好的平衡。我们的13层简单架构在多个知名基准测试中超越了目前大多数更深更复杂的架构，如VGGNet、ResNet和GoogleNet，同时其参数数量和操作次数减少了2到25倍。这使得它非常适用于嵌入式系统或计算和内存受限的系统。我们在CIFAR10数据集上取得了最先进的结果，超过了几个更重的架构，在MNIST数据集上接近最先进的水平，并在CIFAR100和SVHN数据集上取得了有竞争力的结果。此外，我们在ImageNet数据集中也超越了更大更深的架构，如VGGNet和其他流行的ResNet变体。模型可在以下地址获取：https://github.com/Coderx7/SimpleNet