17 天前

分组逐点卷积在卷积神经网络中减少参数量

{Domenec Puig, Hatem Rashwan, Mohamed Abdel-Nasser, Santiago Romani, Joao Paulo Schwarz Schuler}
摘要

在深度卷积神经网络(DCNNs)中,逐点卷积(pointwise convolutions)的参数量会因前一层输出通道数与卷积核数量的乘积而迅速增长。为应对这一增长问题,本文提出一种新型技术,通过引入并行分支结构实现逐点卷积的参数高效化:每个分支包含一组卷积核,仅处理输入通道的一部分。为避免削弱DCNN的模型学习能力,我们在连续逐点卷积的中间层引入滤波器输出的交错(interleaving)机制,以增强特征融合能力。为验证所提方法的有效性,我们将该技术应用于多种前沿DCNN架构,包括EfficientNet、DenseNet-BC L100、MobileNet以及MobileNet V3 Large。在CIFAR-10、CIFAR-100、Cropped-PlantDoc和Oxford-IIIT Pet四个数据集上,对比了采用与不采用该方法的模型性能。实验结果表明,使用所提技术从零开始训练的DCNN模型,在测试准确率上与原始的EfficientNet和MobileNet V3 Large架构相当,同时实现了最高达90%的参数量压缩和63%的浮点运算量减少。