Les convolutions pointwise regroupées réduisent significativement le nombre de paramètres dans EfficientNet

EfficientNet est une récente architecture de réseau de neurones convolutifs profonds (DCNN) conçue pour être étendue de manière proportionnelle en profondeur, en largeur et en résolution. Grâce à ses variantes, elle parvient à atteindre des performances de pointe sur la tâche de classification ImageNet ainsi que sur d'autres défis classiques. Bien que son nom fasse référence à son efficacité, définie comme le rapport entre la précision obtenue et les ressources nécessaires (nombre de paramètres, nombre d'opérations flottantes), nous étudions une méthode permettant de réduire le nombre initial de paramètres entraînables de plus de 84 % tout en préservant un niveau de précision très proche de celui du modèle original. Notre proposition consiste à améliorer les convolutions ponctuelles (1x1), dont le nombre de paramètres croît rapidement en raison du produit du nombre de filtres par le nombre de canaux d'entrée provenant de la couche précédente. Fondamentalement, notre modification consiste à regrouper les filtres en branches parallèles, chacune traitant une fraction des canaux d'entrée. Toutefois, cette approche entraîne une dégradation de la capacité d'apprentissage du DCNN. Pour éviter cet effet, nous proposons d’intercaler les sorties des filtres provenant de différentes branches aux niveaux intermédiaires de convolutions ponctuelles consécutives. Nos expérimentations sur le jeu de données CIFAR-10 montrent que notre version optimisée d’EfficientNet possède une capacité d’apprentissage similaire à celle du modèle original lors d’un entraînement à partir de zéro.