Architecture de ProgressiveSpinalNet pour les couches FC

Dans les modèles de deep learning, la couche FC (fully connected, entièrement connectée) joue un rôle essentiel dans la classification de l'entrée à partir des caractéristiques apprises par les couches précédentes. Les couches FC comportent le plus grand nombre de paramètres, et l'ajustement fin de ces paramètres massifs consomme la majeure partie des ressources computationnelles. Dans ce papier, l'objectif est donc de réduire de manière significative ce nombre élevé de paramètres tout en améliorant les performances. Cette motivation s'inspire de l'architecture biologique, notamment de SpinalNet. L'architecture proposée intègre une voie de gradient entre les couches d'entrée et de sortie, ce qui résout efficacement le problème de disparition du gradient dans les réseaux profonds. Dans cette approche, chaque couche reçoit à la fois les sorties des couches précédentes et la sortie de la couche CNN, permettant ainsi à toutes les couches de contribuer activement au processus de décision, en synergie avec la dernière couche. Cette méthode améliore les performances de classification par rapport à l'architecture SpinalNet et atteint des résultats SOTA (state-of-the-art) sur plusieurs jeux de données, notamment Caltech101, KMNIST, QMNIST et EMNIST. Le code source est disponible à l’adresse suivante : https://github.com/praveenchopra/ProgressiveSpinalNet.