SpinalNet : Réseau neuronal profond avec entrée progressive

Les réseaux neuronaux profonds (DNNs) ont atteint des performances de pointe dans de nombreux domaines. Cependant, les DNNs nécessitent des temps de calcul élevés, et il y a toujours une attente d'une meilleure performance avec un calcul moins intense. Ainsi, nous avons étudié le système sensoriel humain et conçu un réseau neuronal (SpinalNet) pour obtenir une plus grande précision avec moins de calculs. Dans les réseaux neuronaux traditionnels (NNs), les couches cachées reçoivent des entrées de la couche précédente, appliquent une fonction d'activation, puis transmettent les résultats à la couche suivante. Dans le SpinalNet proposé, chaque couche est divisée en trois parties : 1) la partie d'entrée, 2) la partie intermédiaire, et 3) la partie de sortie. La partie d'entrée de chaque couche reçoit une partie des entrées. La partie intermédiaire de chaque couche reçoit les sorties de la partie intermédiaire de la couche précédente ainsi que les sorties de la partie d'entrée de la couche actuelle. Le nombre de poids entrants devient considérablement inférieur à celui des DNNs traditionnels. Le SpinalNet peut également être utilisé comme couche entièrement connectée ou couche de classification dans les DNNs et supporte à la fois l'apprentissage traditionnel et l'apprentissage par transfert. Nous observons des réductions significatives des erreurs avec des coûts computatifs moindres dans la plupart des DNNs. L'apprentissage traditionnel sur le réseau VGG-5 avec des couches de classification SpinalNet a fourni des performances optimales (SOTA) sur les ensembles de données QMNIST, Kuzushiji-MNIST et EMNIST (Lettres, Chiffres et Équilibré). L'apprentissage traditionnel avec des poids initiaux pré-entraînés sur ImageNet et des couches de classification SpinalNet a fourni des performances SOTA sur les ensembles de données STL-10, Fruits 360, Bird225 et Caltech-101. Les scripts du SpinalNet proposé sont disponibles à l'adresse suivante : https://github.com/dipuk0506/SpinalNet