HyperAIHyperAI

Command Palette

Search for a command to run...

SpinalNet : Réseau neuronal profond avec entrée progressive

H M Dipu Kabir Moloud Abdar Seyed Mohammad Jafar Jalali Abbas Khosravi, Senior Member, IEEE Amir F Atiya, Senior Member, IEEE Saeid Nahavandi, Fellow, IEEE Dipti Srinivasan, Fellow, IEEE

Résumé

Les réseaux neuronaux profonds (DNNs) ont atteint des performances de pointe dans de nombreux domaines. Cependant, les DNNs nécessitent des temps de calcul élevés, et il y a toujours une attente d'une meilleure performance avec un calcul moins intense. Ainsi, nous avons étudié le système sensoriel humain et conçu un réseau neuronal (SpinalNet) pour obtenir une plus grande précision avec moins de calculs. Dans les réseaux neuronaux traditionnels (NNs), les couches cachées reçoivent des entrées de la couche précédente, appliquent une fonction d'activation, puis transmettent les résultats à la couche suivante. Dans le SpinalNet proposé, chaque couche est divisée en trois parties : 1) la partie d'entrée, 2) la partie intermédiaire, et 3) la partie de sortie. La partie d'entrée de chaque couche reçoit une partie des entrées. La partie intermédiaire de chaque couche reçoit les sorties de la partie intermédiaire de la couche précédente ainsi que les sorties de la partie d'entrée de la couche actuelle. Le nombre de poids entrants devient considérablement inférieur à celui des DNNs traditionnels. Le SpinalNet peut également être utilisé comme couche entièrement connectée ou couche de classification dans les DNNs et supporte à la fois l'apprentissage traditionnel et l'apprentissage par transfert. Nous observons des réductions significatives des erreurs avec des coûts computatifs moindres dans la plupart des DNNs. L'apprentissage traditionnel sur le réseau VGG-5 avec des couches de classification SpinalNet a fourni des performances optimales (SOTA) sur les ensembles de données QMNIST, Kuzushiji-MNIST et EMNIST (Lettres, Chiffres et Équilibré). L'apprentissage traditionnel avec des poids initiaux pré-entraînés sur ImageNet et des couches de classification SpinalNet a fourni des performances SOTA sur les ensembles de données STL-10, Fruits 360, Bird225 et Caltech-101. Les scripts du SpinalNet proposé sont disponibles à l'adresse suivante : https://github.com/dipuk0506/SpinalNet


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SpinalNet : Réseau neuronal profond avec entrée progressive | Articles | HyperAI