Rétropropagation Perforée : Une Extension Inspirée par les Neurosciences aux Réseaux de Neurones Artificiels

Les neurones des réseaux de neurones artificiels ont été initialement conçus à une époque où on connaissait beaucoup moins les neurones biologiques qu'aujourd'hui. Notre travail explore une modification de l'unité de neurone centrale afin de la rendre plus proche d'un neurone biologique. Cette modification est basée sur la connaissance que les dendrites biologiques ne sont pas simplement des canaux d'activation passifs, mais qu'elles calculent également des fonctions non-linéaires complexes lorsqu'elles transmettent l'activation au corps cellulaire.Le papier présente un système novateur de « Rétropropagation Perforée » (« Perforated » backpropagation) permettant aux neurones artificiels des réseaux de neurones profonds d'atteindre une meilleure performance dans le codage des mêmes caractéristiques qu'ils codifiaient dans l'architecture originale. Après une phase initiale d'entraînement du réseau, des nœuds supplémentaires appelés « Nœuds Dendritiques » (« Dendrite Nodes ») sont ajoutés au réseau et entraînés séparément avec un objectif différent : corrélater leur sortie avec l'erreur résiduelle des neurones originaux. Les Nœuds Dendritiques entraînés sont ensuite figés, et les neurones originaux sont entraînés davantage, en tenant maintenant compte des signaux d'erreur supplémentaires fournis par les Nœuds Dendritiques. Ce cycle d'entraînement des neurones originaux, puis d'ajout et d'entraînement des Nœuds Dendritiques peut être répété plusieurs fois jusqu'à ce qu'une performance satisfaisante soit atteinte.Notre algorithme a été intégré avec succès à des réseaux PyTorch modernes et de pointe dans plusieurs domaines, améliorant les précisions originales et permettant une compression significative du modèle sans perte de précision.