HyperAIHyperAI

Command Palette

Search for a command to run...

Rétropropagation Perforée : Une Extension Inspirée par les Neurosciences aux Réseaux de Neurones Artificiels

Rorry Brenner Laurent Itti

Résumé

Les neurones des réseaux de neurones artificiels ont été initialement conçus à une époque où on connaissait beaucoup moins les neurones biologiques qu'aujourd'hui. Notre travail explore une modification de l'unité de neurone centrale afin de la rendre plus proche d'un neurone biologique. Cette modification est basée sur la connaissance que les dendrites biologiques ne sont pas simplement des canaux d'activation passifs, mais qu'elles calculent également des fonctions non-linéaires complexes lorsqu'elles transmettent l'activation au corps cellulaire.Le papier présente un système novateur de « Rétropropagation Perforée » (« Perforated » backpropagation) permettant aux neurones artificiels des réseaux de neurones profonds d'atteindre une meilleure performance dans le codage des mêmes caractéristiques qu'ils codifiaient dans l'architecture originale. Après une phase initiale d'entraînement du réseau, des nœuds supplémentaires appelés « Nœuds Dendritiques » (« Dendrite Nodes ») sont ajoutés au réseau et entraînés séparément avec un objectif différent : corrélater leur sortie avec l'erreur résiduelle des neurones originaux. Les Nœuds Dendritiques entraînés sont ensuite figés, et les neurones originaux sont entraînés davantage, en tenant maintenant compte des signaux d'erreur supplémentaires fournis par les Nœuds Dendritiques. Ce cycle d'entraînement des neurones originaux, puis d'ajout et d'entraînement des Nœuds Dendritiques peut être répété plusieurs fois jusqu'à ce qu'une performance satisfaisante soit atteinte.Notre algorithme a été intégré avec succès à des réseaux PyTorch modernes et de pointe dans plusieurs domaines, améliorant les précisions originales et permettant une compression significative du modèle sans perte de précision.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp