Formation de réseaux de neurones avec des signaux d'erreur locaux

L'entraînement supervisé des réseaux de neurones pour la classification est généralement effectué avec une fonction de perte globale. Cette fonction de perte fournit un gradient pour la couche de sortie, et ce gradient est rétropropagé aux couches cachées pour déterminer une direction de mise à jour des poids. Une approche alternative consiste à entraîner le réseau avec des fonctions de perte par couche. Dans cet article, nous démontrons pour la première fois que l'entraînement par couche peut atteindre l'état de l'art sur divers ensembles de données d'images. Nous utilisons des sous-réseaux mono-couche et deux fonctions de perte supervisées différentes pour générer des signaux d'erreur locaux pour les couches cachées, et nous montrons que la combinaison de ces pertes aide à l'optimisation dans le contexte d'apprentissage local. L'utilisation d'erreurs locales pourrait être un pas vers un apprentissage profond plus biologiquement plausible, car l'erreur globale n'a pas besoin d'être transportée jusqu'aux couches cachées. Une variante entièrement exemptée de rétropropagation surpass les résultats précédemment rapportés parmi les méthodes visant une plus grande plausibilité biologique. Le code source est disponible à l'adresse : https://github.com/anokland/local-loss