PathNet : Canaux d'Évolution pour la Descente de Gradient dans les Super Réseaux Neuraux

Pour l'intelligence artificielle générale (IAG), il serait efficace que plusieurs utilisateurs forment le même réseau neuronal géant, permettant la réutilisation des paramètres sans oubli catastrophique. PathNet est une première étape dans cette direction. C'est un algorithme de réseau neuronal qui utilise des agents intégrés au réseau dont la tâche est de découvrir quelles parties du réseau peuvent être réutilisées pour de nouvelles tâches. Les agents sont des chemins (vues) à travers le réseau qui déterminent le sous-ensemble de paramètres utilisé et mis à jour par les passes avant et arrière de l'algorithme de rétropropagation. Pendant l'apprentissage, un algorithme génétique avec sélection par tournoi est utilisé pour sélectionner des chemins à travers le réseau neuronal pour la reproduction et la mutation. La fitness d'un chemin est sa performance mesurée selon une fonction de coût. Nous démontrons un apprentissage par transfert réussi ; en fixant les paramètres le long d'un chemin appris sur la tâche A et en réévoluant une nouvelle population de chemins pour la tâche B, cela permet à la tâche B d'être apprise plus rapidement qu'elle ne le pourrait si elle était apprise à partir de zéro ou après un affinage. Les chemins évolués sur la tâche B réutilisent des parties du chemin optimal évolué sur la tâche A. Un transfert positif a été démontré pour des tâches de classification supervisée binaires MNIST, CIFAR et SVHN, ainsi que pour un ensemble de tâches d'apprentissage par renforcement sur Atari et Labyrinth, suggérant que les PathNets ont une applicabilité générale pour l'entraînement des réseaux neuronaux. Enfin, PathNet améliore également considérablement la robustesse aux choix d'hyperparamètres d'un algorithme d'apprentissage par renforcement asynchrone parallèle (A3C).