Recherche de l'architecture neuronale avec l'apprentissage par renforcement

Les réseaux de neurones sont des modèles puissants et flexibles qui fonctionnent bien pour de nombreuses tâches d'apprentissage difficiles dans les domaines de la reconnaissance d'images, de la parole et du langage naturel. Malgré leurs succès, les réseaux de neurones restent difficiles à concevoir. Dans cet article, nous utilisons un réseau récurrent pour générer les descriptions des modèles de réseaux de neurones et formons ce RNN par apprentissage par renforcement afin d'optimiser la précision attendue des architectures générées sur un ensemble de validation. Sur le jeu de données CIFAR-10, notre méthode, partant de zéro, peut concevoir une nouvelle architecture de réseau qui rivalise avec les meilleures architectures inventées par l'homme en termes de précision sur l'ensemble de test. Notre modèle CIFAR-10 atteint un taux d'erreur sur l'ensemble de test de 3,65 %, ce qui est 0,09 % meilleur et 1,05 fois plus rapide que le modèle précédemment considéré comme l'état de l'art utilisant un schéma architectural similaire. Sur le jeu de données Penn Treebank, notre modèle peut composer une nouvelle cellule récurrente qui surpasse la cellule LSTM largement utilisée ainsi que d'autres baselines considérées comme l'état de l'art. Notre cellule atteint une perplexité sur l'ensemble de test de 62,4 sur le Penn Treebank, soit 3,6 points de perplexité meilleurs que le modèle précédemment considéré comme l'état de l'art. La cellule peut également être transférée à la tâche de modélisation linguistique au niveau des caractères sur PTB et atteint une perplexité considérée comme l'état de l'art de 1,214.