Évolution de l'architecture neuronale à l'aide d'un modèle à une seule prise

La Recherche d'Architecture Neuronale (Neural Architecture Search, NAS) émerge comme une nouvelle direction de recherche susceptible de remplacer les architectures neuronales conçues manuellement pour des tâches spécifiques. Les méthodes précédentes basées sur l'évolution nécessitent des ressources computationnelles élevées, entraînant des temps de recherche importants. Dans ce travail, nous proposons une nouvelle approche appliquant un algorithme génétique simple au problème de la NAS, appelée EvNAS (Evolving Neural Architecture using One Shot Model), qui réduit significativement le temps de recherche tout en obtenant des résultats supérieurs à ceux des méthodes précédentes fondées sur l'évolution. Les architectures sont représentées à l’aide des paramètres d’architecture du modèle « one-shot », ce qui permet un partage de poids entre les architectures d’une même population, ainsi qu’un héritage des poids d’une génération à la suivante. Nous introduisons une technique de décodage des paramètres d’architecture, utilisée pour concentrer la majeure partie de l’information de gradient vers une architecture spécifique, et améliorer ainsi la prédiction de performance de cette architecture à partir du modèle « one-shot » pendant le processus de recherche. En outre, nous utilisons l’exactitude de l’architecture partiellement entraînée sur les données de validation comme prédicteur de sa fitness, afin de réduire davantage le temps de recherche. EvNAS effectue la recherche d’architecture sur un jeu de données proxy, à savoir CIFAR-10, en seulement 4,4 jours de calcul GPU sur une seule carte GPU, atteignant un taux d’erreur top-1 de 2,47 % avec 3,63 millions de paramètres. Ces résultats sont ensuite transférés à CIFAR-100 et ImageNet, où EvNAS obtient respectivement un taux d’erreur top-1 de 16,37 % et un taux d’erreur top-5 de 7,4 %. Tous ces résultats démontrent le potentiel des méthodes évolutionnaires dans la résolution du problème de recherche d’architecture.