Recherche progressive d'architecture neuronale

Nous proposons une nouvelle méthode pour apprendre la structure des réseaux de neurones convolutifs (CNNs) qui est plus efficace que les méthodes récentes d'avant-garde basées sur l'apprentissage par renforcement et les algorithmes évolutionnaires. Notre approche utilise une stratégie d'optimisation séquentielle basée sur un modèle (SMBO), dans laquelle nous recherchons des structures par ordre de complexité croissante, tout en apprenant simultanément un modèle substitutif pour guider la recherche dans l'espace des structures. Une comparaison directe sous le même espace de recherche montre que notre méthode est jusqu'à 5 fois plus efficace que la méthode d'apprentissage par renforcement (RL) de Zoph et al. (2018) en termes de nombre de modèles évalués, et 8 fois plus rapide en termes de calcul total. Les structures découvertes par cette méthode atteignent des performances de classification d'avant-garde sur CIFAR-10 et ImageNet.