Exploration du paysage de perte dans la recherche d'architecture de réseaux neuronaux

La recherche d’architecture neuronale (NAS) a connu une croissance importante de l’intérêt au cours des dernières années. De nombreux algorithmes de NAS consistent à explorer un espace d’architectures en choisissant itérativement une architecture, en évaluant ses performances par entraînement, puis en utilisant toutes les évaluations antérieures pour déterminer le choix suivant. L’étape d’évaluation est bruitée : la précision finale varie en fonction de l’initialisation aléatoire des poids. Les travaux antérieurs se sont concentrés sur la conception de nouveaux algorithmes de recherche capables de gérer ce bruit, plutôt que de quantifier ou de comprendre le niveau de bruit présent dans les évaluations d’architectures. Dans ce travail, nous montrons que (1) l’algorithme de montée de colline le plus simple constitue une base solide pour la NAS, et (2) lorsque le bruit dans les jeux de données standards populaires pour la NAS est réduit au minimum, la montée de colline surpasse de nombreux algorithmes d’état de l’art courants. Nous soutenons cette observation par une analyse montrant que le nombre de minima locaux diminue significativement lorsque le bruit diminue, ainsi qu’une caractérisation théorique de la performance de la recherche locale dans le cadre de la NAS. À la lumière de ces résultats, nous proposons pour la recherche en NAS : (1) d’utiliser la recherche locale comme base de comparaison, et (2) de réduire le bruit dans le pipeline d’entraînement dès que possible.