Recherche d'architecture neuronale générique par régression

La plupart des algorithmes existants de recherche d'architecture neuronale (NAS) sont conçus et évalués en fonction de tâches spécifiques en aval, par exemple la classification d'images en vision par ordinateur. Toutefois, de nombreuses expériences ont montré que les architectures neuronales performantes, telles que ResNet en vision par ordinateur ou LSTM en traitement du langage naturel, sont généralement très efficaces pour extraire des motifs à partir des données d'entrée et obtiennent de bons résultats sur diverses tâches en aval. Dans ce papier, nous nous efforçons de répondre à deux questions fondamentales liées à la NAS. (1) Est-il nécessaire d'utiliser les performances sur des tâches spécifiques en aval pour évaluer et rechercher des architectures neuronales de qualité ? (2) Peut-on mener une NAS de manière efficace et performante tout en étant indépendant des tâches en aval ? Pour répondre à ces questions, nous proposons un nouveau cadre générique de NAS, appelé Generic NAS (GenNAS). Contrairement aux approches traditionnelles, GenNAS n'utilise pas d'étiquettes spécifiques à une tâche, mais adopte une régression sur un ensemble de bases de signaux synthétiques conçues manuellement pour l'évaluation des architectures. Ce type de tâche de régression auto-supervisée permet d'évaluer efficacement la capacité intrinsèque d'une architecture à capturer et transformer les motifs présents dans les signaux d'entrée, tout en permettant une utilisation plus complète des échantillons d'entraînement. Des expériences étendues menées sur 13 espaces de recherche de CNN et un espace NLP démontrent l'efficacité remarquable de GenNAS basée sur la régression, tant en termes d'évaluation des architectures neuronales (mesurée par la corrélation de rang de Spearman entre les performances estimées et celles observées sur les tâches en aval) que de vitesse de convergence de l'entraînement (en quelques secondes seulement).