CR-LSO : Optimisation de l'architecture neuronnelle convexe dans l'espace latent d'un Autoencodeur Variationnel de Graphes à l'aide de Réseaux Neuronaux Convexes d'Entrée

Dans les méthodes de recherche d'architecture neuronale (NAS) fondées sur l'optimisation dans l'espace latent (LSO), un modèle génératif profond est entraîné pour encoder les architectures neuronales discrètes dans un espace latent continu. Dans ce cadre, divers algorithmes d'optimisation opérant dans l'espace continu peuvent être appliqués pour explorer les architectures neuronales. Toutefois, l'optimisation des variables latentes s'avère difficile dans le cadre de la LSO basée sur les gradients, en raison de la non-convexité généralement observée dans l'application de l'espace latent vers la performance de l'architecture. Pour surmonter ce défi, ce papier propose une méthode d'optimisation d'espace latent régularisée par convexité (CR-LSO), dont l'objectif est de régulariser le processus d'apprentissage de l'espace latent afin d'obtenir une application convexe entre la représentation de l'architecture et sa performance. Plus précisément, CR-LSO entraîne un autoencodeur variationnel sur graphe (G-VAE) afin d'apprendre des représentations continues des architectures discrètes. Parallèlement, le processus d'apprentissage de l'espace latent est régularisé par la convexité garantie des réseaux neuronaux convexes d'entrée (ICNN). Ainsi, le G-VAE est contraint d'apprendre une application convexe de la représentation de l'architecture vers sa performance. Par la suite, CR-LSO approxime cette application de performance à l'aide d'un ICNN et exploite le gradient estimé pour optimiser les représentations des architectures neuronales. Les résultats expérimentaux sur trois benchmarks populaires de NAS montrent que CR-LSO atteint des performances compétitives tant en termes de complexité computationnelle que de performance d'architecture.