HyperAIHyperAI

Command Palette

Search for a command to run...

CR-LSO : Optimisation de l'architecture neuronnelle convexe dans l'espace latent d'un Autoencodeur Variationnel de Graphes à l'aide de Réseaux Neuronaux Convexes d'Entrée

Rao Xuan Zhao Bo Liu Derong

Résumé

Dans les méthodes de recherche d'architecture neuronale (NAS) fondées sur l'optimisation dans l'espace latent (LSO), un modèle génératif profond est entraîné pour encoder les architectures neuronales discrètes dans un espace latent continu. Dans ce cadre, divers algorithmes d'optimisation opérant dans l'espace continu peuvent être appliqués pour explorer les architectures neuronales. Toutefois, l'optimisation des variables latentes s'avère difficile dans le cadre de la LSO basée sur les gradients, en raison de la non-convexité généralement observée dans l'application de l'espace latent vers la performance de l'architecture. Pour surmonter ce défi, ce papier propose une méthode d'optimisation d'espace latent régularisée par convexité (CR-LSO), dont l'objectif est de régulariser le processus d'apprentissage de l'espace latent afin d'obtenir une application convexe entre la représentation de l'architecture et sa performance. Plus précisément, CR-LSO entraîne un autoencodeur variationnel sur graphe (G-VAE) afin d'apprendre des représentations continues des architectures discrètes. Parallèlement, le processus d'apprentissage de l'espace latent est régularisé par la convexité garantie des réseaux neuronaux convexes d'entrée (ICNN). Ainsi, le G-VAE est contraint d'apprendre une application convexe de la représentation de l'architecture vers sa performance. Par la suite, CR-LSO approxime cette application de performance à l'aide d'un ICNN et exploite le gradient estimé pour optimiser les représentations des architectures neuronales. Les résultats expérimentaux sur trois benchmarks populaires de NAS montrent que CR-LSO atteint des performances compétitives tant en termes de complexité computationnelle que de performance d'architecture.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
CR-LSO : Optimisation de l'architecture neuronnelle convexe dans l'espace latent d'un Autoencodeur Variationnel de Graphes à l'aide de Réseaux Neuronaux Convexes d'Entrée | Articles | HyperAI