HyperAIHyperAI

Command Palette

Search for a command to run...

Recherche d'architecture neuronale générique par régression

Yuhong Li Cong Hao Pan Li Jinjun Xiong Deming Chen

Résumé

La plupart des algorithmes existants de recherche d'architecture neuronale (NAS) sont conçus et évalués en fonction de tâches spécifiques en aval, par exemple la classification d'images en vision par ordinateur. Toutefois, de nombreuses expériences ont montré que les architectures neuronales performantes, telles que ResNet en vision par ordinateur ou LSTM en traitement du langage naturel, sont généralement très efficaces pour extraire des motifs à partir des données d'entrée et obtiennent de bons résultats sur diverses tâches en aval. Dans ce papier, nous nous efforçons de répondre à deux questions fondamentales liées à la NAS. (1) Est-il nécessaire d'utiliser les performances sur des tâches spécifiques en aval pour évaluer et rechercher des architectures neuronales de qualité ? (2) Peut-on mener une NAS de manière efficace et performante tout en étant indépendant des tâches en aval ? Pour répondre à ces questions, nous proposons un nouveau cadre générique de NAS, appelé Generic NAS (GenNAS). Contrairement aux approches traditionnelles, GenNAS n'utilise pas d'étiquettes spécifiques à une tâche, mais adopte une régression sur un ensemble de bases de signaux synthétiques conçues manuellement pour l'évaluation des architectures. Ce type de tâche de régression auto-supervisée permet d'évaluer efficacement la capacité intrinsèque d'une architecture à capturer et transformer les motifs présents dans les signaux d'entrée, tout en permettant une utilisation plus complète des échantillons d'entraînement. Des expériences étendues menées sur 13 espaces de recherche de CNN et un espace NLP démontrent l'efficacité remarquable de GenNAS basée sur la régression, tant en termes d'évaluation des architectures neuronales (mesurée par la corrélation de rang de Spearman entre les performances estimées et celles observées sur les tâches en aval) que de vitesse de convergence de l'entraînement (en quelques secondes seulement).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Recherche d'architecture neuronale générique par régression | Articles | HyperAI