HyperAIHyperAI

Command Palette

Search for a command to run...

Recherche d'une architecture neurale robuste en quatre heures de GPU

Xuanyi Dong Yi Yang

Résumé

Les approches classiques de recherche d'architecture neuronale (NAS) reposent sur l'apprentissage par renforcement ou des stratégies évolutionnaires, nécessitant plus de 3000 heures de calcul sur GPU pour découvrir un bon modèle sur CIFAR-10. Nous proposons une approche de NAS efficace fondée sur la descente de gradient, apprenant à effectuer la recherche. Notre méthode représente l'espace de recherche sous la forme d'un graphe orienté acyclique (DAG), contenant des milliards de sous-graphes, chacun représentant une architecture neuronale spécifique. Pour éviter d'explorer toutes les possibilités des sous-graphes, nous avons développé un échantillonneur différentiable sur le DAG. Cet échantillonneur est apprenable et optimisé en fonction de la perte sur l'ensemble de validation après l'entraînement de l'architecture échantillonnée. Ainsi, notre approche peut être entraînée de manière end-to-end par descente de gradient, et est nommée Gradient-based search using Differentiable Architecture Sampler (GDAS). En expérimentation, nous pouvons compléter une procédure de recherche en seulement quatre heures de calcul sur GPU sur CIFAR-10, et le modèle découvert atteint une erreur de test de 2,82 % avec seulement 2,5 millions de paramètres, ce qui est comparable aux meilleures performances actuelles. Le code est disponible publiquement sur GitHub : https://github.com/D-X-Y/NAS-Projects.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Recherche d'une architecture neurale robuste en quatre heures de GPU | Articles | HyperAI