HyperAIHyperAI

Command Palette

Search for a command to run...

Recherche d'architecture neuronale One-Shot via un réseau de modèle auto-évalué

Xuanyi Dong Yi Yang

Résumé

La recherche d'architecture neuronique (NAS) vise à automatiser le processus de recherche d'architecture, à la place de recourir à une conception manuelle. Bien que les approches récentes de NAS permettent d'achever la recherche en quelques jours, une phase d'entraînement longue reste nécessaire pour chaque candidate d'architecture afin d'obtenir les paramètres permettant une évaluation précise. Récemment, des méthodes NAS « one-shot » ont été proposées afin de réduire considérablement le processus d'entraînement fastidieux en partageant les paramètres entre les différentes candidates. Ainsi, les paramètres de chaque candidate peuvent être extraits directement à partir des paramètres partagés, sans avoir à les entraîner de zéro. Toutefois, ces méthodes ne permettent pas de prédire à l'avance la performance d'une candidate, si bien que les candidates à évaluer sont échantillonnées aléatoirement, et la meilleure candidate est considérée comme celle ayant le meilleur score (top-1). Dans cet article, nous proposons un modèle de réseau à modèle auto-évalué (SETN) afin d'améliorer la qualité des candidates soumises à l'évaluation, augmentant ainsi la probabilité de couvrir des architectures compétitives. Le SETN se compose de deux composants : (1) un évaluateur, qui apprend à estimer la probabilité qu'une architecture individuelle présente une perte de validation plus faible ; les candidates à évaluer peuvent donc être sélectionnées de manière ciblée en fonction de cette estimation. (2) un réseau modèle, qui partage les paramètres entre toutes les candidates, permettant ainsi de réduire le coût d'entraînement des architectures générées. Dans nos expériences, l'architecture découverte par le SETN atteint des performances de pointe sur les benchmarks CIFAR et ImageNet, avec un coût computationnel comparable à celui des méthodes existantes. Le code est disponible publiquement sur GitHub : https://github.com/D-X-Y/AutoDL-Projects.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp