HyperAIHyperAI

Command Palette

Search for a command to run...

Évolution de l'architecture neuronale à l'aide d'un modèle à une seule prise

Nilotpal Sinha Kuan-Wen Chen

Résumé

La Recherche d'Architecture Neuronale (Neural Architecture Search, NAS) émerge comme une nouvelle direction de recherche susceptible de remplacer les architectures neuronales conçues manuellement pour des tâches spécifiques. Les méthodes précédentes basées sur l'évolution nécessitent des ressources computationnelles élevées, entraînant des temps de recherche importants. Dans ce travail, nous proposons une nouvelle approche appliquant un algorithme génétique simple au problème de la NAS, appelée EvNAS (Evolving Neural Architecture using One Shot Model), qui réduit significativement le temps de recherche tout en obtenant des résultats supérieurs à ceux des méthodes précédentes fondées sur l'évolution. Les architectures sont représentées à l’aide des paramètres d’architecture du modèle « one-shot », ce qui permet un partage de poids entre les architectures d’une même population, ainsi qu’un héritage des poids d’une génération à la suivante. Nous introduisons une technique de décodage des paramètres d’architecture, utilisée pour concentrer la majeure partie de l’information de gradient vers une architecture spécifique, et améliorer ainsi la prédiction de performance de cette architecture à partir du modèle « one-shot » pendant le processus de recherche. En outre, nous utilisons l’exactitude de l’architecture partiellement entraînée sur les données de validation comme prédicteur de sa fitness, afin de réduire davantage le temps de recherche. EvNAS effectue la recherche d’architecture sur un jeu de données proxy, à savoir CIFAR-10, en seulement 4,4 jours de calcul GPU sur une seule carte GPU, atteignant un taux d’erreur top-1 de 2,47 % avec 3,63 millions de paramètres. Ces résultats sont ensuite transférés à CIFAR-100 et ImageNet, où EvNAS obtient respectivement un taux d’erreur top-1 de 16,37 % et un taux d’erreur top-5 de 7,4 %. Tous ces résultats démontrent le potentiel des méthodes évolutionnaires dans la résolution du problème de recherche d’architecture.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Évolution de l'architecture neuronale à l'aide d'un modèle à une seule prise | Articles | HyperAI