HyperAIHyperAI

Command Palette

Search for a command to run...

Recherche d'architecture neuronale efficace en échantillons par apprentissage de l'espace d'action pour la recherche arborescente Monte Carlo

Yuandong Tian Rodrigo Fonseca Teng Li Saining Xie Linnan Wang

Résumé

La Recherche d'Architecture Neuromusculaire (NAS) s'est imposée comme une technique prometteuse pour la conception automatique des réseaux de neurones. Toutefois, les approches existantes de NAS basées sur le MCTS (Monte Carlo Tree Search) utilisent souvent un espace d’actions conçu manuellement, qui n’est pas directement lié au critère de performance à optimiser (par exemple, la précision), ce qui entraîne une exploration peu efficace en échantillons des architectures. Pour améliorer cette efficacité en échantillons, ce papier propose Latent Action Neural Architecture Search (LaNAS), une méthode qui apprend des actions permettant de partitionner de manière récursive l’espace de recherche en régions « bonnes » ou « mauvaises », contenant des architectures présentant des performances similaires. Pendant la phase de recherche, puisque différentes séquences d’actions mènent à des régions aux performances variées, l’efficacité de la recherche peut être considérablement améliorée en favorisant les régions « bonnes ». Des résultats expérimentaux sur trois tâches de NAS montrent que LaNAS est au moins d’un ordre de grandeur plus efficace en échantillons que les méthodes de référence, notamment les algorithmes évolutionnaires, les optimisations bayésiennes et la recherche aléatoire. Lorsqu’elle est appliquée en pratique, LaNAS, tant dans sa version « one-shot » que régulière, surpasse de manière cohérente les résultats existants. En particulier, LaNAS atteint une précision de 99,0 % sur CIFAR-10 et une précision top-1 de 80,8 % à 600 MFLOPS sur ImageNet, en seulement 800 échantillons, surpassant significativement AmoebaNet, avec 33 fois moins d’échantillons.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp