HyperAIHyperAI

Command Palette

Search for a command to run...

Console
il y a 4 mois

Recherche d'architecture neuronale efficace en échantillons par apprentissage de l'espace d'action pour la recherche arborescente Monte Carlo

{Yuandong Tian Rodrigo Fonseca Teng Li Saining Xie Linnan Wang}

Recherche d'architecture neuronale efficace en échantillons par apprentissage de l'espace d'action pour la recherche arborescente Monte Carlo

Résumé

La Recherche d'Architecture Neuromusculaire (NAS) s'est imposée comme une technique prometteuse pour la conception automatique des réseaux de neurones. Toutefois, les approches existantes de NAS basées sur le MCTS (Monte Carlo Tree Search) utilisent souvent un espace d’actions conçu manuellement, qui n’est pas directement lié au critère de performance à optimiser (par exemple, la précision), ce qui entraîne une exploration peu efficace en échantillons des architectures. Pour améliorer cette efficacité en échantillons, ce papier propose Latent Action Neural Architecture Search (LaNAS), une méthode qui apprend des actions permettant de partitionner de manière récursive l’espace de recherche en régions « bonnes » ou « mauvaises », contenant des architectures présentant des performances similaires. Pendant la phase de recherche, puisque différentes séquences d’actions mènent à des régions aux performances variées, l’efficacité de la recherche peut être considérablement améliorée en favorisant les régions « bonnes ». Des résultats expérimentaux sur trois tâches de NAS montrent que LaNAS est au moins d’un ordre de grandeur plus efficace en échantillons que les méthodes de référence, notamment les algorithmes évolutionnaires, les optimisations bayésiennes et la recherche aléatoire. Lorsqu’elle est appliquée en pratique, LaNAS, tant dans sa version « one-shot » que régulière, surpasse de manière cohérente les résultats existants. En particulier, LaNAS atteint une précision de 99,0 % sur CIFAR-10 et une précision top-1 de 80,8 % à 600 MFLOPS sur ImageNet, en seulement 800 échantillons, surpassant significativement AmoebaNet, avec 33 fois moins d’échantillons.

Dépôts de code

Benchmarks

BenchmarkMéthodologieMétriques
image-classification-on-cifar-10LaNet
Percentage correct: 99.03

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp