Recherche d'architecture neuronale efficace en échantillons par apprentissage de l'espace d'action pour la recherche arborescente Monte Carlo
Recherche d'architecture neuronale efficace en échantillons par apprentissage de l'espace d'action pour la recherche arborescente Monte Carlo
{Yuandong Tian Rodrigo Fonseca Teng Li Saining Xie Linnan Wang}

Résumé
La Recherche d'Architecture Neuromusculaire (NAS) s'est imposée comme une technique prometteuse pour la conception automatique des réseaux de neurones. Toutefois, les approches existantes de NAS basées sur le MCTS (Monte Carlo Tree Search) utilisent souvent un espace d’actions conçu manuellement, qui n’est pas directement lié au critère de performance à optimiser (par exemple, la précision), ce qui entraîne une exploration peu efficace en échantillons des architectures. Pour améliorer cette efficacité en échantillons, ce papier propose Latent Action Neural Architecture Search (LaNAS), une méthode qui apprend des actions permettant de partitionner de manière récursive l’espace de recherche en régions « bonnes » ou « mauvaises », contenant des architectures présentant des performances similaires. Pendant la phase de recherche, puisque différentes séquences d’actions mènent à des régions aux performances variées, l’efficacité de la recherche peut être considérablement améliorée en favorisant les régions « bonnes ». Des résultats expérimentaux sur trois tâches de NAS montrent que LaNAS est au moins d’un ordre de grandeur plus efficace en échantillons que les méthodes de référence, notamment les algorithmes évolutionnaires, les optimisations bayésiennes et la recherche aléatoire. Lorsqu’elle est appliquée en pratique, LaNAS, tant dans sa version « one-shot » que régulière, surpasse de manière cohérente les résultats existants. En particulier, LaNAS atteint une précision de 99,0 % sur CIFAR-10 et une précision top-1 de 80,8 % à 600 MFLOPS sur ImageNet, en seulement 800 échantillons, surpassant significativement AmoebaNet, avec 33 fois moins d’échantillons.
Dépôts de code
Benchmarks
| Benchmark | Méthodologie | Métriques |
|---|---|---|
| image-classification-on-cifar-10 | LaNet | Percentage correct: 99.03 |
Construire l'IA avec l'IA
De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.