Stichproben-effiziente neuronale Architektursuche durch Lernen des Aktionsraums für Monte Carlo Tree Search
Stichproben-effiziente neuronale Architektursuche durch Lernen des Aktionsraums für Monte Carlo Tree Search
{Yuandong Tian Rodrigo Fonseca Teng Li Saining Xie Linnan Wang}

Abstract
Neural Architecture Search (NAS) ist zu einer vielversprechenden Technik für die automatische Entwurfs von neuronalen Netzwerken hervorgegangen. Allerdings nutzen bestehende MCTS-basierte NAS-Ansätze häufig manuell entworfene Aktionsräume, die nicht direkt mit der zu optimierenden Leistungsgröße (z. B. Genauigkeit) verknüpft sind, was zu einer datenun-effizienten Exploration von Architekturen führt. Um die Dateneffizienz zu verbessern, schlägt dieser Artikel Latent Action Neural Architecture Search (LaNAS) vor, das Aktionsmuster lernt, um den Suchraum rekursiv in Regionen mit guter oder schlechter Leistung zu partitionieren, in denen Netzwerke mit ähnlichen Leistungsmetriken enthalten sind. Während der Suchphase kann die Effizienz erheblich gesteigert werden, indem die Suche gezielt auf die Regionen mit guter Leistung ausgerichtet wird, da unterschiedliche Aktionssequenzen zu Regionen mit unterschiedlicher Leistung führen. Empirische Ergebnisse auf drei NAS-Aufgaben zeigen, dass LaNAS mindestens eine Größenordnung dateneffizienter ist als Baseline-Methoden wie evolutionäre Algorithmen, Bayessche Optimierung und zufällige Suche. In praktischen Anwendungen übertrifft sowohl die One-Shot- als auch die reguläre Variante von LaNAS stets bestehende Ergebnisse. Insbesondere erreicht LaNAS eine Genauigkeit von 99,0 % auf CIFAR-10 und 80,8 % Top-1-Accuracy bei 600 MFLOPS auf ImageNet bereits nach nur 800 Proben – wodurch es AmoebaNet signifikant übertrifft, und zwar mit lediglich 33× weniger Proben.
Code-Repositories
Benchmarks
| Benchmark | Methodik | Metriken |
|---|---|---|
| image-classification-on-cifar-10 | LaNet | Percentage correct: 99.03 |
KI mit KI entwickeln
Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.