HyperAIHyperAI

Command Palette

Search for a command to run...

Konsole
vor 4 Monaten

Stichproben-effiziente neuronale Architektursuche durch Lernen des Aktionsraums für Monte Carlo Tree Search

{Yuandong Tian Rodrigo Fonseca Teng Li Saining Xie Linnan Wang}

Stichproben-effiziente neuronale Architektursuche durch Lernen des Aktionsraums für Monte Carlo Tree Search

Abstract

Neural Architecture Search (NAS) ist zu einer vielversprechenden Technik für die automatische Entwurfs von neuronalen Netzwerken hervorgegangen. Allerdings nutzen bestehende MCTS-basierte NAS-Ansätze häufig manuell entworfene Aktionsräume, die nicht direkt mit der zu optimierenden Leistungsgröße (z. B. Genauigkeit) verknüpft sind, was zu einer datenun-effizienten Exploration von Architekturen führt. Um die Dateneffizienz zu verbessern, schlägt dieser Artikel Latent Action Neural Architecture Search (LaNAS) vor, das Aktionsmuster lernt, um den Suchraum rekursiv in Regionen mit guter oder schlechter Leistung zu partitionieren, in denen Netzwerke mit ähnlichen Leistungsmetriken enthalten sind. Während der Suchphase kann die Effizienz erheblich gesteigert werden, indem die Suche gezielt auf die Regionen mit guter Leistung ausgerichtet wird, da unterschiedliche Aktionssequenzen zu Regionen mit unterschiedlicher Leistung führen. Empirische Ergebnisse auf drei NAS-Aufgaben zeigen, dass LaNAS mindestens eine Größenordnung dateneffizienter ist als Baseline-Methoden wie evolutionäre Algorithmen, Bayessche Optimierung und zufällige Suche. In praktischen Anwendungen übertrifft sowohl die One-Shot- als auch die reguläre Variante von LaNAS stets bestehende Ergebnisse. Insbesondere erreicht LaNAS eine Genauigkeit von 99,0 % auf CIFAR-10 und 80,8 % Top-1-Accuracy bei 600 MFLOPS auf ImageNet bereits nach nur 800 Proben – wodurch es AmoebaNet signifikant übertrifft, und zwar mit lediglich 33×33\times33× weniger Proben.

Code-Repositories

Benchmarks

BenchmarkMethodikMetriken
image-classification-on-cifar-10LaNet
Percentage correct: 99.03

KI mit KI entwickeln

Von der Idee bis zum Start — beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und den besten GPU-Preisen.

KI-Co-Coding
Sofort einsatzbereit GPUs
Beste Preise
Jetzt starten

Hyper Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Stichproben-effiziente neuronale Architektursuche durch Lernen des Aktionsraums für Monte Carlo Tree Search | Forschungsarbeiten | HyperAI