HyperAIHyperAI

Command Palette

Search for a command to run...

BANANAS: Bayesian Optimization mit neuronalen Architekturen für die neuronale Architektursuche

Colin White Willie Neiswanger Yash Savani

Zusammenfassung

In den letzten fünf Jahren wurden zahlreiche Ansätze für die neuronale Architektursuche (Neural Architecture Search, NAS) untersucht. Bayesian Optimization (BO), die seit langem Erfolg bei der Hyperparameteroptimierung erzielt hat, ist kürzlich als äußerst vielversprechende Strategie für NAS hervorgetreten, insbesondere dann, wenn sie mit einem neuronalen Vorhersagemodell kombiniert wird. Neuere Arbeiten haben verschiedene Implementierungen dieses Ansatzes vorgeschlagen, beispielsweise die Verwendung von Bayes-Neural Networks oder Graphen-Convolutional Networks als Vorhersagemodell innerhalb von BO. Allerdings konzentrieren sich die Analysen in diesen Arbeiten oft auf den voll ausgestatteten NAS-Algorithmus, weshalb es schwierig ist, zu identifizieren, welche einzelnen Komponenten des Rahmens zur bestmöglichen Leistung beitragen.In dieser Arbeit führen wir eine umfassende Analyse des „BO + neuronales Vorhersagemodell“-Frameworks durch, indem wir fünf zentrale Komponenten identifizieren: die Architektur-Encoderung, das neuronale Vorhersagemodell, die Unsicherheitskalibrierungsmethode, die Auswertungsfunktion (Acquisition Function) und die Strategie zur Optimierung der Auswertungsfunktion. Für jede dieser Komponenten testen wir mehrere unterschiedliche Methoden und entwickeln zudem eine neuartige, pfadbasierte Encoderung für neuronale Architekturen, die wir sowohl theoretisch als auch empirisch als besser skalierend im Vergleich zu anderen Encodierungen nachweisen. Auf Basis all unserer Analysen entwickeln wir einen finalen Algorithmus namens BANANAS, der eine state-of-the-art-Leistung auf gängigen NAS-Suchräumen erzielt. Wir halten uns an die NAS-Forschungscheckliste (Lindauer und Hutter 2019), um Best Practices zu fördern, und stellen unseren Code unter https://github.com/naszilla/naszilla zur Verfügung.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
BANANAS: Bayesian Optimization mit neuronalen Architekturen für die neuronale Architektursuche | Paper | HyperAI