HyperAIHyperAI

Command Palette

Search for a command to run...

SNAS: Stochastische Neuronale Architektur Suche

Sirui Xie Hehui Zheng Chunxiao Liu Liang Lin

Zusammenfassung

Wir schlagen Stochastic Neural Architecture Search (SNAS) vor, eine wirtschaftliche End-to-End-Lösung für Neural Architecture Search (NAS), die neuronale Operationsparameter und Architekturverteilungsparameter in einer Runde der Rückpropagation trainiert, während die Vollständigkeit und Differenzierbarkeit des NAS-Pipelines gewahrt bleibt. In dieser Arbeit wird NAS als ein Optimierungsproblem auf den Parametern einer gemeinsamen Verteilung für den Suchraum in einer Zelle reformuliert. Um die Gradienteninformation in einem generischen differenzierbaren Verlust für die Architektursuche zu nutzen, wird ein neuer Suchgradient vorgeschlagen. Wir beweisen, dass dieser Suchgradient das gleiche Ziel wie NAS basierend auf Reinforcement Learning optimiert, aber die Zuweisung von Krediten zu strukturellen Entscheidungen effizienter durchführt. Diese Kreditzuweisung wird durch lokal zerlegbare Belohnungen weiter verbessert, um eine ressourcenschonende Nebenbedingung zu erzwingen. In Experimenten auf CIFAR-10 findet SNAS eine Zellenarchitektur mit state-of-the-art-Genauigkeit in weniger Epochen als nicht-differenzierbare evolutionäre und reinforcement-learning-basierte NAS-Methoden, die auch auf ImageNet übertragbar ist. Es wird außerdem gezeigt, dass Kindnetze von SNAS während der Suche die Validierungsgenauigkeit beibehalten können, wobei attention-basierte NAS-Methoden Parameterwiedertrainierung benötigen, um mithalten zu können. Dies zeigt das Potenzial von SNAS, effiziente NAS auf großen Datensätzen zu ermöglichen. Unsere Implementierung haben wir unter https://github.com/SNAS-Series/SNAS-Series veröffentlicht.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp