SNAS: Stochastische Neuronale Architektur Suche

Wir schlagen Stochastic Neural Architecture Search (SNAS) vor, eine wirtschaftliche End-to-End-Lösung für Neural Architecture Search (NAS), die neuronale Operationsparameter und Architekturverteilungsparameter in einer Runde der Rückpropagation trainiert, während die Vollständigkeit und Differenzierbarkeit des NAS-Pipelines gewahrt bleibt. In dieser Arbeit wird NAS als ein Optimierungsproblem auf den Parametern einer gemeinsamen Verteilung für den Suchraum in einer Zelle reformuliert. Um die Gradienteninformation in einem generischen differenzierbaren Verlust für die Architektursuche zu nutzen, wird ein neuer Suchgradient vorgeschlagen. Wir beweisen, dass dieser Suchgradient das gleiche Ziel wie NAS basierend auf Reinforcement Learning optimiert, aber die Zuweisung von Krediten zu strukturellen Entscheidungen effizienter durchführt. Diese Kreditzuweisung wird durch lokal zerlegbare Belohnungen weiter verbessert, um eine ressourcenschonende Nebenbedingung zu erzwingen. In Experimenten auf CIFAR-10 findet SNAS eine Zellenarchitektur mit state-of-the-art-Genauigkeit in weniger Epochen als nicht-differenzierbare evolutionäre und reinforcement-learning-basierte NAS-Methoden, die auch auf ImageNet übertragbar ist. Es wird außerdem gezeigt, dass Kindnetze von SNAS während der Suche die Validierungsgenauigkeit beibehalten können, wobei attention-basierte NAS-Methoden Parameterwiedertrainierung benötigen, um mithalten zu können. Dies zeigt das Potenzial von SNAS, effiziente NAS auf großen Datensätzen zu ermöglichen. Unsere Implementierung haben wir unter https://github.com/SNAS-Series/SNAS-Series veröffentlicht.