Evolving Neural Architecture Using One Shot Model

Neural Architecture Search (NAS) etabliert sich als neue Forschungsrichtung, die das Potenzial besitzt, handkurierte neuronale Architekturen, die für spezifische Aufgaben entwickelt wurden, zu ersetzen. Frühere evolutionäre Ansätze zur Architektursuche erfordern hohe Rechenressourcen und führen daher zu langen Suchzeiten. In dieser Arbeit präsentieren wir eine neuartige Methode zur Anwendung eines einfachen genetischen Algorithmus auf das NAS-Problem, genannt EvNAS (Evolving Neural Architecture using One Shot Model), die die Suchzeit erheblich reduziert, gleichzeitig aber bessere Ergebnisse als frühere evolutionäre Ansätze erzielt. Die Architekturen werden mittels der Architekturparameter des One-Shot-Modells dargestellt, was eine Gewichtsverteilung innerhalb einer gegebenen Population von Architekturen ermöglicht sowie eine Gewichtsübertragung von einer Generation zur nächsten. Wir schlagen eine Decodierungstechnik für die Architekturparameter vor, die dazu dient, den Großteil der Gradienteninformationen auf die jeweilige Architektur zu konzentrieren und gleichzeitig die Genauigkeitsvorhersage der Architektur durch das One-Shot-Modell während des Suchprozesses zu verbessern. Darüber hinaus nutzen wir die Genauigkeit der teilweise trainierten Architektur auf den Validierungsdaten als Schätzung ihrer Fitness, um die Suchzeit weiter zu verringern. EvNAS führt die Architektursuche auf einem Proxy-Datensatz, nämlich CIFAR-10, durch und benötigt lediglich 4,4 GPU-Tage auf einer einzigen GPU, um eine Top-1-Testfehlerquote von 2,47 % bei 3,63 Mio. Parametern zu erreichen. Diese Architektur wird anschließend auf CIFAR-100 und ImageNet übertragen und erreicht dort jeweils eine Top-1-Genauigkeit von 16,37 % und eine Top-5-Genauigkeit von 7,4 %. Alle diese Ergebnisse belegen das hohe Potenzial evolutionärer Methoden zur Lösung des Architektursuchproblems.