PRE-NAS: Predictor-gestützter evolutionärer neuronaler Architektursuchalgorithmus

Neural Architecture Search (NAS) zielt darauf ab, die Architektur-Engineering-Prozesse in neuronalen Netzen zu automatisieren. Dies erfordert oft einen hohen Rechenaufwand, da während des Suchprozesses eine Vielzahl von Kandidatennetzen aus dem gesamten möglichen Suchraum bewertet werden muss. Die Vorhersage der Leistungsfähigkeit dieser Netze kann diesen hohen Rechenaufwand verringern, indem die Notwendigkeit entfällt, jedes Kandidatennetz explizit zu evaluieren. Die Entwicklung eines solchen Vorhersagemodells erfordert typischerweise eine große Anzahl bereits evaluerter Architekturen, die schwer zugänglich sein können. Um dieses Problem anzugehen, schlagen wir eine neuartige, evolutionär basierte NAS-Strategie vor: den Predictor-assisted E-NAS (PRE-NAS), der bereits mit einer äußerst geringen Anzahl evaluerter Architekturen hervorragende Ergebnisse erzielt. PRE-NAS nutzt neue evolutionäre Suchstrategien und integriert eine hochgenaue Gewichtsvererbung über die Generationen hinweg. Im Gegensatz zu One-Shot-Strategien, die aufgrund von Gewichtsteilung möglicherweise systematische Verzerrungen bei der Bewertung aufweisen, sind die Nachkommenkandidaten in PRE-NAS topologisch homogen. Dies vermeidet Verzerrungen und führt zu präziseren Vorhersagen. Umfangreiche Experimente auf den NAS-Bench-201- und DARTS-Suchräumen zeigen, dass PRE-NAS state-of-the-art NAS-Methoden übertrifft. Mit lediglich einer einzigen GPU, die 0,6 Tage lang sucht, kann PRE-NAS eine konkurrenzfähige Architektur finden, die auf CIFAR-10 eine Testfehlerquote von 2,40 % und auf ImageNet eine von 24 % erreicht.