Lernen, wo man schauen soll – Generative NAS ist überraschend effizient

Die effiziente, automatisierte Suche nach leistungsstarken neuronalen Architekturen (Neural Architecture Search, NAS) hat in der jüngeren Vergangenheit zunehmend Aufmerksamkeit erhalten. Dabei steht im Vordergrund, die Notwendigkeit kostspieliger Evaluierungen neuronaler Architekturen zu reduzieren, während gleichzeitig große Suchräume effizient erkundet werden. Dazu integrieren Surrogatmodelle Architekturen in einen latente Raum und prognostizieren deren Leistungsfähigkeit, während generative Modelle für neuronale Architekturen eine optimierungsbasierende Suche innerhalb des latenten Raums ermöglichen, aus dem der Generator zieht. Sowohl Surrogat- als auch generative Modelle zielen darauf ab, eine fragen-effiziente Suche in einem gut strukturierten latenten Raum zu ermöglichen. In diesem Paper verbessern wir das Verhältnis zwischen fragen-effizientem Suchverhalten und der Generierung vielversprechender Architekturen, indem wir die Vorteile sowohl effizienter Surrogatmodelle als auch generativer Gestaltung nutzbar machen. Dazu schlagen wir ein generatives Modell vor, das gemeinsam mit einem Surrogatvorhersager iterativ lernt, Proben aus zunehmend vielversprechenderen latenten Teilräumen zu erzeugen. Dieser Ansatz führt zu einer äußerst effektiven und effizienten Architektursuche bei gleichzeitig geringem Fragenaufwand. Zudem ermöglicht unsere Methode in einfacher Weise die gleichzeitige Optimierung mehrerer Ziele, beispielsweise Genauigkeit und Hardware-Latenz. Wir zeigen, dass dieser Ansatz nicht nur bei der Optimierung von Architekturen für maximale Klassifizierungsgenauigkeit Vorteile bietet, sondern auch im Kontext hardwarebasierter Einschränkungen überlegen ist und auf mehreren NAS-Benchmarks für Einzel- und Mehrzieloptimierung state-of-the-art-Methoden übertrifft. Zudem erzielen wir state-of-the-art-Leistung auf ImageNet. Der Quellcode ist unter http://github.com/jovitalukasik/AG-Net verfügbar.