Generische neuronale Architektursuche mittels Regression

Die meisten bestehenden Algorithmen für neuronale Architektursuche (Neural Architecture Search, NAS) sind auf bestimmte Nachfolgeaufgaben ausgerichtet und werden anhand dieser bewertet, beispielsweise bei der Bildklassifikation im Bereich des maschinellen Sehens. Umfangreiche Experimente haben jedoch gezeigt, dass herausragende neuronale Architekturen – wie beispielsweise ResNet im Bereich des maschinellen Sehens oder LSTM in der natürlichen Sprachverarbeitung – im Allgemeinen hervorragend darin sind, Muster aus den Eingabedaten zu extrahieren und eine gute Leistung bei verschiedenen Nachfolgeaufgaben erzielen. In dieser Arbeit versuchen wir, zwei grundlegende Fragen im Zusammenhang mit NAS zu beantworten: (1) Ist es notwendig, die Leistung spezifischer Nachfolgeaufgaben zur Bewertung und Suche nach guten neuronalen Architekturen heranzuziehen? (2) Können wir NAS effektiv und effizient durchführen, ohne dabei auf die spezifischen Nachfolgeaufgaben angewiesen zu sein? Um diese Fragen zu beantworten, schlagen wir einen neuartigen und generischen NAS-Framework vor, den wir Generic NAS (GenNAS) nennen. GenNAS verwendet keine aufgabenbezogenen Labels, sondern nutzt stattdessen eine Regression auf eine Reihe manuell entworfener synthetischer Signalbasen zur Architekturbeurteilung. Diese selbstüberwachte Regressionsaufgabe kann die inhärente Fähigkeit einer Architektur, Eingabesignalmuster zu erfassen und zu transformieren, effektiv bewerten und ermöglicht zudem eine umfassendere Nutzung von Trainingsbeispielen. Umfangreiche Experimente an 13 CNN-Suchräumen und einem NLP-Raum belegen die bemerkenswerte Effizienz von GenNAS bei der Verwendung von Regression – sowohl hinsichtlich der Bewertung neuronaler Architekturen (quantifiziert durch die Rangkorrelation nach Spearman’s rho zwischen den approximierten Leistungen und den Leistungen bei den Nachfolgeaufgaben) als auch hinsichtlich der Konvergenzgeschwindigkeit des Trainings (innerhalb weniger Sekunden).