KNAS: Green Neural Architecture Search

Viele bestehende Lösungen für die neuronale Architektursuche (Neural Architecture Search, NAS) basieren auf der nachgeschalteten Trainingsphase zur Bewertung von Architekturen, was erhebliche Rechenressourcen erfordert. Angesichts der großen Kohlenstoffemissionen, die durch diese Rechenoperationen verursacht werden, zielt diese Arbeit darauf ab, eine umweltfreundliche (grüne) NAS-Lösung zu entwickeln, die Architekturen ohne Training bewertet. Intuitiv bestimmen die durch die Architektur selbst induzierten Gradienten direkt die Konvergenz- und Generalisierungseigenschaften. Dies motiviert uns, die Gradienten-Kern-Hypothese zu formulieren: Gradienten können als grobkörniger Ersatz für die nachgeschaltete Trainingsphase dienen, um zufällig initialisierte Netzwerke zu bewerten. Um diese Hypothese zu untermauern, führen wir eine theoretische Analyse durch und identifizieren einen praktikablen Gradienten-Kern, der eine starke Korrelation mit dem Trainingsverlust und der Validierungsleistung aufweist. Auf Basis dieser Hypothese stellen wir einen neuen, kernbasierten Ansatz zur Architektursuche, KNAS, vor. Experimente zeigen, dass KNAS Ergebnisse erzielt, die mit herkömmlichen „train-then-test“-Paradigmen konkurrieren, jedoch um Größenordnungen schneller ist, insbesondere bei Aufgaben der Bildklassifikation. Darüber hinaus ermöglicht die extrem geringe Suchkosten eine breite Anwendbarkeit. Das gesuchte Netzwerk erreicht zudem eine bessere Leistung als die starke Baseline RoBERTA-large bei zwei Textklassifikationsaufgaben. Der Quellcode ist unter \url{https://github.com/Jingjing-NLP/KNAS} verfügbar.