HyperAIHyperAI

Command Palette

Search for a command to run...

KNAS: Green Neural Architecture Search

Jingjing Xu Liang Zhao Junyang Lin Rundong Gao Xu Sun Hongxia Yang

Zusammenfassung

Viele bestehende Lösungen für die neuronale Architektursuche (Neural Architecture Search, NAS) basieren auf der nachgeschalteten Trainingsphase zur Bewertung von Architekturen, was erhebliche Rechenressourcen erfordert. Angesichts der großen Kohlenstoffemissionen, die durch diese Rechenoperationen verursacht werden, zielt diese Arbeit darauf ab, eine umweltfreundliche (grüne) NAS-Lösung zu entwickeln, die Architekturen ohne Training bewertet. Intuitiv bestimmen die durch die Architektur selbst induzierten Gradienten direkt die Konvergenz- und Generalisierungseigenschaften. Dies motiviert uns, die Gradienten-Kern-Hypothese zu formulieren: Gradienten können als grobkörniger Ersatz für die nachgeschaltete Trainingsphase dienen, um zufällig initialisierte Netzwerke zu bewerten. Um diese Hypothese zu untermauern, führen wir eine theoretische Analyse durch und identifizieren einen praktikablen Gradienten-Kern, der eine starke Korrelation mit dem Trainingsverlust und der Validierungsleistung aufweist. Auf Basis dieser Hypothese stellen wir einen neuen, kernbasierten Ansatz zur Architektursuche, KNAS, vor. Experimente zeigen, dass KNAS Ergebnisse erzielt, die mit herkömmlichen „train-then-test“-Paradigmen konkurrieren, jedoch um Größenordnungen schneller ist, insbesondere bei Aufgaben der Bildklassifikation. Darüber hinaus ermöglicht die extrem geringe Suchkosten eine breite Anwendbarkeit. Das gesuchte Netzwerk erreicht zudem eine bessere Leistung als die starke Baseline RoBERTA-large bei zwei Textklassifikationsaufgaben. Der Quellcode ist unter \url{https://github.com/Jingjing-NLP/KNAS} verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp