HyperAIHyperAI

Command Palette

Search for a command to run...

Generische neuronale Architektursuche mittels Regression

Yuhong Li Cong Hao Pan Li Jinjun Xiong Deming Chen

Zusammenfassung

Die meisten bestehenden Algorithmen für neuronale Architektursuche (Neural Architecture Search, NAS) sind auf bestimmte Nachfolgeaufgaben ausgerichtet und werden anhand dieser bewertet, beispielsweise bei der Bildklassifikation im Bereich des maschinellen Sehens. Umfangreiche Experimente haben jedoch gezeigt, dass herausragende neuronale Architekturen – wie beispielsweise ResNet im Bereich des maschinellen Sehens oder LSTM in der natürlichen Sprachverarbeitung – im Allgemeinen hervorragend darin sind, Muster aus den Eingabedaten zu extrahieren und eine gute Leistung bei verschiedenen Nachfolgeaufgaben erzielen. In dieser Arbeit versuchen wir, zwei grundlegende Fragen im Zusammenhang mit NAS zu beantworten: (1) Ist es notwendig, die Leistung spezifischer Nachfolgeaufgaben zur Bewertung und Suche nach guten neuronalen Architekturen heranzuziehen? (2) Können wir NAS effektiv und effizient durchführen, ohne dabei auf die spezifischen Nachfolgeaufgaben angewiesen zu sein? Um diese Fragen zu beantworten, schlagen wir einen neuartigen und generischen NAS-Framework vor, den wir Generic NAS (GenNAS) nennen. GenNAS verwendet keine aufgabenbezogenen Labels, sondern nutzt stattdessen eine Regression auf eine Reihe manuell entworfener synthetischer Signalbasen zur Architekturbeurteilung. Diese selbstüberwachte Regressionsaufgabe kann die inhärente Fähigkeit einer Architektur, Eingabesignalmuster zu erfassen und zu transformieren, effektiv bewerten und ermöglicht zudem eine umfassendere Nutzung von Trainingsbeispielen. Umfangreiche Experimente an 13 CNN-Suchräumen und einem NLP-Raum belegen die bemerkenswerte Effizienz von GenNAS bei der Verwendung von Regression – sowohl hinsichtlich der Bewertung neuronaler Architekturen (quantifiziert durch die Rangkorrelation nach Spearman’s rho zwischen den approximierten Leistungen und den Leistungen bei den Nachfolgeaufgaben) als auch hinsichtlich der Konvergenzgeschwindigkeit des Trainings (innerhalb weniger Sekunden).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp