HyperAIHyperAI

Command Palette

Search for a command to run...

DSNAS: Direkte neuronale Architektursuche ohne Parameterneuanpassung

Shoukang Hu Sirui Xie Hehui Zheng Chunxiao Liu Jianping Shi Xunying Liu Dahua Lin

Zusammenfassung

Wenn NAS-Methoden Lösungen sind, was ist dann das Problem? Die meisten bestehenden NAS-Methoden erfordern eine zweistufige Optimierung von Parametern. Die Leistung derselben Architektur in beiden Stufen korreliert jedoch schlecht. Ausgehend von dieser Beobachtung schlagen wir eine neue Problemdefinition für NAS vor: task-spezifisch, end-to-end. Wir argumentieren, dass gegeben eine bestimmte Aufgabe im Bereich Computer Vision, für die eine NAS-Methode eingesetzt werden soll, diese Definition die vage definierte NAS-Evaluation auf zwei klare Kriterien reduzieren kann: i) die Genauigkeit für diese Aufgabe und ii) die insgesamt aufgewendete Rechenleistung, um letztlich ein Modell mit zufriedenstellender Genauigkeit zu erhalten. Da die meisten bestehenden Methoden dieses Problem nicht direkt lösen, stellen wir DSNAS vor – einen effizienten, differenzierbaren NAS-Framework, der Architektur und Parameter gleichzeitig mit einer niedrigverzerrten Monte-Carlo-Schätzung optimiert. Aus DSNAS abgeleitete Kindnetzwerke können direkt ohne Nachtrainierung eingesetzt werden. Im Vergleich zu zweistufigen Methoden entdeckt DSNAS erfolgreich Netzwerke mit vergleichbarer Genauigkeit (74,4 %) auf ImageNet innerhalb von 420 GPU-Stunden und reduziert die Gesamtzeit dabei um mehr als 34 %. Unsere Implementierung ist unter https://github.com/SNAS-Series/SNAS-Series verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
DSNAS: Direkte neuronale Architektursuche ohne Parameterneuanpassung | Paper | HyperAI