HyperAIHyperAI
vor 17 Tagen

DSNAS: Direkte neuronale Architektursuche ohne Parameterneuanpassung

Shoukang Hu, Sirui Xie, Hehui Zheng, Chunxiao Liu, Jianping Shi, Xunying Liu, Dahua Lin
DSNAS: Direkte neuronale Architektursuche ohne Parameterneuanpassung
Abstract

Wenn NAS-Methoden Lösungen sind, was ist dann das Problem? Die meisten bestehenden NAS-Methoden erfordern eine zweistufige Optimierung von Parametern. Die Leistung derselben Architektur in beiden Stufen korreliert jedoch schlecht. Ausgehend von dieser Beobachtung schlagen wir eine neue Problemdefinition für NAS vor: task-spezifisch, end-to-end. Wir argumentieren, dass gegeben eine bestimmte Aufgabe im Bereich Computer Vision, für die eine NAS-Methode eingesetzt werden soll, diese Definition die vage definierte NAS-Evaluation auf zwei klare Kriterien reduzieren kann: i) die Genauigkeit für diese Aufgabe und ii) die insgesamt aufgewendete Rechenleistung, um letztlich ein Modell mit zufriedenstellender Genauigkeit zu erhalten. Da die meisten bestehenden Methoden dieses Problem nicht direkt lösen, stellen wir DSNAS vor – einen effizienten, differenzierbaren NAS-Framework, der Architektur und Parameter gleichzeitig mit einer niedrigverzerrten Monte-Carlo-Schätzung optimiert. Aus DSNAS abgeleitete Kindnetzwerke können direkt ohne Nachtrainierung eingesetzt werden. Im Vergleich zu zweistufigen Methoden entdeckt DSNAS erfolgreich Netzwerke mit vergleichbarer Genauigkeit (74,4 %) auf ImageNet innerhalb von 420 GPU-Stunden und reduziert die Gesamtzeit dabei um mehr als 34 %. Unsere Implementierung ist unter https://github.com/SNAS-Series/SNAS-Series verfügbar.