Command Palette
Search for a command to run...
MemNAS: Gedächtnis-effiziente neuronale Architektursuche mit Grow-Trim-Lernverfahren
MemNAS: Gedächtnis-effiziente neuronale Architektursuche mit Grow-Trim-Lernverfahren
Mingoo Seok Huadong Ma Bo Wu Peiye Liu
Zusammenfassung
Neuere Studien zu automatischen Techniken des neuronalen Architektursuchens haben eine signifikante Leistung gezeigt, die mit oder sogar besser als bei handkurierten neuronalen Architekturen ist. Allerdings neigen die meisten bestehenden Suchansätze dazu, Residual-Strukturen sowie Verbindungen durch Verkettung zwischen flachen und tiefen Merkmalen zu verwenden. Dadurch entstehen neuronale Netzwerkmuster, die für ressourcenbeschränkte Geräte aufgrund ihres hohen Speicherbedarfs für Netzwerkparameter und Zwischenmerkmalskarten sowie ihrer übermäßigen Berechnungskomplexität schwer ausführbar sind. Um dieser Herausforderung zu begegnen, schlagen wir MemNAS vor – einen neuartigen, auf Wachstum und Trimmen basierenden Framework für das neuronale Architektursuchen, der nicht nur die Leistung, sondern auch den Speicherbedarf eines Inferenznetzwerks optimiert. Konkret berücksichtigen wir im Suchprozess den Speicherverbrauch während der Ausführung, einschließlich der Speicheranforderungen für Netzwerkparameter und essentielle Zwischenmerkmalskarten, als zusätzliche Optimierungsziel neben der Leistung. Zusätzlich verbessern wir die Genauigkeit der Suche, indem wir Korrelationsinformationen zwischen mehreren Kandidatenarchitekturen extrahieren, um diese zu bewerten und anschließend Kandidaten mit gewünschter Leistung und Speichereffizienz auszuwählen. Auf der ImageNet-Klassifizierungsaufgabe erreicht unser MemNAS eine Genauigkeit von 75,4 % – 0,7 Prozentpunkte höher als MobileNetV2 – bei einer Speicherkonsumreduzierung um 42,1 %. Zusätzliche Experimente bestätigen, dass das vorgeschlagene MemNAS eine hervorragende Leistung bei unterschiedlichen Kompromissen zwischen Genauigkeit und Speicherverbrauch erzielt.