HyperAIHyperAI

Command Palette

Search for a command to run...

MemNAS: Gedächtnis-effiziente neuronale Architektursuche mit Grow-Trim-Lernverfahren

Mingoo Seok Huadong Ma Bo Wu Peiye Liu

Zusammenfassung

Neuere Studien zu automatischen Techniken des neuronalen Architektursuchens haben eine signifikante Leistung gezeigt, die mit oder sogar besser als bei handkurierten neuronalen Architekturen ist. Allerdings neigen die meisten bestehenden Suchansätze dazu, Residual-Strukturen sowie Verbindungen durch Verkettung zwischen flachen und tiefen Merkmalen zu verwenden. Dadurch entstehen neuronale Netzwerkmuster, die für ressourcenbeschränkte Geräte aufgrund ihres hohen Speicherbedarfs für Netzwerkparameter und Zwischenmerkmalskarten sowie ihrer übermäßigen Berechnungskomplexität schwer ausführbar sind. Um dieser Herausforderung zu begegnen, schlagen wir MemNAS vor – einen neuartigen, auf Wachstum und Trimmen basierenden Framework für das neuronale Architektursuchen, der nicht nur die Leistung, sondern auch den Speicherbedarf eines Inferenznetzwerks optimiert. Konkret berücksichtigen wir im Suchprozess den Speicherverbrauch während der Ausführung, einschließlich der Speicheranforderungen für Netzwerkparameter und essentielle Zwischenmerkmalskarten, als zusätzliche Optimierungsziel neben der Leistung. Zusätzlich verbessern wir die Genauigkeit der Suche, indem wir Korrelationsinformationen zwischen mehreren Kandidatenarchitekturen extrahieren, um diese zu bewerten und anschließend Kandidaten mit gewünschter Leistung und Speichereffizienz auszuwählen. Auf der ImageNet-Klassifizierungsaufgabe erreicht unser MemNAS eine Genauigkeit von 75,4 % – 0,7 Prozentpunkte höher als MobileNetV2 – bei einer Speicherkonsumreduzierung um 42,1 %. Zusätzliche Experimente bestätigen, dass das vorgeschlagene MemNAS eine hervorragende Leistung bei unterschiedlichen Kompromissen zwischen Genauigkeit und Speicherverbrauch erzielt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp