HyperAIHyperAI

Command Palette

Search for a command to run...

ProxylessNAS: Direkte Neuronale Architektursuche auf dem Zieltask und der Zielhardware

Han Cai Ligeng Zhu Song Han

Zusammenfassung

Die neuronale Architektursuche (NAS) hat durch das automatische Design effektiver Neuronalnetz-Architekturen einen großen Einfluss. Allerdings erschweren die verbotenen Rechenanforderungen traditioneller NAS-Algorithmen (z.B. 10410^4104 GPU-Stunden) eine \emph{direkte} Suche der Architekturen bei umfangreichen Aufgaben (wie ImageNet). Differenzierbare NAS kann die GPU-Stundenkosten durch eine kontinuierliche Darstellung der Netzarchitektur reduzieren, leidet aber unter dem Problem des hohen GPU-Speicherverbrauchs (wächst linear im Verhältnis zur Größe des Kandidatenpools). Daher müssen sie \emph{Proxy}-Aufgaben nutzen, wie das Training auf einem kleineren Datensatz, das Lernen nur mit wenigen Blöcken oder das Training für nur wenige Epochen. Diese auf Proxy-Aufgaben optimierten Architekturen sind nicht notwendigerweise für die Ziel-Aufgabe optimal. In diesem Artikel stellen wir \emph{ProxylessNAS} vor, das in der Lage ist, \emph{direkt} die Architekturen für umfangreiche Ziel-Aufgaben und Ziel-Hardware-Plattformen zu lernen. Wir lösen das Problem des hohen Speicherverbrauchs bei differenzierbarer NAS und reduzieren die Rechenkosten (GPU-Stunden und GPU-Speicher) auf das gleiche Niveau regulären Trainings, während wir dennoch einen großen Kandidatenpool zulassen. Experimente auf CIFAR-10 und ImageNet zeigen die Effektivität von Direktheit und Spezialisierung. Auf CIFAR-10 erreicht unser Modell einen Testfehler von 2,08% mit nur 5,7 Mio. Parametern, was besser ist als die bisher beste Architektur AmoebaNet-B, während es gleichzeitig 6-mal weniger Parameter verwendet. Auf ImageNet erreicht unser Modell eine Top-1-Genauigkeit von 3,1% höher als MobileNetV2, während es gleichzeitig 1,2-mal schneller ist gemessen an der GPU-Latenz. Wir wenden ProxylessNAS auch an, um Neuronale Architekturen für Hardware direkt anhand harter Hardware-Metriken (wie Latenz) zu spezialisieren und geben Einblicke in die effiziente CNN-Architekturdesign.请注意,这里的“verbotenen”并不是指“禁止的”,而是为了押韵而选择的一个不太合适的词。正确的翻译应该是“hohe”(高的)或者“extreme”(极高的)。因此,建议将上述翻译中的“verbotenen”改为“hohe”:Die hohe Rechenanforderung traditioneller NAS-Algorithmen (z.B. 10410^4104 GPU-Stunden) erschwert eine \emph{direkte} Suche der Architekturen bei umfangreichen Aufgaben (wie ImageNet).


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp