ProxylessNAS: Direkte Neuronale Architektursuche auf dem Zieltask und der Zielhardware

Die neuronale Architektursuche (NAS) hat durch das automatische Design effektiver Neuronalnetz-Architekturen einen großen Einfluss. Allerdings erschweren die verbotenen Rechenanforderungen traditioneller NAS-Algorithmen (z.B. $10^4$ GPU-Stunden) eine \emph{direkte} Suche der Architekturen bei umfangreichen Aufgaben (wie ImageNet). Differenzierbare NAS kann die GPU-Stundenkosten durch eine kontinuierliche Darstellung der Netzarchitektur reduzieren, leidet aber unter dem Problem des hohen GPU-Speicherverbrauchs (wächst linear im Verhältnis zur Größe des Kandidatenpools). Daher müssen sie \emph{Proxy}-Aufgaben nutzen, wie das Training auf einem kleineren Datensatz, das Lernen nur mit wenigen Blöcken oder das Training für nur wenige Epochen. Diese auf Proxy-Aufgaben optimierten Architekturen sind nicht notwendigerweise für die Ziel-Aufgabe optimal. In diesem Artikel stellen wir \emph{ProxylessNAS} vor, das in der Lage ist, \emph{direkt} die Architekturen für umfangreiche Ziel-Aufgaben und Ziel-Hardware-Plattformen zu lernen. Wir lösen das Problem des hohen Speicherverbrauchs bei differenzierbarer NAS und reduzieren die Rechenkosten (GPU-Stunden und GPU-Speicher) auf das gleiche Niveau regulären Trainings, während wir dennoch einen großen Kandidatenpool zulassen. Experimente auf CIFAR-10 und ImageNet zeigen die Effektivität von Direktheit und Spezialisierung. Auf CIFAR-10 erreicht unser Modell einen Testfehler von 2,08\% mit nur 5,7 Mio. Parametern, was besser ist als die bisher beste Architektur AmoebaNet-B, während es gleichzeitig 6-mal weniger Parameter verwendet. Auf ImageNet erreicht unser Modell eine Top-1-Genauigkeit von 3,1\% höher als MobileNetV2, während es gleichzeitig 1,2-mal schneller ist gemessen an der GPU-Latenz. Wir wenden ProxylessNAS auch an, um Neuronale Architekturen für Hardware direkt anhand harter Hardware-Metriken (wie Latenz) zu spezialisieren und geben Einblicke in die effiziente CNN-Architekturdesign.请注意，这里的“verbotenen”并不是指“禁止的”，而是为了押韵而选择的一个不太合适的词。正确的翻译应该是“hohe”（高的）或者“extreme”（极高的）。因此，建议将上述翻译中的“verbotenen”改为“hohe”：Die hohe Rechenanforderung traditioneller NAS-Algorithmen (z.B. $10^4$ GPU-Stunden) erschwert eine \emph{direkte} Suche der Architekturen bei umfangreichen Aufgaben (wie ImageNet).