Einweg One-Shot Neuronale Architektur Suche mit Gleichförmiger Stichprobenziehung

Wir untersuchen das Paradigma des One-Shot Neural Architecture Search (NAS) und analysieren dessen Vorteile im Vergleich zu bestehenden NAS-Ansätzen. Bestehende One-Shot-Methoden sind jedoch schwierig zu trainieren und noch nicht effektiv auf großen Datensätzen wie ImageNet. In dieser Arbeit schlagen wir ein Single-Path-One-Shot-Modell vor, um die Herausforderungen beim Training zu bewältigen. Unser zentrales Konzept besteht darin, eine vereinfachte Supernetzstruktur zu konstruieren, in der alle Architekturen einzelne Pfade sind, sodass das Problem der Gewichtskoanpassung gemindert wird. Das Training erfolgt durch gleichmäßige Pfadstichproben. Alle Architekturen (und ihre Gewichte) werden vollständig und gleichwertig trainiert.Umfassende Experimente bestätigen, dass unser Ansatz flexibel und effektiv ist. Er ist einfach zu trainieren und schnell bei der Suche. Unser Modell unterstützt ohne besondere Anstrengungen komplexe Suchräume (z.B. Bausteine, Kanäle, gemischte Präzisionsquantisierung) und verschiedene Suchrestriktionen (z.B. FLOPs, Latenz). Es ist daher für unterschiedliche Anwendungsbedarfe leicht einsetzbar. Auf dem großen Datensatz ImageNet erzielt es den Stand der Technik leistenden Performance.