HyperAIHyperAI

Command Palette

Search for a command to run...

Einweg One-Shot Neuronale Architektur Suche mit Gleichförmiger Stichprobenziehung

Zichao Guo∗1, Xiangyu Zhang∗1, Haoyuan Mu1,2, Wen Heng1, Zechun Liu1,3, Yichen Wei1, Jian Sun1

Zusammenfassung

Wir untersuchen das Paradigma des One-Shot Neural Architecture Search (NAS) und analysieren dessen Vorteile im Vergleich zu bestehenden NAS-Ansätzen. Bestehende One-Shot-Methoden sind jedoch schwierig zu trainieren und noch nicht effektiv auf großen Datensätzen wie ImageNet. In dieser Arbeit schlagen wir ein Single-Path-One-Shot-Modell vor, um die Herausforderungen beim Training zu bewältigen. Unser zentrales Konzept besteht darin, eine vereinfachte Supernetzstruktur zu konstruieren, in der alle Architekturen einzelne Pfade sind, sodass das Problem der Gewichtskoanpassung gemindert wird. Das Training erfolgt durch gleichmäßige Pfadstichproben. Alle Architekturen (und ihre Gewichte) werden vollständig und gleichwertig trainiert.Umfassende Experimente bestätigen, dass unser Ansatz flexibel und effektiv ist. Er ist einfach zu trainieren und schnell bei der Suche. Unser Modell unterstützt ohne besondere Anstrengungen komplexe Suchräume (z.B. Bausteine, Kanäle, gemischte Präzisionsquantisierung) und verschiedene Suchrestriktionen (z.B. FLOPs, Latenz). Es ist daher für unterschiedliche Anwendungsbedarfe leicht einsetzbar. Auf dem großen Datensatz ImageNet erzielt es den Stand der Technik leistenden Performance.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp