HyperAIHyperAI

Command Palette

Search for a command to run...

Dicht Verbundener Suchraum für Flexiblere Neuronale Architektur Suche

Jiemin Fang Yuzhu Sun Qian Zhang Yuan Li Wenyu Liu Xinggang Wang

Zusammenfassung

Die Suche nach neuronalen Architekturen (Neural Architecture Search, NAS) hat die Entwicklung des Designs neuronaler Netze dramatisch vorangebracht. Wir untersuchen den Suchraumdesign in den meisten bisherigen NAS-Methoden und stellen fest, dass die Anzahl und Breiten der Blöcke manuell festgelegt werden. Die Blockanzahl und Blockbreiten bestimmen jedoch die Netzwerkgrößen (Tiefe und Breite) und haben einen erheblichen Einfluss auf sowohl die Genauigkeit als auch die Modellkosten (FLOPs/Latenz). In dieser Arbeit schlagen wir vor, Blockanzahl und Blockbreiten durch das Design eines dicht verbundenen Suchraums zu suchen, nämlich DenseNAS. Der neue Suchraum wird als ein dichtes Super-Netzwerk dargestellt, das auf unseren entworfenen Routing-Blöcken basiert. Im Super-Netzwerk sind die Routing-Blöcke dicht miteinander verbunden, und wir suchen den besten Pfad zwischen ihnen, um die endgültige Architektur abzuleiten. Weiterhin schlagen wir einen verketteten Kostenabschätzungsalgorithmus vor, um während der Suche die Modellkosten zu approximieren. In DenseNAS werden sowohl Genauigkeit als auch Modellkosten optimiert. Bei Experimenten mit dem auf MobileNetV2 basierenden Suchraum erreicht DenseNAS eine Top-1-Genauigkeit von 75,3 % auf ImageNet bei nur 361 MB FLOPs und einer Latenz von 17,9 ms auf einem einzelnen TITAN-XP. Das größere Modell, das durch DenseNAS gefunden wurde, erreicht eine Genauigkeit von 76,1 % bei nur 479 Mio. FLOPs. DenseNAS verbessert zudem die ImageNet-Klassifikationsgenauigkeiten von ResNet-18, -34 und -50-B um jeweils 1,5 %, 0,5 % und 0,3 % unter Reduktion der FLOPs um 200 Mio., 600 Mio. und 680 Mio. Der zugehörige Code ist unter https://github.com/JaminFong/DenseNAS verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Dicht Verbundener Suchraum für Flexiblere Neuronale Architektur Suche | Paper | HyperAI