Dicht Verbundener Suchraum für Flexiblere Neuronale Architektur Suche

Die Suche nach neuronalen Architekturen (Neural Architecture Search, NAS) hat die Entwicklung des Designs neuronaler Netze dramatisch vorangebracht. Wir untersuchen den Suchraumdesign in den meisten bisherigen NAS-Methoden und stellen fest, dass die Anzahl und Breiten der Blöcke manuell festgelegt werden. Die Blockanzahl und Blockbreiten bestimmen jedoch die Netzwerkgrößen (Tiefe und Breite) und haben einen erheblichen Einfluss auf sowohl die Genauigkeit als auch die Modellkosten (FLOPs/Latenz). In dieser Arbeit schlagen wir vor, Blockanzahl und Blockbreiten durch das Design eines dicht verbundenen Suchraums zu suchen, nämlich DenseNAS. Der neue Suchraum wird als ein dichtes Super-Netzwerk dargestellt, das auf unseren entworfenen Routing-Blöcken basiert. Im Super-Netzwerk sind die Routing-Blöcke dicht miteinander verbunden, und wir suchen den besten Pfad zwischen ihnen, um die endgültige Architektur abzuleiten. Weiterhin schlagen wir einen verketteten Kostenabschätzungsalgorithmus vor, um während der Suche die Modellkosten zu approximieren. In DenseNAS werden sowohl Genauigkeit als auch Modellkosten optimiert. Bei Experimenten mit dem auf MobileNetV2 basierenden Suchraum erreicht DenseNAS eine Top-1-Genauigkeit von 75,3 % auf ImageNet bei nur 361 MB FLOPs und einer Latenz von 17,9 ms auf einem einzelnen TITAN-XP. Das größere Modell, das durch DenseNAS gefunden wurde, erreicht eine Genauigkeit von 76,1 % bei nur 479 Mio. FLOPs. DenseNAS verbessert zudem die ImageNet-Klassifikationsgenauigkeiten von ResNet-18, -34 und -50-B um jeweils 1,5 %, 0,5 % und 0,3 % unter Reduktion der FLOPs um 200 Mio., 600 Mio. und 680 Mio. Der zugehörige Code ist unter https://github.com/JaminFong/DenseNAS verfügbar.