FBNetV2: Differentiable Neural Architecture Search für räumliche und kanalbasierte Dimensionen

Differentiable Neural Architecture Search (DNAS) hat sich bei der Gestaltung state-of-the-art-optimierter, effizienter neuronaler Netzwerke als äußerst erfolgreich erwiesen. Allerdings ist der Suchraum von DARTS-basierten DNAS-Verfahren im Vergleich zu anderen Suchmethoden relativ klein, da alle Kandidatenschichten explizit im Speicher instanziiert werden müssen. Um diese Beschränkung zu überwinden, schlagen wir eine speichereffiziente und rechenzeitoptimierte DNAS-Variante vor: DMaskingNAS. Dieser Algorithmus erweitert den Suchraum gegenüber herkömmlichen DNAS-Methoden um bis zu $10^{14}\times$, wodurch die Suche über räumliche und kanalbasierte Dimensionen – wie Eingabebildauflösung und Anzahl der Filter – möglich wird, die sonst rechnerisch prohibitiv teuer wären. Wir führen eine Maskierungstechnik zur Wiederverwendung von Feature Maps ein, sodass sowohl Speicher- als auch Rechenkosten nahezu konstant bleiben, selbst wenn der Suchraum stark erweitert wird. Darüber hinaus nutzen wir eine effektive Formpropagation, um die Genauigkeit pro FLOP oder pro Parameter zu maximieren. Die so gefundenen FBNetV2-Architekturen erreichen gegenüber allen vorherigen Architekturen state-of-the-art-Leistung. DMaskingNAS benötigt bis zu 421$\times$ weniger Suchkosten und findet Modelle mit einer um 0,9 % höheren Genauigkeit sowie 15 % weniger FLOPs im Vergleich zu MobileNetV3-Small; zudem erreicht es ähnliche Genauigkeit mit 20 % weniger FLOPs als Efficient-B0. Zudem übertrifft unser FBNetV2 MobileNetV3 um 2,6 % in der Genauigkeit bei vergleichbarer Modellgröße. Die FBNetV2-Modelle sind öffentlich auf https://github.com/facebookresearch/mobile-vision verfügbar.