Zen-NAS: Ein Zero-Shot NAS für leistungsstarkes Deep Image Recognition

Der Accuracy-Predictor ist eine zentrale Komponente im Neural Architecture Search (NAS) zur Rangfolge von Architekturen. Die Entwicklung eines hochwertigen Accuracy-Predictors erfordert normalerweise erhebliche Rechenressourcen. Um dieses Problem zu lösen, schlagen wir anstelle eines Accuracy-Predictors einen neuartigen zero-shot-Index namens Zen-Score vor, um Architekturen zu bewerten. Der Zen-Score repräsentiert die Ausdruckskraft eines Netzwerks und korreliert positiv mit der Modellgenauigkeit. Die Berechnung des Zen-Scores erfordert lediglich wenige Vorwärtsdurchläufe durch ein zufällig initialisiertes Netzwerk, ohne dass die Netzwerkparameter trainiert werden müssen. Auf Basis des Zen-Score entwickeln wir zudem einen neuen NAS-Algorithmus, den wir Zen-NAS nennen, der die Maximierung des Zen-Score der Zielarchitektur unter gegebenen Inferenzbudgets verfolgt. Innerhalb von weniger als einem halben GPU-Tag ist Zen-NAS in der Lage, hochleistungsfähige Architekturen im datenfreien Stil direkt zu suchen. Im Vergleich zu früheren NAS-Methoden ist der vorgeschlagene Zen-NAS auf mehreren Server- und Mobile-GPU-Plattformen um Größenordnungen schneller und erreicht dabei state-of-the-art-Genauigkeit auf ImageNet. Der Quellcode und vortrainierte Modelle sind unter https://github.com/idstcv/ZenNAS veröffentlicht.