HyT-NAS: Hybrid Transformers Neural Architecture Search für Edge-Geräte

Vision Transformers haben in jüngster Zeit Aufmerksamkeitsbasierte Deep Learning (DL)-Architekturen ermöglicht, die bemerkenswerte Ergebnisse in Aufgaben des Computer Vision (CV) erzielen konnten. Aufgrund der hohen Anforderungen an Rechenressourcen werden solche Architekturen jedoch selten auf ressourcenbeschränkten Plattformen implementiert. Aktuelle Forschung untersucht hybride, handkodiert aufgebaute Modelle, die sowohl konvolutionale als auch auf Aufmerksamkeit basierende Komponenten kombinieren, insbesondere für CV-Aufgaben wie Bildklassifikation und Objekterkennung. In diesem Paper stellen wir HyT-NAS vor, einen effizienten hardwarebewussten Neural Architecture Search (HW-NAS)-Ansatz, der hybride Architekturen für visuelle Aufgaben auf extrem kleinen Geräten zielt. HyT-NAS verbessert den Stand der Technik im Bereich HW-NAS durch eine Erweiterung des Suchraums, eine Verfeinerung der Suchstrategie sowie eine Verbesserung der Leistungsprognose-Modelle. Unsere Experimente zeigen, dass HyT-NAS eine vergleichbare Hypervolumen-Performance mit weniger als ~5-fach weniger Trainingsevaluationen erreicht. Die resultierende Architektur übertrifft die MLPerf MobileNetV1 um 6,3 Prozentpunkte an Genauigkeit bei lediglich 3,5-fach weniger Parametern auf dem Visual Wake Words-Datensatz.