HyperAIHyperAI

Command Palette

Search for a command to run...

HyT-NAS: Hybrid Transformers Neural Architecture Search für Edge-Geräte

Lotfi Abdelkrim Mecharbat Hadjer Benmeziane Hamza Ouarnoughi Smail Niar

Zusammenfassung

Vision Transformers haben in jüngster Zeit Aufmerksamkeitsbasierte Deep Learning (DL)-Architekturen ermöglicht, die bemerkenswerte Ergebnisse in Aufgaben des Computer Vision (CV) erzielen konnten. Aufgrund der hohen Anforderungen an Rechenressourcen werden solche Architekturen jedoch selten auf ressourcenbeschränkten Plattformen implementiert. Aktuelle Forschung untersucht hybride, handkodiert aufgebaute Modelle, die sowohl konvolutionale als auch auf Aufmerksamkeit basierende Komponenten kombinieren, insbesondere für CV-Aufgaben wie Bildklassifikation und Objekterkennung. In diesem Paper stellen wir HyT-NAS vor, einen effizienten hardwarebewussten Neural Architecture Search (HW-NAS)-Ansatz, der hybride Architekturen für visuelle Aufgaben auf extrem kleinen Geräten zielt. HyT-NAS verbessert den Stand der Technik im Bereich HW-NAS durch eine Erweiterung des Suchraums, eine Verfeinerung der Suchstrategie sowie eine Verbesserung der Leistungsprognose-Modelle. Unsere Experimente zeigen, dass HyT-NAS eine vergleichbare Hypervolumen-Performance mit weniger als ~5-fach weniger Trainingsevaluationen erreicht. Die resultierende Architektur übertrifft die MLPerf MobileNetV1 um 6,3 Prozentpunkte an Genauigkeit bei lediglich 3,5-fach weniger Parametern auf dem Visual Wake Words-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
HyT-NAS: Hybrid Transformers Neural Architecture Search für Edge-Geräte | Paper | HyperAI