HyT-NAS : Recherche d'Architecture Neuronale Hybride Transformer pour les Dispositifs Bords

Les Transformers à vision ont permis aux architectures récentes basées sur l’attention en apprentissage profond (DL) d’obtenir des résultats remarquables dans les tâches de vision par ordinateur (CV). Toutefois, en raison des ressources computationnelles importantes nécessaires, ces architectures sont rarement déployées sur des plates-formes à ressources limitées. Les recherches actuelles s’intéressent à des modèles hybrides combinant des convolutions conçues manuellement et des mécanismes d’attention pour des tâches CV telles que la classification d’images et la détection d’objets. Dans cet article, nous proposons HyT-NAS, une recherche d’architecture neuronale consciente du matériel (HW-NAS) efficace incluant des architectures hybrides ciblant les tâches de vision sur des dispositifs de petite taille. HyT-NAS améliore l’état de l’art en matière de HW-NAS en enrichissant l’espace de recherche, en renforçant la stratégie de recherche ainsi que les prédicteurs de performance. Nos expérimentations montrent que HyT-NAS atteint un hypervolume similaire avec moins de 5 fois l’évaluation d’entraînement. L’architecture obtenue dépasse celle de MLPerf MobileNetV1 de 6,3 % en précision, tout en réduisant de 3,5 fois le nombre de paramètres sur le benchmark Visual Wake Words.