HyperAIHyperAI

Command Palette

Search for a command to run...

HyT-NAS : Recherche d'Architecture Neuronale Hybride Transformer pour les Dispositifs Bords

Lotfi Abdelkrim Mecharbat Hadjer Benmeziane Hamza Ouarnoughi Smail Niar

Résumé

Les Transformers à vision ont permis aux architectures récentes basées sur l’attention en apprentissage profond (DL) d’obtenir des résultats remarquables dans les tâches de vision par ordinateur (CV). Toutefois, en raison des ressources computationnelles importantes nécessaires, ces architectures sont rarement déployées sur des plates-formes à ressources limitées. Les recherches actuelles s’intéressent à des modèles hybrides combinant des convolutions conçues manuellement et des mécanismes d’attention pour des tâches CV telles que la classification d’images et la détection d’objets. Dans cet article, nous proposons HyT-NAS, une recherche d’architecture neuronale consciente du matériel (HW-NAS) efficace incluant des architectures hybrides ciblant les tâches de vision sur des dispositifs de petite taille. HyT-NAS améliore l’état de l’art en matière de HW-NAS en enrichissant l’espace de recherche, en renforçant la stratégie de recherche ainsi que les prédicteurs de performance. Nos expérimentations montrent que HyT-NAS atteint un hypervolume similaire avec moins de 5 fois l’évaluation d’entraînement. L’architecture obtenue dépasse celle de MLPerf MobileNetV1 de 6,3 % en précision, tout en réduisant de 3,5 fois le nombre de paramètres sur le benchmark Visual Wake Words.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp