HyperAIHyperAI

Command Palette

Search for a command to run...

Repenser la Perception Locale dans les Vision Transformer Légers

Qihang Fan Huaibo Huang Jiyang Guan Ran He

Résumé

Les Transformateurs d’images (Vision Transformers, ViTs) se sont avérés efficaces dans diverses tâches visuelles. Toutefois, leur redimensionnement pour une taille adaptée aux dispositifs mobiles entraîne une dégradation importante des performances. Par conséquent, le développement de transformateurs d’images légers est devenu un domaine de recherche crucial. Ce papier présente CloFormer, un transformateur d’images léger qui exploite une amélioration locale sensible au contexte. CloFormer explore la relation entre les poids partagés globalement, couramment utilisés dans les opérateurs de convolution classiques, et les poids sensibles au contexte spécifiques aux tokens, apparaissant dans les mécanismes d’attention, puis propose un module efficace et simple pour capturer les informations locales à haute fréquence. Dans CloFormer, nous introduisons AttnConv, un opérateur de convolution inspiré du style d’attention. L’AttnConv utilise des poids partagés pour agréger les informations locales et déploie des poids soigneusement conçus, sensibles au contexte, afin d’améliorer les caractéristiques locales. La combinaison d’AttnConv et d’une attention classique, qui utilise un pooling pour réduire le nombre d’opérations flottantes (FLOPs), permet à CloFormer de percevoir à la fois des informations à haute et à basse fréquence. Des expériences étendues menées sur la classification d’images, la détection d’objets et la segmentation sémantique démontrent l’avantage de CloFormer. Le code est disponible à l’adresse suivante : \url{https://github.com/qhfan/CloFormer}.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp