Command Palette
Search for a command to run...
Repenser la Perception Locale dans les Vision Transformer Légers
Repenser la Perception Locale dans les Vision Transformer Légers
Qihang Fan Huaibo Huang Jiyang Guan Ran He
Résumé
Les Transformateurs d’images (Vision Transformers, ViTs) se sont avérés efficaces dans diverses tâches visuelles. Toutefois, leur redimensionnement pour une taille adaptée aux dispositifs mobiles entraîne une dégradation importante des performances. Par conséquent, le développement de transformateurs d’images légers est devenu un domaine de recherche crucial. Ce papier présente CloFormer, un transformateur d’images léger qui exploite une amélioration locale sensible au contexte. CloFormer explore la relation entre les poids partagés globalement, couramment utilisés dans les opérateurs de convolution classiques, et les poids sensibles au contexte spécifiques aux tokens, apparaissant dans les mécanismes d’attention, puis propose un module efficace et simple pour capturer les informations locales à haute fréquence. Dans CloFormer, nous introduisons AttnConv, un opérateur de convolution inspiré du style d’attention. L’AttnConv utilise des poids partagés pour agréger les informations locales et déploie des poids soigneusement conçus, sensibles au contexte, afin d’améliorer les caractéristiques locales. La combinaison d’AttnConv et d’une attention classique, qui utilise un pooling pour réduire le nombre d’opérations flottantes (FLOPs), permet à CloFormer de percevoir à la fois des informations à haute et à basse fréquence. Des expériences étendues menées sur la classification d’images, la détection d’objets et la segmentation sémantique démontrent l’avantage de CloFormer. Le code est disponible à l’adresse suivante : \url{https://github.com/qhfan/CloFormer}.