Transformateurs visuels évolutifs avec regroupement hiérarchique

Les Transformers visuels (ViT) récemment proposés avec une attention pure ont obtenu des performances prometteuses dans les tâches de reconnaissance d'images, telles que la classification d'images. Cependant, le processus actuel des modèles ViT consiste à maintenir une séquence complète de patches pendant l'inférence, ce qui est redondant et manque de représentation hiérarchique. À cet égard, nous proposons un Transformer visuel hiérarchique (HVT) qui regroupe progressivement les jetons visuels pour réduire la longueur de la séquence et, par conséquent, diminuer le coût computationnel, de manière similaire au sous-échantillonnage des cartes de caractéristiques dans les Réseaux Neuronaux Convolutifs (CNN). Cette approche offre l'avantage majeur de pouvoir augmenter la capacité du modèle en augmentant les dimensions de profondeur/largeur/résolution/taille de patch sans introduire une complexité computationnelle supplémentaire grâce à la réduction de la longueur de la séquence. De plus, nous avons constaté empiriquement que les jetons visuels moyennés contiennent plus d'informations discriminantes que le seul jeton de classe. Pour démontrer l'amélioration de la scalabilité de notre HVT, nous avons mené des expériences approfondies sur la tâche de classification d'images. Avec un nombre comparable d'opérations flottantes (FLOPs), notre HVT surpasse les lignes de base concurrentes sur les jeux de données ImageNet et CIFAR-100. Le code est disponible à l'adresse suivante : https://github.com/MonashAI/HVT