HyperAIHyperAI

Command Palette

Search for a command to run...

Joint Token Pruning and Squeezing Towards More Aggressive Compression of Vision Transformers Élagage et compression conjoints des tokens pour une compression plus agressive des transformateurs visuels

Siyuan Wei Tianzhu Ye Shen Zhang Yao Tang Jiajun Liang

Résumé

Bien que les transformateurs visuels (ViTs) aient montré des résultats prometteurs dans diverses tâches de vision par ordinateur récemment, leur coût computationnel élevé limite leurs applications pratiques. Les approches précédentes qui éliminent les jetons redondants ont démontré un bon compromis entre performance et coûts computationnels. Néanmoins, les erreurs causées par les stratégies d'élagage peuvent entraîner une perte d'information significative. Nos expériences quantitatives révèlent que l'impact des jetons élagués sur la performance devrait être notable. Pour résoudre ce problème, nous proposons un nouveau module de joint Token Pruning & Squeezing (TPS) pour compresser les transformateurs visuels avec une efficacité supérieure. Premièrement, le TPS adopte l'élagage pour obtenir les sous-ensembles conservés et élagués. Deuxièmement, le TPS compresse l'information des jetons élagués dans une partie des jetons conservés grâce aux étapes de correspondance unidirectionnelle du voisin le plus proche et de fusion basée sur la similarité. Comparativement aux méthodes de pointe, notre approche les dépasse sous toutes les intensités d'élagage des jetons. En particulier, en réduisant les budgets computationnels de DeiT-tiny&small à 35%, elle améliore la précision de 1% à 6% par rapport aux modèles de base pour la classification ImageNet. La méthode proposée peut accélérer le débit de DeiT-small au-delà de celui de DeiT-tiny, tout en surpassant DeiT-tiny en précision de 4,78%. Des expériences sur divers transformateurs démontrent l'efficacité de notre méthode, tandis que des expériences d'analyse prouvent notre meilleure robustesse face aux erreurs de la politique d'élagage des jetons. Le code est disponible à l'adresse suivante : https://github.com/megvii-research/TPS-CVPR2023.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Joint Token Pruning and Squeezing Towards More Aggressive Compression of Vision Transformers Élagage et compression conjoints des tokens pour une compression plus agressive des transformateurs visuels | Articles | HyperAI