L'attention est rare dans les transformateurs visuels. Nous constatons que la prédiction finale dans ces transformateurs repose uniquement sur un sous-ensemble de jetons les plus informatifs, ce qui suffit pour une reconnaissance d'images précise. Sur la base de cette observation, nous proposons un cadre de raréfaction dynamique des jetons permettant d'éliminer progressivement et dynamiquement les jetons redondants en fonction de l'entrée. Plus précisément, nous avons conçu un module de prédiction léger pour évaluer le score d'importance de chaque jeton à partir des caractéristiques actuelles. Ce module est ajouté à différentes couches pour éliminer hiérarchiquement les jetons redondants. Pour optimiser le module de prédiction de manière end-to-end, nous proposons une stratégie de masquage de l'attention afin d'éliminer différenciellement un jeton en bloquant ses interactions avec les autres jetons. Grâce à la nature de l'auto-attention, les jetons épars non structurés restent compatibles avec le matériel, ce qui facilite l'obtention d'un véritable gain en vitesse par notre cadre. En éliminant hiérarchiquement 66 % des jetons d'entrée, notre méthode réduit considérablement les FLOPs (opérations flottantes par seconde) de 31 % à 37 % et améliore le débit d'au moins 40 % tout en limitant la baisse de précision à moins de 0,5 % pour divers transformateurs visuels. Dotés du cadre de raréfaction dynamique des jetons, les modèles DynamicViT peuvent atteindre des compromis très compétitifs entre complexité et précision comparativement aux CNNs (réseaux neuronaux convolutifs) et aux transformateurs visuels les plus avancés sur ImageNet. Le code est disponible sur https://github.com/raoyongming/DynamicViT.