Mélangeur de jetons spatiaux

Le Spatial Token Mixer (STM) est un module spécifiquement conçu pour les transformateurs visuels, visant à améliorer l'efficacité du mélange de tokens. En effectuant des opérations de convolution en profondeur sur les dimensions spatiales des tokens, le STM peut servir d'alternative plug-and-play au couche de mélange de tokens dans les transformateurs visuels, améliorant ainsi les performances et l'efficacité computationnelle du modèle.