Bien que les transformateurs soient devenus les architectures neuronales de prédilection pour le traitement du langage naturel, ils nécessitent des quantités d’ données d’entraînement, de mémoire GPU et de calculs bien supérieures pour rivaliser avec les réseaux de neurones convolutifs dans le domaine de la vision par ordinateur. Le mécanisme d’attention des transformateurs présente une croissance quadratique en fonction de la longueur de la séquence d’entrée, et les images déroulées donnent lieu à des séquences très longues. En outre, les transformateurs manquent d’un biais inductif adapté aux images. Nous avons testé trois améliorations apportées aux architectures Vision Transformer (ViT) afin de remédier à ces limites. Premièrement, nous avons atténué le goulot d’étranglement quadratique en adoptant des mécanismes d’attention linéaire, appelés X-formers (où X désigne Performed, Linformer ou Nyströmformer), ce qui a permis de concevoir des Vision X-formers (ViX). Cette approche a permis une réduction allant jusqu’à sept fois de la consommation de mémoire GPU. Nous avons également comparé leurs performances avec celles de FNet et des mixeurs de perceptrons multicouches, ce qui a conduit à une réduction supplémentaire de la consommation de mémoire GPU. Deuxièmement, nous avons introduit un biais inductif adapté aux images en remplaçant la couche linéaire initiale d’embedding par des couches convolutives dans ViX, ce qui a considérablement amélioré la précision de classification sans augmenter la taille du modèle. Troisièmement, nous avons remplacé les embeddings de position 1D apprenables utilisés dans ViT par des embeddings de position rotationnels (RoPE), ce qui a amélioré la précision de classification pour une taille de modèle identique. Nous pensons que l’intégration de ces modifications peut démocratiser les transformateurs en les rendant accessibles à ceux disposant de ressources de données et de calcul limitées.