Les mécanismes de mise en gate ont été largement utilisés, des modèles anciens tels que les LSTM et les réseaux Highway aux modèles d’espace d’état récents, aux attention linéaires et à l’attention softmax. Pourtant, la littérature existante examine rarement les effets spécifiques des mécanismes de mise en gate. Dans ce travail, nous menons des expériences approfondies afin d’étudier de manière systématique les variantes d’attention softmax enrichies par des portes. Plus précisément, nous réalisons une comparaison exhaustive sur 30 variantes de modèles à Mélange d’Experts (MoE) de 15 milliards de paramètres et de modèles denses de 1,7 milliard de paramètres, entraînés sur un jeu de données de 3,5 billions de jetons. Notre résultat central est qu’une modification simple — l’application d’une porte sigmoïde spécifique à chaque tête après l’attention par produit scalaire normalisé (SDPA) — améliore de manière cohérente les performances. Cette modification améliore également la stabilité de l’entraînement, tolère des taux d’apprentissage plus élevés et améliore les propriétés d’échelle. En comparant diverses positions de mise en gate ainsi que différentes variantes computationnelles, nous attribuons cette efficacité à deux facteurs clés : (1) l’introduction de non-linéarité sur la projection de faible rang dans l’attention softmax, et (2) l’application de scores de mise en gate creux dépendants de la requête pour moduler la sortie de l’SDPA. Notamment, nous constatons que ce mécanisme de mise en gate creux atténue les activations massives, réduit le phénomène de « puits d’attention » (attention sink) et améliore les performances d’extrapolation sur des contextes longs. Nous mettons également à disposition le code associé (https://github.com/qiuzh20/gated_attention) et les modèles (https://huggingface.co/QwQZh/gated_attention) afin de faciliter les recherches futures. En outre, la mise en gate optimale de la sortie de l’SDPA est intégrée dans les modèles Qwen3-Next (https://huggingface.co/collections/Qwen/qwen3-next).