Portée d'Attention Adaptative dans les Transformers

Nous proposons un nouveau mécanisme d'auto-attention capable d'apprendre son attention optimale. Cette approche nous permet d'étendre considérablement la taille maximale du contexte utilisée dans les Transformers, tout en maintenant un contrôle sur leur empreinte mémoire et le temps de calcul. Nous démontrons l'efficacité de notre méthode dans le cadre de la modélisation linguistique au niveau des caractères, où nous obtenons des performances de pointe sur les jeux de données text8 et enwiki8 en utilisant un contexte maximal de 8 000 caractères.