Réduction de densité des modèles Transformer par pooling de représentation entraînable

Nous proposons une nouvelle méthode pour rendre l’attention dans le modèle Transformer plus parcimonieuse en apprenant à sélectionner, au cours du processus d’entraînement, les représentations de jetons les plus informatives, concentrant ainsi l’attention sur les parties spécifiques à la tâche présentes dans l’entrée. Grâce à un opérateur entraînable robuste de type top-$k$, nous parvenons à réduire la complexité temporelle et mémoire, initialement quadratique, à une complexité sous-linéaire. Nos expériences sur une tâche exigeante de résumé de documents longs montrent que même notre modèle de base simple atteint des performances comparables à l’état de l’art actuel, et qu’en utilisant un pooling entraînable, nous conservons cette qualité élevée tout en étant 1,8 fois plus rapide pendant l’entraînement, 4,5 fois plus rapide pendant l’inférence, et jusqu’à 13 fois plus efficace sur le plan computationnel dans le décodeur.