Transformer est un modèle puissant pour la compréhension du texte. Toutefois, son efficacité est limitée par sa complexité quadratique par rapport à la longueur de la séquence d'entrée. Bien qu'il existe de nombreuses méthodes visant à accélérer les Transformers, celles-ci restent soit inefficaces pour les séquences longues, soit insuffisamment performantes. Dans cet article, nous proposons Fastformer, un modèle Transformer efficace basé sur une attention additive. Dans Fastformer, au lieu de modéliser les interactions par paires entre les tokens, nous utilisons d'abord un mécanisme d'attention additive pour capturer les contextes globaux, puis transformons ultérieurement la représentation de chaque token en fonction de son interaction avec les représentations du contexte global. Grâce à cette approche, Fastformer parvient à une modélisation contextuelle efficace avec une complexité linéaire. Des expériences étendues menées sur cinq jeux de données montrent que Fastformer est nettement plus efficace que de nombreux modèles Transformer existants, tout en atteignant des performances comparables, voire supérieures, dans la modélisation de textes longs.