Les modèles Transformer de grande taille atteignent régulièrement des résultats de pointe sur de nombreuses tâches, mais leur entraînement peut s'avérer prohibitivement coûteux, en particulier pour des séquences longues. Nous introduisons deux techniques visant à améliorer l'efficacité des Transformers. Premièrement, nous remplaçons l'attention par produit scalaire par une attention basée sur le hachage sensible à la localité, ce qui réduit sa complexité de O($L^2$L2) à O($L\log L$LlogL), où $L$L désigne la longueur de la séquence. En outre, nous utilisons des couches résiduelles réversibles au lieu des résiduelles classiques, ce qui permet de stocker les activations une seule fois pendant l'entraînement, plutôt que $N$N fois, où $N$N est le nombre de couches. Le modèle résultant, appelé Reformer, atteint des performances comparables à celles des modèles Transformer tout en étant bien plus efficace en mémoire et nettement plus rapide sur des séquences longues.