نقدّم نموذج Compressive Transformer، وهو نموذج تسلسلي يعتمد على الانتباه، يُكثّف الذاكرة السابقة لتمكين التعلّم الطويل المدى على التسلسلات. ووجدنا أن نموذج Compressive Transformer يحقق نتائج رائدة في مجال نمذجة اللغة على معايير WikiText-103 وEnwik8، حيث بلغت دقة التنبؤ (perplexity) 17.1 و0.97 بت لكل حرف على التوالي. كما لاحظنا قدرته على نمذجة الصوت عالي التردد بشكل فعّال، ويمكن استخدامه كآلية ذاكرة في التعلم بالتفعيل (RL)، كما تم إثبات ذلك في مهمة مطابقة الأشياء. ولتعزيز مجال التعلّم الطويل المدى على التسلسلات، نقترح معيارًا جديدًا لنمذجة اللغة بمهام مفتوحة المفردات مستمدّة من الكتب، يُسمّى PG-19.