أظهرت آليات الانتباه نتائج واعدة في مهام نمذجة التسلسلات التي تتطلب ذاكرة طويلة الأمد. وقد استكشفت الدراسات الحديثة آليات لتقليل التكلفة الحسابية المرتبطة بالحفاظ على الذاكرة وتخزينها. ومع ذلك، ليست كل المحتويات السابقة متساوية الأهمية في التذكر. نقترح منهجًا يُدعى Expire-Span، والذي يتعلم الاحتفاظ بأهم المعلومات وانتهاء مدة الاحتفاظ بالمعلومات غير ذات الصلة. يتيح هذا التخلّي عن الذاكرة للنماذج المبنية على معمارية Transformers التمدد للاهتمام بآلاف التوقيتات السابقة بكفاءة، إذ لا يُحفظ كل الحالات من التوقيتات السابقة. ونُظهر أن Expire-Span يمكنه مساعدة النماذج على تحديد المعلومات الحرجة والاحتفاظ بها، كما نُظهر أنه يمكنه تحقيق أداءً قويًا في مهام التعلم التكاملي المصممة خصيصًا لاختبار هذه الوظيفة. ثم نُظهر أن Expire-Span يمكنه التوسع لدعم ذاكرات تصل إلى عشرات الآلاف من الوحدات، مما يُحدث حالة جديدة من الأداء القياسي في مهام السياق الطويل جدًا، مثل نمذجة اللغة على مستوى الحروف، ومهام تتبع الأشياء المتحركة خطوة بخطوة. وأخيرًا، نحلل كفاءة Expire-Span مقارنة بالنهج الحالية، ونُظهر أنه يُدرّب بشكل أسرع ويستهلك ذاكرة أقل.