نقترح توسيعاً للنماذج اللغوية للشبكات العصبية لتكيف توقعاتها مع التاريخ الحديث. نموذجنا هو إصدار مبسط من الشبكات المعززة بالذاكرة، والتي تخزن التنشيطات المخفية السابقة كذاكرة وتعتبرها من خلال حاصل الضرب النقطي مع التنشيط المخفي الحالي. هذا الآلية فعّالة للغاية وتتوسع إلى أحجام ذاكرة كبيرة جداً. كما نربط بين استخدام الذاكرة الخارجية في الشبكات العصبية والنماذج المؤقتة المستخدمة مع النماذج اللغوية القائمة على العد. نثبت من خلال عدة مجموعات بيانات لنماذج اللغة أن نهجنا يؤدي بشكل أفضل بكثير من الشبكات المعززة بالذاكرة الحديثة (memory augmented networks).