تمتلك شبكات الذاكرة طويلة المدى (LSTM) ومتغيراتها القدرة على تضمين الاعتماديات الطويلة المدى، وهو ما يتجلى في أدائها المتميز في مجموعة متنوعة من المهام اللغوية. من ناحية أخرى، تُظهر الشبكات التكرارية البسيطة (SRNs)، التي تبدو أكثر قربًا من الواقع البيولوجي من حيث الاتصالات التشابكية، عادةً أداءً أقل في التقاط الاعتماديات الطويلة المدى، وكذلك في تحديد مواقع الأخطاء النحوية في بيئة غير مراقبة. وفي هذه الورقة، نسعى إلى تطوير نماذج تسد الفجوة بين المصداقية البيولوجية والكفاءة اللغوية. نقترح معمارية جديدة تُسمى "RNN التدهور" (Decay RNN)، التي تدمج الطبيعة التناقصية لتنشيط الخلايا العصبية، وتنمذج الاتصالات المثيرة والمثبطة داخل مجموعة من الخلايا العصبية. وبالإضافة إلى إلهامها البيولوجي، تُظهر نماذجنا أداءً تنافسيًا مقارنةً بشبكات LSTM في مهام اتفاق الفاعل والفعل، وتحديد صحة الجملة النحوية، ونمذجة اللغة. تُقدّم هذه النتائج مؤشرات أولية حول طبيعة التحيّزات الاستنتاجية المطلوبة لتمكين هياكل RNN من نمذجة الظواهر اللغوية بنجاح.