لقد اعتمدت العديد من التقدمات في معالجة اللغة الطبيعية على نماذج أكثر تعبيراً لطريقة تفاعل المدخلات مع السياق الذي تحدث فيه. رغم النجاح المعتدل الذي حققته الشبكات المتكررة، فإنها لا تزال تعاني من نقص في القدرة على التعميم والمنهجية المطلوبة في نهاية المطاف لنمذجة اللغة. في هذا البحث، نقترح توسيعاً للنموذج العريق للذاكرة قصيرة المدى طويلة الأجل (LSTM) يتمثل في التحكم المتبادل بين المدخل الحالي والمخرج السابق. يتيح هذا الآلية إمكانية نمذجة مساحة غنية hơn من التفاعلات بين المدخلات وسياقها. وبالمثل، يمكن اعتبار نموذجنا بأنه يجعل الدالة الانتقالية التي يوفرها LSTM تعتمد على السياق. أظهرت التجارب تحسيناً ملحوظاً في القدرة على التعميم لنمذجة اللغة بحدة 3-4 نقاط حيرة على بنك شجرة بنسلفانيا (Penn Treebank) وويكيتEXT-2، وبحدة 0.01-0.05 بت لكل حرف على أربعة مجموعات بيانات تعتمد على الحروف. لقد أنشأنا حالة جديدة فائقة للتطور في جميع مجموعات البيانات باستثناء Enwik8، حيث قمنا بإغلاق الفجوة الكبيرة بين نماذج LSTM و Transformer.请注意，这里的人名和机构名称如“Penn Treebank”、“Wikitext-2”、“Enwik8”等在阿拉伯语中通常保留英文原名，以确保信息的准确性。同时，“LSTM”（Long Short-Term Memory）也被直接引用，因为这是该技术在国际上的通用缩写。