نقترح طريقة لتوسيع طبقات الذاكرة قصيرة المدى طويلة (LSTM) المتعددة لنمذجة الجمل. على عكس الطبقات LSTM المكدسة التقليدية حيث يتم تغذية الحالة الخفية فقط كمدخل للطبقة التالية، فإن الهيكل المقترح يقبل كلًا من الحالات الخفية وخلايا الذاكرة للطبقة السابقة ويقوم بدمج المعلومات من السياق الأيسر والسفلية باستخدام آلية التحكم الناعمة في LSTM. وبالتالي، فإن هذا الهيكل يضبط كمية المعلومات التي يتم نقلها ليس فقط في التكرار الأفقي ولكن أيضًا في الاتصالات العمودية، مما يؤدي إلى نقل الفeatures المفيدة المستخرجة من الطبقات السفلية بشكل فعال إلى الطبقات العلوية. نطلق على هذا الهيكل اسم LSTM المكدس الواعي بالخلايا (CAS-LSTM) ونظهر من خلال التجارب أن نماذجنا تحقق مكاسب أداء كبيرة مقارنة بالـ LSTMs القياسية على مجموعات بيانات مرجعية لمهمات الاستدلال اللغوي الطبيعي، وكشف الإعادة الصياغة، تصنيف المشاعر، والترجمة الآلية. كما نجري تحليلًا نوعيًا شاملًا لفهم السلوك الداخلي للنهج المقترح.