النماذج الحديثة المستندة إلى الشبكات العصبية الاصطناعية (ANNs) أظهرت نتائج واعدة في تصنيف النصوص القصيرة. ومع ذلك، فإن العديد من النصوص القصيرة تحدث في سياقات متتابعة (مثل الجمل في وثيقة أو التعبيرات في حوار)، ولا تستغل معظم الأنظمة الحالية التي تعتمد على الشبكات العصبية الاصطناعية النصوص القصيرة السابقة عند تصنيف نص لاحق. في هذا البحث، نقدم نموذجاً يعتمد على الشبكات العصبية المتكررة والشبكات العصبية التلافيفية يدمج النصوص القصيرة السابقة. حقق نموذجنا أفضل النتائج المعاصرة على ثلاثة مجموعات بيانات مختلفة لتنبؤ الأفعال الحوارية (dialog act prediction).