تصنيف النصوص مُحسَّن بدمج LSTM ثنائية الاتجاه مع التجميع الأقصى ثنائي البعد

شبكة العصبيات المتكررة (RNN) هي واحدة من أكثر الأطر المعمارية شيوعًا المستخدمة في مهام معالجة اللغة الطبيعية (NLP) لأن بناءها المتكرر يناسب جدًا معالجة النصوص ذات الأطوال المتغيرة. يمكن لـ RNN استخدام التمثيلات الموزعة للكلمات عن طريق تحويل الرموز التي تتكون منها كل نص إلى متجهات، والتي تشكل مصفوفة. وتحتوي هذه المصفوفة على بعدين: البعد الزمني والبعد لمتجه الميزات. ثم غالبًا ما تستفيد معظم النماذج الموجودة من عملية التجميع القصوى أحادية البعد (1D max pooling) أو عملية الانتباه (attention-based operation) فقط على البعد الزمني للحصول على متجه ثابت الطول. ومع ذلك، فإن الميزات في بُعد متجه الميزات ليست مستقلة عن بعضها البعض، وتطبيق عملية التجميع القصوى أحادية البعد بشكل مستقل على البعد الزمني قد يدمر بنية تمثيل الميزات. من ناحية أخرى، يمكن أن يؤدي تطبيق عملية التجميع القصوى ثنائية البعد (2D max pooling) على البعدين إلى استخراج المزيد من الميزات ذات المعنى للمهام النموذجية للتوالي. لدمج الميزات في كلا البعدين للمصفوفة، يستكشف هذا البحث تطبيق عملية التجميع القصوى ثنائية البعد للحصول على تمثيل ثابت الطول للنص. كما يستخدم هذا البحث التحويل الثنائي الأبعاد (2D convolution) لاستخراج المزيد من المعلومات ذات المعنى من المصفوفة. تم إجراء التجارب على ستة مهام تصنيف النصوص، بما في ذلك تحليل المشاعر، تصنيف الأسئلة، تصنيف الموضوعية وتصنيف الأخبار الجماعية. بالمقارنة مع أفضل النماذج الحالية، حققت النماذج المقترحة أداءً ممتازًا في 4 من أصل 6 مهام. وبشكل خاص، حقق أحد النماذج المقترحة أعلى دقة في مهمتي تصنيف الشعور الثنائي وتصنيف الشعور الدقيق للغاية في قاعدة بيانات شجرة مشاعر ستانفورد (Stanford Sentiment Treebank).