تحسين نمذجة الجمل باستخدام LSTM ثنائية الاتجاه مع اللاحقة

الشبكات العصبية التكرارية أصبحت شائعة في حساب تمثيلات البيانات المتسلسلة، خاصة البيانات النصية في معالجة اللغة الطبيعية. بشكل خاص، تقع الشبكات العصبية التكرارية ثنائية الاتجاه (Bidirectional LSTMs) في قلب العديد من النماذج العصبية التي حققت أفضل الأداء في مجموعة متنوعة من المهام في مجال معالجة اللغة الطبيعية. ومع ذلك، فإن الشبكات العصبية ثنائية الاتجاه المعروفة بـ BiLSTMs تعاني من التحيز المتسلسل - حيث يتم تأثير التمثيل السياقي لرمز (token) بشكل كبير من قبل الرموز القريبة منه في الجملة.نقترح تحسينًا عامًا وفعالًا على نموذج BiLSTM يقوم بتشفير كل لاحقة وساقمة لمتسلسلة الرموز في كلا الاتجاهين الأمامي والعكسي. نطلق على نموذجنا اسم الشبكة العصبية التكرارية الثنائية الاتجاه لللاحقة أو SuBiLSTM. هذا يُدخل تحيزًا بديلًا يفضل العلاقات طويلة المدى. نطبق SuBiLSTMs على عدة مهام تتطلب نمذجة الجمل. نوضح أن استخدام SuBiLSTM بدلاً من BiLSTM في النماذج الحالية يؤدي إلى تحسين الأداء في تعلم تمثيلات الجمل العامة، تصنيف النصوص، استدلال النصوص وإكتشاف الإعادة الصياغة.باستخدام SuBiLSTM، نحقق نتائج جديدة هي الأفضل حتى الآن (state-of-the-art) لتصنيف المشاعر الدقيق وتصنيف الأسئلة.