الانتباه وتنظيم القاموس في LSTM لتحليل المشاعر القائمة على الجوانب

تم إثبات أن نظم التعلم العميق القائمة على الانتباه تمثل الأسلوب المتميز في تحليل مشاعر الجوانب على مستوى الجملة، ومع ذلك، فإن الشبكات العصبية العميقة النهائية (end-to-end) تفتقر إلى المرونة، حيث لا يمكن تعديل الشبكة بسهولة لتصحيح مشكلة واضحة، خاصة عندما لا تكون هناك بيانات تدريب إضافية متاحة: على سبيل المثال، عندما تتنبأ دائمًا بالاتجاه "إيجابي" عند رؤية كلمة "خيبة أمل". وفي الوقت نفسه، يُهمل إلى حدٍ ما أن آلية الانتباه قد تكون عرضة لـ"التركيز الزائد" على أجزاء معينة من الجملة، بينما تتجاهل مواقع تُعدّ معلومات حاسمة لتحديد الاتجاه العاطفي. في هذا البحث، نصف نهجًا بسيطًا ولكن فعّالًا لاستغلال المعلومات الدلالية (lexicon information) بحيث تصبح النموذج أكثر مرونة ومتانة. كما نستكشف تأثير تقييد متجهات الانتباه (regularizing attention vectors) لتمكين الشبكة من امتلاك نطاق تركيز أوسع على مختلف أجزاء الجملة. وتوحي النتائج التجريبية بفعالية النهج المُقترح.