تعلم الاستدلال اللغوي الطبيعي باستخدام نموذج LSTM الثنائي الاتجاه والانتباه الداخلي

في هذا البحث، اقترحنا نموذجًا يستند إلى ترميز الجمل لتحديد الاستدلال النصي. في منهجيتنا، يتم تقسيم عملية ترميز الجملة إلى مرحلتين. أولاً، تم استخدام التجميع المتوسط على مستوى الكلمات للـ LSTM ثنائية الاتجاه (biLSTM) لإنشاء تمثيل جملة أولي. ثانيًا، تم استخدام آلية الانتباه لاستبدال التجميع المتوسط على نفس الجملة للحصول على تمثيلات أفضل. بدلاً من استخدام الجملة المستهدفة لانتباه الكلمات في الجملة المصدر، استخدمنا التمثيل الأولي للجملة لانتباه الكلمات التي تظهر فيها نفسها، وهو ما يُطلق عليه "الانتباه الداخلي" في بحثنا. أثبتت التجارب التي أجريت على مكتبة الاستدلال اللغوي الطبيعي ستانفورد (SNLI) فعالية آلية "الانتباه الداخلي". ومع وجود عدد أقل من المعلمات، حقق نموذجنا تفوقًا كبيرًا على أفضل النماذج القائمة المستندة إلى ترميز الجمل.