نموذج الاستدلال التتابعي المُعزز بالانتباه

لقد أثبتت آلية الانتباه (Attention Mechanism) فعاليتها في معالجة اللغة الطبيعية. تقدم هذه الورقة نموذج استدلال لغوي طبيعي محسن بالانتباه يُسمى aESIM، وذلك بإضافة آليات انتباه الكلمات والانتباه الموجه تكيفيًا إلى الطبقة التقليدية Bi-LSTM في نماذج الاستدلال اللغوي الطبيعي مثل ESIM. هذا يجعل النموذج aESIM قادرًا على تعلم تمثيل الكلمات بفعالية ونمذجة الاستدلال الجزئي المحلي بين أزواج الفرضية والمقدمات. تظهر الدراسات التجريبية على مقاييس SNLI وMultiNLI وQuora أن النموذج aESIM أفضل من النموذج الأصلي ESIM.