الشبكات متعددة الاتجاهات للانتباه لنمذجة أزواج الجمل

تلعب نمذجة أزواج الجملة دورًا محوريًا في تحديد العلاقة بين جملتين، مثل التعرف على التعبيرات المكافئة، والاستنتاج اللغوي الطبيعي، وتحديد الجملة الإجابة. وقد حققت الدراسات السابقة نتائج واعدة جدًا باستخدام الشبكات العصبية ذات آلية الانتباه. في هذه الورقة، نقترح شبكة الانتباه متعددة الاتجاهات التي تستخدم وظائف انتباه متعددة لتوافق أزواج الجمل ضمن إطار التوافق-التجانس. وبشكل خاص، نصمم أربع وظائف انتباه لتوافق الكلمات في الجمل المقابلة. ثم نجمع معلومات التوافق من كل وظيفة، وندمج المعلومات المستمدة من جميع الوظائف للحصول على التمثيل النهائي. وأظهرت النتائج التجريبية أن الشبكة المقترحة للاستجابة متعددة الاتجاهات تحسن الأداء في مجموعات بيانات Quora Question Pairs، SNLI، MultiNLI، ومهام تحديد الجملة الإجابة على مجموعة بيانات SQuAD.