ما وراء الانتباه الكلمي: استخدام الانتباه الجزئي في استخراج العلاقات العصبية

تُعنى استخلاص العلاقات بدراسة مشكلة التنبؤ بالعلاقات الدلالية بين أزواج من الكيانات في الجمل. غالبًا ما تُستخدم آليات الانتباه في هذه المهمة لتقليل الضوضاء الداخلية داخل الجملة من خلال إجراء عمليات اختيار ناعم للكلمات بشكل مستقل. بالاستناد إلى الملاحظة التي تفيد بأن المعلومات ذات الصلة بالعلاقات تكون عادةً محتواة ضمن قطع (كلمات متتالية في الجملة)، يُمكن استغلال هذه الظاهرة لتحسين عملية الاستخلاص. في هذه الورقة، نهدف إلى دمج معلومات هذه القطع في مستخرج العلاقات العصبي. يُنظر إلى آلية الانتباه في نهجنا على أنها مجالات شرطية متسلسلة خطية (linear-chain conditional random fields) على مجموعة من المتغيرات الكامنة، حيث تمثل الحواف بينها البنية المطلوبة، ويُعتبر وزن الانتباه توزيعًا حدّيًا لكلمة ما لتُختار كجزء من التعبير الارتباطي. أظهرت النتائج التجريبية أن طريقة العمل لدينا قادرة على التركيز على التعبيرات الارتباطية المستمرة دون الحاجة إلى تسميات صريحة، وتحقيق أداءً متفوقًا على مجموعة بيانات TACRED الكبيرة.