الانتباه الذاتي المُؤَسَّس لغويًا للتصنيف الدلالي للأدوار

الحالة الحالية لتصنيف الأدوار الدلالية (SRL) تعتمد على شبكة عصبية عميقة دون استخدام خصائص لغوية صريحة. ومع ذلك، أظهرت الدراسات السابقة أن الأشجار النحوية الذهبية يمكن أن تحسن بشكل كبير عملية فك شفرة SRL، مما يشير إلى إمكانية زيادة الدقة من خلال نمذجة صريحة للنحو. في هذا العمل، نقدم انتباهًا ذاتيًا مُلَمَّمًا باللغويات (LISA): وهو نموذج شبكة عصبية يجمع بين الانتباه الذاتي متعدد الرؤوس والتعلم متعدد المهام عبر تحليل التبعية وتحديد جزء الكلام وكشف المبرهنات وتصنيف الأدوار الدلالية. بخلاف النماذج السابقة التي تتطلب معالجة ما قبل كبيرة لإعداد الخصائص اللغوية، يمكن لـ LISA دمج النحو باستخدام الرموز الأولية كمدخلات فقط، حيث يتم ترميز التسلسل مرة واحدة فقط لأداء التحليل والكشف عن المبرهنات وتسمية الأدوار لكل المبرهنات بشكل متزامن. يتم دمج النحو من خلال تدريب رأس انتباه واحد على التركيز على الآباء النحويين لكل رمز. بالإضافة إلى ذلك، إذا كان هناك تحليل نحوي ذي جودة عالية متوفر بالفعل، فيمكن حقنه بشكل مفيد أثناء الاختبار دون إعادة تدريب نموذج SRL الخاص بنا. في التجارب على SRL في CoNLL-2005، حققت LISA أداءً جديدًا يتفوق على أفضل ما سبقه لنموذج يستخدم المبرهنات المتوقعة والتمثيلات الكلامية القياسية، حيث حصلت على درجة F1 أعلى بمقدار 2.5 نقطة مطلقة من أفضل ما سبقه في الأخبار الجديدة وأكثر من 3.5 نقطة في البيانات خارج المجال، مما يعني تقليصًا بنسبة حوالي 10% في الخطأ. وفي SRL الإنجليزي لـ CoNLL-2012 أيضًا، أظهرنا تحسينًا بأكثر من 2.5 نقطة F1. كما تتفوق LISA على أفضل ما سبقه باستخدام تمثيلات الكلمات السياقية (ELMo)، بمقدار حوالي 1.0 نقطة F1 في الأخبار وأكثر من 2.0 نقطة F1 في النصوص خارج المجال.