التسمية الدلالية العميقة باستخدام الانتباه الذاتي

يُعتقد أن تصنيف الأدوار الدلالية (SRL) هو خطوة حاسمة نحو فهم اللغة الطبيعية وقد تم دراسته على نطاق واسع. في السنوات الأخيرة، حظي التصنيف الدلالي من النهاية إلى النهاية باستخدام الشبكات العصبية المتكررة (RNN) باهتمام متزايد. ومع ذلك، يظل التعامل مع المعلومات الهيكلية والارتباطات البعيدة تحديًا رئيسيًا للشبكات العصبية المتكررة. في هذا البحث، نقدم معمارية بسيطة وفعالة لتصنيف الأدوار الدلالية تهدف إلى حل هذه المشكلات. يعتمد نموذجنا على الانتباه الذاتي الذي يمكنه التقاط العلاقات بين أي عنصرين نصيين مباشرةً بغض النظر عن المسافة الفاصلة بينهما. حقق نموذجنا المفرد درجة F$_1=83.4$ على مجموعة بيانات مهمة مشتركة CoNLL-2005 ودرجة F$_1=82.7$ على مجموعة بيانات مهمة مشتركة CoNLL-2012، مما يتفوق على أفضل النتائج السابقة بمقدار $1.8$ و $1.0$ نقطة F$_1$ على التوالي. بالإضافة إلى ذلك، فإن نموذجنا كفؤ من الناحية الحسابية، حيث يصل سرعة تحليل الجمل إلى 50 ألف عنصر نصي في الثانية على بطاقة معالجة الرسومات Titan X الواحدة.