إعادة التفكير في الانتباه الذاتي: نحو قابلية التفسير في التحليل العصبي

لقد ساهمت آليات الانتباه في تحسين أداء مهام معالجة اللغة الطبيعية مع الحفاظ على قابلية تفسير النماذج. في الوقت الحالي، تُستخدم آليات الانتباه الذاتي على نطاق واسع، لكن تفسير النتائج يظل صعبًا بسبب كثرة توزيعات الانتباه. أظهرت دراسات حديثة أن تمثيلات النموذج يمكن أن تستفيد من المعلومات الخاصة بالعلامات، مع تسهيل تفسير التنبؤات. نقدم طبقة الانتباه حسب العلامة: شكل جديد من آليات الانتباه الذاتي حيث تمثل رؤوس الانتباه العلامات. قمنا بتجريب طبقة جديدة هذه من خلال إجراء تجارب على تحليل التركيب والتحليل الارتباطي، وأظهرنا أن النموذج الجديد يحقق نتائج جديدة على مستوى الحد الأقصى (SOTA) في كلا المهمتين على كل من قاعدة بيانات بنس تريبانك (PTB) وقاعدة بيانات تريبانك الصينية. بالإضافة إلى ذلك، يتطلب نموذجنا عددًا أقل من طبقات الانتباه الذاتي مقارنة بالعمل السابق. وأخيرًا، وجدنا أن رؤوس الانتباه حسب العلامة تتعلم العلاقات بين الفئات النحوية، وتوفر مسارات لتحليل الأخطاء.