التقييمات القابلة للقبول من خلال تحليل البنية الهيكلية لخرائط الانتباه

لقد حظيت آلية الانتباه في ترميز المعرفة اللغوية باهتمام خاص في مجال معالجة اللغة الطبيعية (NLP). ومع ذلك، لم تُدرس بشكل كافٍ قدرة رؤوس الانتباه على تقييم قبول الجملة من حيث القواعد اللغوية. يتناول هذا البحث نموذج التقييمات القبلية باستخدام تحليل البيانات الطوبولوجية (TDA)، مُظهِرًا أن الخصائص الهندسية لرسم الانتباه يمكن استغلالها بكفاءة في ممارستين قياسيتين في علم اللغة: التقييم الثنائي والزوج اللغوي الأدنى. تُحسّن الخصائص الطوبولوجية من أداء تصنيف معرفة القبول المستند إلى BERT بنسبة 8% إلى 24% على مجموعة بيانات CoLA في ثلاث لغات (الإنجليزية، الإيطالية، والسويدية). وبكشف الفروق الطوبولوجية بين خرائط الانتباه للزوج اللغوي الأدنى، نحقق أداءً يعادل الأداء البشري في معيار BLiMP، ونتفوق على تسعة نماذج إحصائية ونماذج نموذج Transformer. وفي الوقت نفسه، يُمكّن TDA من تحليل الوظائف اللغوية لرؤوس الانتباه وفهم العلاقة بين الخصائص الرسومية والظواهر النحوية.