SG-Net: فهم القراءة الآلية الموجه بالتركيب النحوي

للفهم الآلي للقراءة، يعد القدرة على نمذجة المعرفة اللغوية بشكل فعال من النصوص الطويلة والمحملة بالتفاصيل وإزالة الضوضاء أمراً ضرورياً لتحسين أدائها. تركز النماذج التقليدية المعتمدة على الانتباه على جميع الكلمات دون قيود صريحة، مما يؤدي إلى التركيز غير الدقيق على بعض الكلمات القابلة للتخلص. في هذا العمل، نقترح استخدام بنية الجملة لتوجيه نمذجة النص من خلال دمج قيود نحوية صريحة في آلية الانتباه للحصول على تمثيلات كلمات أكثر دوافع لغوية. بالتفصيل، بالنسبة للشبكة ذاتية الانتباه (Self-Attention Network - SAN) التي يدعمها مُشفِّر Transformer، نقدم تصميم الاعتماد النحوي المثير للاهتمام (Syntactic Dependency of Interest - SDOI) إلى SAN لإنشاء SDOI-SAN مع انتباه ذاتي موجه نحوياً. ثم يتم تكوين الشبكة الموجهة نحوياً (Syntax-Guided Network - SG-Net) من خلال هذه SAN الإضافية الموجهة نحوياً وSAN الأصلية من مُشفِّر Transformer عبر هندسة سياقية ثنائية لتحقيق تمثيلات مستوحاة من علم اللغة بشكل أفضل. لتأكيد فعاليتها، تم تطبيق الشبكة المقترحة SG-Net على نموذج اللغة المدرب مسبقاً BERT الذي يعتمد بدوره على مُشفِّر Transformer. أظهرت التجارب الواسعة على مقاييس شائعة مثل SQuAD 2.0 وRACE أن التصميم المقترح لـ SG-Net يساعد في تحقيق تحسينات كبيرة في الأداء فوق خطوط الأساس القوية.