التحليل القائم على الانتقال باستخدام Stack-Transformers

تمثيل حالة المحلل يُعد عنصراً أساسياً لتحقيق أداء عالٍ في التحليل القائم على الانتقالات. وقد ساهمت الشبكات العصبية التكرارية بشكل كبير في تحسين أداء الأنظمة القائمة على الانتقالات من خلال تمثيل الحالة الشاملة، مثل مُحلّلات stack-LSTM، أو تمثيل الحالة المحلية للخصائص السياقية، مثل مُحلّلات Bi-LSTM. وبالنظر إلى النجاح الكبير الذي حققته هندسات Transformer في الأنظمة الحديثة للتحليل، تبحث هذه الدراسة في تعديلات معمّقة لهندسة Transformer من نوع تسلسل إلى تسلسل، بهدف تمثيل إما الحالة الشاملة أو الحالة المحلية في التحليل القائم على الانتقالات. ونُظهر أن التعديلات المطبقة على آلية الانتباه المتقاطع في Transformer تُعزز الأداء بشكل ملحوظ في مهام التحليل الارتباطي (Dependency Parsing) وتحليل المعنى التمثيلي المجرد (AMR Parsing)، خاصةً في حالة النماذج الصغيرة أو عند توفر بيانات تدريب محدودة.