التصنيف الشكلي النحوي باستخدام نموذج Meta-BiLSTM على ترميزات الأدوات الحساسة للسياق

ازدهار الشبكات العصبية، وخاصة الشبكات العصبية التكرارية، قد أدى إلى تقدم كبير في دقة تصنيف الأجزاء (part-of-speech tagging). من بين الخصائص المشتركة لهذه النماذج وجود ترميزات غنية للكلمات الأولية. عادةً ما تتكون هذه الترميزات من تمثيل تكراري يعتمد على الحروف مع متجهات كلمات تم تعلمها وتدريبها مسبقًا. ومع ذلك، فإن هذه الترميزات لا تأخذ في الاعتبار سياقًا أوسع من كلمة واحدة، ويتم فقط من خلال الطبقات التكرارية اللاحقة أن تتداخل المعلومات الكلية أو الجزئية. في هذا البحث، ندرس النماذج التي تستعمل الشبكات العصبية التكرارية مع سياق جملة لتمثيلات الحروف والكلمات الأولية. بشكل خاص، نظهر أن أفضل النتائج يتم الحصول عليها من خلال دمج هذه التمثيلات الحساسة للسياق عبر التدريب المتناسق مع نموذج أعلى (meta-model) يتعلم كيفية الجمع بين حالاتها. نقدم نتائج حول تصنيف الأجزاء والمورفولوجيا بمستوى أداء رائد على عدد من اللغات.