التمثيلات السياقية للسلسلة النصية لتسمية التسلسل

أحرزت التطورات الحديثة في نمذجة اللغة باستخدام الشبكات العصبية التكرارية تقدماً ملحوظاً، مما جعل من الممكن نمذجة اللغة كتوزيعات على المستويات الحرفية. من خلال تعلّم التنبؤ بالحرف التالي استناداً إلى الحروف السابقة، أظهرت هذه النماذج قدرتها على استيعاب مفاهيم لغوية تلقائية مثل الكلمات، والجمل، والعبارات الفرعية، وحتى المشاعر. في هذا البحث، نقترح استغلال الحالات الداخلية لنموذج لغوي مُدرّب على مستوى الحروف لإنتاج نوع جديد من تمثيلات الكلمات نسميه "تمثيلات سلسلة سياقية" (contextual string embeddings). تتميز تمثيلاتنا المُقترحة بخصائص مميزة: (أ) تُدرّب دون أي مفهوم صريح للكلمات، وبالتالي تُنمذج الكلمات بشكل جوهري كسلسلة من الحروف، و(ب) تكون مُحتَوَة في سياق النص المحيط بها، ما يعني أن نفس الكلمة ستُمثّل بتمثيلات مختلفة اعتماداً على استخدامها السياقي. قمنا بتحليل مقارن مع التمثيلات السابقة، ووجدنا أن تمثيلاتنا مفيدة للغاية في المهام اللاحقة: ففي أربع مهام كلاسيكية لتحديد التسميات التسلسلية، تفوقنا باستمرار على أفضل النماذج السابقة. وبخاصة، تفوقنا بشكل ملحوظ على الأبحاث السابقة في مهام التعرف على الكيانات المعرفية (NER) باللغتين الإنجليزية والألمانية، مما يمكّننا من الإبلاغ عن أرقام F1 جديدة قياسية على مهمة مشاركة CoNLL03. ونُطلق جميع الكودات والنموذج المُدرّب مسبقاً ضمن إطار سهل الاستخدام للمجتمع البحثي، لتمكين إعادة إنتاج هذه التجارب وتطبيق تمثيلاتنا المقترحة على مهام أخرى: https://github.com/zalandoresearch/flair