تمكين تسمية التسلسل باستخدام نموذج لغوي عصبي واعٍ للمهمة

التصنيف التسلسلي للنصوص اللغوية هو نهج عام للنمذجة يشمل مجموعة متنوعة من المشكلات، مثل تسمية أجزاء الكلام وتحديد الكيانات المُسَمَّاة. التطورات الحديثة في الشبكات العصبية (Neural Networks) جعلت من الممكن بناء نماذج موثوقة دون الحاجة إلى خصائص يدوية الصنع. ومع ذلك، في العديد من الحالات، يكون من الصعب الحصول على تسميات كافية لتدريب هذه النماذج. في هذه الدراسة، قمنا بتطوير إطار عمل عصبي جديد يستخرج المعرفة الغنية الموجودة في النصوص الخام لتعزيز مهمة التصنيف التسلسلي. بالإضافة إلى المعرفة على مستوى الكلمات التي تحتوي عليها التضمينات الكلامية المُدربة مسبقًا، تم دمج نماذج اللغة العصبية الحساسة للأحرف لاستخراج المعرفة على مستوى الأحرف. كما تم اعتماد تقنيات التعلم النقل (Transfer Learning) لتوفير الوساطة بين المكونات المختلفة وإرشاد نموذج اللغة نحو المعرفة الأساسية. بالمقارنة مع الأساليب السابقة، فإن هذه المعرفة الخاصة بالمهمة تتيح لنا استخدام نموذج أكثر إيجازًا وإجراء تدريب أكثر كفاءة. على عكس معظم أساليب التعلم النقل، لا يعتمد الإطار المقترح على أي إشراف إضافي. بل يستخرج المعرفة من المعلومات المرتبطة ذاتيًا في تسلسلات التدريب. أظهرت التجارب الواسعة على مجموعات بيانات معيارية فعالية استغلال المعرفة على مستوى الأحرف وكفاءة التدريب المشترك. على سبيل المثال، في مهمة تحديد الكيانات المُسَمَّاة CoNLL03، يتم إكمال تدريب النموذج في حوالي 6 ساعات على وحدة معالجة الرسومات الواحدة (GPU)، ويصل إلى درجة F1 بمقدار 91.71$\pm$0.10 دون استخدام أي تسمية إضافية.