تحسين نماذج اللغة العصبية من خلال التجزئة والتركيز وتوقع المستقبل

تقوم النماذج اللغوية الشائعة عادةً بتوقع الكلمة التالية بناءً على السياق. في هذا البحث، نقترح طريقة تحسن من النمذجة اللغوية من خلال تعلم مواءمة السياق المعطى والعبارة اللاحقة. لا يتطلب هذا النموذج أي توضيح لغوي للتقسيم العباري. بدلاً من ذلك، قمنا بتعريف الارتفاعات النحوية وقواعد تقسيم العبارات، مما يتيح للنموذج استنتاج العبارات بشكل آلي، وتعرف رؤوسها المحددة للمهمة، وإنشاء تمثيلات عبارية بطريقة التعلم غير المشرف (Unsupervised Learning). يمكن تطبيق طريقتنا بسهولة على نماذج لغوية ذات هياكل شبكة مختلفة لأن وحدة مستقلة تُستخدم لاستنتاج العبارة ومواءمة السياق-العبارة، ولا يُطلب إجراء أي تعديل في الشبكة الأساسية للنمذجة اللغوية. أظهرت التجارب أن نموذجنا أداءً أفضل من عدة نماذج أساسية قوية على مجموعات بيانات مختلفة. حققنا أداءً جديدًا يُعد الأفضل حتى الآن بمعدل حيرة (Perplexity) قدره 17.4 على مجموعة بيانات Wikitext-103. بالإضافة إلى ذلك، أظهرت عملية تصوير مخرجات وحدة استنتاج العبارة أن نموذجنا قادر على تعلم المعرفة الهيكلية التقريبية على مستوى العبارة دون أي توضيح.