الأهداف ذاتية التدريب الهيكلية للحوامل

تركز هذه الرسالة على تحسين عملية التدريب المسبق للنماذج اللغوية الطبيعية باستخدام بيانات خام غير مُسَمَّاة، بهدف جعلها أكثر كفاءة ومطابقة للمهام التطبيقية اللاحقة.في الجزء الأول، نُقدِّم ثلاثَة أهداف بديلة للتدريب المسبق في نموذج BERT، وهي نموذج النمط المُقنّع للغة (MLM)، وهم: استبدال الرموز العشوائية (RTS)، واستبدال الرموز العشوائية القائمة على التجميع (C-RTS)، ونمط التعلم المتبادل للغة (SLM). تتمحور هذه الأهداف حول تبديل الرموز بدلًا من إخفائها، حيث يهدف RTS وC-RTS إلى التنبؤ بوجود الرمز الأصلي، بينما يهدف SLM إلى التنبؤ بقيم الرموز الأصلية. أظهرت النتائج أن RTS وC-RTS يستهلكان وقتًا أقل في التدريب المسبق مع الحفاظ على أداء مماثل لـ MLM. وفاجأ النتائج أن SLM تفوق MLM في بعض المهام، رغم استخدام نفس الموارد الحسابية.في الجزء الثاني، نقترح مهامًا للتدريب ذاتيًا تتماشى هيكليةً مع المهام التطبيقية اللاحقة، مما يقلل الحاجة إلى بيانات مُسَمَّاة. نستخدم مجموعات نصية كبيرة مثل ويكيبيديا وCC-News لتدريب النماذج على التمييز بين ما إذا كانت أجزاء نصية منشأها نفس الفقرة أو المستند، وذلك بطرق متعددة. وباستخدام التدريب المسبق المستمر، بدءًا من نماذج موجودة مثل RoBERTa وELECTRA وDeBERTa وBART وT5، نُظهر تحسينًا كبيرًا في أداء المهام مثل التحقق من الحقائق (Fact Verification) وتحديد الجملة الإجابة (Answer Sentence Selection) والتلخيص (Summarization). ويكون هذا التحسن أكثر وضوحًا عند توفر كميات محدودة من البيانات المُسَمَّاة. كما حققت الأهداف المقترحة نتائج من الطراز الرائد (state-of-the-art) على عدة مجموعات معايير، منها FEVER (مجموعة التحقق)، ASNQ، WikiQA، وTREC-QA، بالإضافة إلى تحسين جودة النصوص الملخصة. وبشكل مهم، يمكن دمج هذه التقنيات بسهولة مع أساليب أخرى دون تعديل البنية الداخلية لنماذج Transformer، مما يجعلها مرنة وقابلة للتطبيق في مختلف تطبيقات معالجة اللغة الطبيعية.