LM-CPPF: توسعة البيانات الموجهة بالتعابير البديلة لضبط النماذج القليلة الاستدلالية التباينية المعتمدة على الإرشادات

في السنوات الأخيرة، شهد تطوير النماذج اللغوية المدربة مسبقًا لمعالجة اللغة الطبيعية (NLP) تقدمًا كبيرًا. ومع ذلك، غالبًا ما تواجه هذه النماذج صعوبات عند التحسين الدقيق على مجموعات بيانات صغيرة. لحل هذه المشكلة، اقترح الباحثون العديد من طرق التكيف. يعتبر التحسين الدقيق القائم على الإرشادات (prompt-based tuning) هو الأكثر شيوعًا، خاصة للنماذج الأكبر حجمًا. تظهر البحوث السابقة أن إضافة التعلم التبايني إلى التحسين الدقيق القائم على الإرشادات فعال، حيث يساعد النموذج في إنشاء تمثيلات (embeddings) أكثر تمييزًا بين الفئات، ويمكن أيضًا أن يكون أكثر كفاءة من حيث العينة لأن النموذج يتعلم من الأمثلة الإيجابية والسلبية في آن واحد. أحد أهم مكونات التعلم التبايني هو زيادة البيانات (data augmentation)، ولكن على عكس معالجة الرؤية الحاسوبية، لا تزال زيادة البيانات الفعالة لمعالجة اللغة الطبيعية تحديًا. يقدم هذا البحث نموذج LM-CPPF، وهو نموذج تحسين دقيق قائم على الإرشادات وموجه بالتعاريف المكافئة (Contrastive Paraphrasing-guided Prompt-based Fine-tuning of Language Models)، والذي يستخدم التعاريف المكافئة القائمة على الإرشادات في حالات قليلة باستخدام نماذج اللغة الجenerative، وخاصة النماذج الكبيرة مثل GPT-3 وOPT-175B، لزيادة البيانات. أظهرت تجاربنا على عدة مقاييس تصنيف النص أن هذه طريقة زيادة البيانات تتفوق على الطرق الأخرى مثل زيادة البيانات البسيطة (easy data augmentation)، إعادة الترجمة (back translation)، والقوالب المتعددة (multiple templates).