HyperAIHyperAI

Command Palette

Search for a command to run...

LM-CPPF: توسعة البيانات الموجهة بالتعابير البديلة لضبط النماذج القليلة الاستدلالية التباينية المعتمدة على الإرشادات

Amirhossein Abaskohi; Sascha Rothe; Yadollah Yaghoobzadeh

الملخص

في السنوات الأخيرة، شهد تطوير النماذج اللغوية المدربة مسبقًا لمعالجة اللغة الطبيعية (NLP) تقدمًا كبيرًا. ومع ذلك، غالبًا ما تواجه هذه النماذج صعوبات عند التحسين الدقيق على مجموعات بيانات صغيرة. لحل هذه المشكلة، اقترح الباحثون العديد من طرق التكيف. يعتبر التحسين الدقيق القائم على الإرشادات (prompt-based tuning) هو الأكثر شيوعًا، خاصة للنماذج الأكبر حجمًا. تظهر البحوث السابقة أن إضافة التعلم التبايني إلى التحسين الدقيق القائم على الإرشادات فعال، حيث يساعد النموذج في إنشاء تمثيلات (embeddings) أكثر تمييزًا بين الفئات، ويمكن أيضًا أن يكون أكثر كفاءة من حيث العينة لأن النموذج يتعلم من الأمثلة الإيجابية والسلبية في آن واحد. أحد أهم مكونات التعلم التبايني هو زيادة البيانات (data augmentation)، ولكن على عكس معالجة الرؤية الحاسوبية، لا تزال زيادة البيانات الفعالة لمعالجة اللغة الطبيعية تحديًا. يقدم هذا البحث نموذج LM-CPPF، وهو نموذج تحسين دقيق قائم على الإرشادات وموجه بالتعاريف المكافئة (Contrastive Paraphrasing-guided Prompt-based Fine-tuning of Language Models)، والذي يستخدم التعاريف المكافئة القائمة على الإرشادات في حالات قليلة باستخدام نماذج اللغة الجenerative، وخاصة النماذج الكبيرة مثل GPT-3 وOPT-175B، لزيادة البيانات. أظهرت تجاربنا على عدة مقاييس تصنيف النص أن هذه طريقة زيادة البيانات تتفوق على الطرق الأخرى مثل زيادة البيانات البسيطة (easy data augmentation)، إعادة الترجمة (back translation)، والقوالب المتعددة (multiple templates).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
LM-CPPF: توسعة البيانات الموجهة بالتعابير البديلة لضبط النماذج القليلة الاستدلالية التباينية المعتمدة على الإرشادات | مستندات | HyperAI