HyperAIHyperAI

Command Palette

Search for a command to run...

محاذاة مهام التعليم تُحرر النماذج اللغوية الكبيرة كمستخرجين للعلاقات بدون أمثلة

Kai Zhang Bernal Jiménez Gutiérrez Yu Su

الملخص

أظهرت الدراسات الحديثة أن عملية التخصيص الدقيق (fine-tuning) للنماذج اللغوية الكبيرة (LLMs) على مجموعات بيانات واسعة النطاق تتضمن تعليمات متعددة تُحسِّن بشكل كبير أداؤها في مجموعة واسعة من المهام المتعلقة باللغة الطبيعية (NLP)، خاصة في البيئة الصفرية (zero-shot). ومع ذلك، لا يزال من الصعب على النماذج اللغوية الكبيرة المُخصصة حسب التعليمات التفوق على النماذج الصغيرة في مهام استخلاص العلاقات (RE)، وهي مهمة أساسية في استخراج المعلومات. نحن نفترض أن عملية التخصيص حسب التعليمات لم تتمكن من إثارة قدرات قوية في استخلاص العلاقات في النماذج اللغوية الكبيرة، وذلك بسبب الندرة النسبية لمهام استخلاص العلاقات في مجموعات بيانات التخصيص حسب التعليمات، حيث تمثل أقل من 1% من جميع المهام (Wang et al., 2022). وللتغلب على هذا التحدي، نقترح إطارًا يُسمى QA4RE، والذي يُحاكي مهام استخلاص العلاقات بمهام الإجابة على الأسئلة (QA)، وهي المهمة السائدة في مجموعات بيانات التخصيص حسب التعليمات. أظهرت تجارب شاملة في بيئة الصفرية (zero-shot) لاستخلاص العلاقات على أربع مجموعات بيانات، باستخدام سلسلتين من النماذج اللغوية الكبيرة المُخصصة حسب التعليمات (إجمالي ستة نماذج)، أن إطارنا QA4RE يُحسِّن باستمرار أداء النماذج اللغوية الكبيرة، مما يُعزز بشكل قوي فرضيتنا، ويُمكّن النماذج من التفوق على النماذج الأساسية الصفرية القوية بفارق كبير. بالإضافة إلى ذلك، نقدّم تجارب وتحليلات موسعة تُظهر متانة إطارنا QA4RE، وفعاليته في البيئة القليلة العينات (few-shot)، وقوته في الانتقال إلى مهام جديدة. تُبرز هذه الدراسة طريقة واعدة لتعديل النماذج اللغوية الكبيرة لتمكّنها من التعامل مع مهام صعبة وغير ممثلة بشكل كافٍ من خلال محاكاتها بمهام شائعة في مجموعات بيانات التخصيص حسب التعليمات، مثل الإجابة على الأسئلة.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp