GOLD: التعلم المعرفي العام من خلال إنشاء بيانات لغوية موجهة خارج التوزيع

تعد عملية استخلاص المعرفة من النماذج اللغوية الكبيرة (LLMs) ضرورية لنشر هذه النماذج بشكل فعال. قد اقترح الأبحاث السابقة توليد بيانات باستخدام نماذج LLMs لإعداد النماذج المستخلصة. نعتقد أن توليد البيانات باستخدام نماذج LLMs يميل إلى أخذ عينات بشكل أساسي من مركز توزيع المحتوى الأصلي. هذا القيد يعيق النموذج المستخلص من التعلم على التوزيع الحقيقي للبيانات وينسي ذيول التوزيعات (العينات ذات الاحتمال المنخفض). بناءً على ذلك، نقترح GOLD، وهو إطار عام لتوليد البيانات واستخلاص المعرفة، يستخدم آلية رد فعل متكررة موجهة خارج نطاق التوزيع (Out-of-Distribution-Guided Feedback Mechanism) للنموذج اللغوي الكبير (LLM). نتيجة لذلك، تحسن البيانات المُولَدة قابلية تعميم النماذج المستخلصة. كما تم تقديم نهج تقييم خارج نطاق التوزيع مستند إلى الطاقة (Energy-Based OOD Evaluation Approach) للتعامل مع البيانات المُولَدة الضوضائية. أظهرت تجاربنا الواسعة على 10 مهام مختلفة في تصنيف الجمل وتحويل التسلسلات في معالجة اللغة الطبيعية (NLP) أن GOLD يتفوق على الأساليب السابقة والنماذج اللغوية الكبيرة بمتوسط تحسين بنسبة 5% و14% على التوالي. سنوضح أيضًا أن الطريقة المقترحة قابلة للتطبيق على المهام الأقل استكشافًا والمهام الجديدة. الرمز البرمجي متاح.