ProGen: توليد تدريجي لمجموعات البيانات بدون تدريب مسبق من خلال التغذية الراجعة السياقية

في الآونة الأخيرة، أظهرت طرق التعلم الصفري القائمة على توليد المجموعات البيانات نتائج واعدة من خلال تدريب نموذج مخصص للمهمة باستخدام مجموعة بيانات مُولَّدة من نماذج اللغة المُدرَّبة مسبقًا (PLMs) كبيرة الحجم. غالبًا ما تحقق النماذج المخصصة للمهمة أداءً مماثلًا أو حتى أفضل من نماذج اللغة المُدرَّبة مسبقًا في ظل بيئة التعلم الصفري، مع عدد من المعلمات أقل بمرات عديدة. ومع ذلك، تواجه مجموعات البيانات المُولَّدة عيوبًا معينة. فقد عانت هذه المجموعات لفترة طويلة من مشاكل الجودة المنخفضة (مثل قلة المعلوماتية والتكرار). وهذا ما يفسر سبب عدم تحسُّن الأداء رغم كثرة البيانات المُولَّدة — وهو ما كان من المفترض أن يحدث مع البيانات التي تم تسميتها يدويًا من قبل البشر. ولتحسين جودة توليد المجموعات البيانات، نقترح إطارًا تدريجيًا لتصنيع مجموعات بيانات صفريّة يُسمَّى "ProGen"، والذي يستفيد من التغذية الراجعة التي يُقدِّمها النموذج المخصص للمهمة لتوجيه توليد بيانات التدريب الجديدة من خلال أمثلة مُقدَّمة في السياق (in-context examples). أظهرت تجارب واسعة على خمسة مجموعات بيانات تصنيف نصي فعالية النهج المقترح. كما أظهرنا أن ProGen يحقق أداءً مماثلًا أو أفضل مقارنةً بطرق المقارنة التقليدية، مع استخدام حجم بيانات مُولَّدة فقط بنسبة 1%، مقارنةً بالطرق التي لا تستخدم تغذية راجعة في السياق.