HyperAIHyperAI

Command Palette

Search for a command to run...

ProGen: توليد تدريجي لمجموعات البيانات بدون تدريب مسبق من خلال التغذية الراجعة السياقية

Jiacheng Ye Jiahui Gao Jiangtao Feng Zhiyong Wu Tao Yu Lingpeng Kong

الملخص

في الآونة الأخيرة، أظهرت طرق التعلم الصفري القائمة على توليد المجموعات البيانات نتائج واعدة من خلال تدريب نموذج مخصص للمهمة باستخدام مجموعة بيانات مُولَّدة من نماذج اللغة المُدرَّبة مسبقًا (PLMs) كبيرة الحجم. غالبًا ما تحقق النماذج المخصصة للمهمة أداءً مماثلًا أو حتى أفضل من نماذج اللغة المُدرَّبة مسبقًا في ظل بيئة التعلم الصفري، مع عدد من المعلمات أقل بمرات عديدة. ومع ذلك، تواجه مجموعات البيانات المُولَّدة عيوبًا معينة. فقد عانت هذه المجموعات لفترة طويلة من مشاكل الجودة المنخفضة (مثل قلة المعلوماتية والتكرار). وهذا ما يفسر سبب عدم تحسُّن الأداء رغم كثرة البيانات المُولَّدة — وهو ما كان من المفترض أن يحدث مع البيانات التي تم تسميتها يدويًا من قبل البشر. ولتحسين جودة توليد المجموعات البيانات، نقترح إطارًا تدريجيًا لتصنيع مجموعات بيانات صفريّة يُسمَّى "ProGen"، والذي يستفيد من التغذية الراجعة التي يُقدِّمها النموذج المخصص للمهمة لتوجيه توليد بيانات التدريب الجديدة من خلال أمثلة مُقدَّمة في السياق (in-context examples). أظهرت تجارب واسعة على خمسة مجموعات بيانات تصنيف نصي فعالية النهج المقترح. كما أظهرنا أن ProGen يحقق أداءً مماثلًا أو أفضل مقارنةً بطرق المقارنة التقليدية، مع استخدام حجم بيانات مُولَّدة فقط بنسبة 1%، مقارنةً بالطرق التي لا تستخدم تغذية راجعة في السياق.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp