HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين استراتيجية تباين المجموعة GVPO

التاريخ

منذ 10 أيام

المؤسسة

جامعة هونغ كونغ للعلوم والتكنولوجيا (قوانغتشو)

رابط الورقة البحثية

2504.19599

تم اقتراح تحسين سياسة تباين المجموعة (GVPO) من قبل فريق Zuoyebang بالتعاون مع جامعة هونج كونج للعلوم والتكنولوجيا (قوانغتشو) في أبريل 2025. وقد نُشرت نتائج البحث ذات الصلة في الورقة البحثية "...".GVPO: تحسين سياسة تباين المجموعة لنموذج اللغة الكبير بعد التدريب"، تم قبولها بواسطة NeurIPS 2025.

يُدمج GVPO الحل التحليلي لتعظيم المكافأة المقيدة بـ KL مباشرةً في أوزان التدرج، مما يضمن التوافق مع السياسة المثلى. تُقدم هذه الطريقة تفسيرًا فيزيائيًا بديهيًا: يعكس تدرجها متوسط مربع الخطأ بين المسافة الضمنية لمركز المكافأة والمسافة الفعلية لمركز المكافأة. يتميز GVPO بميزتين رئيسيتين: أولًا، يضمن حلًا مثاليًا فريدًا، وهو هدف تعظيم المكافأة المقيدة بـ KL؛ ثانيًا، يدعم توزيعات العينات المرنة، متجنبًا القيود التي تفرضها السياسة وأخذ العينات حسب الأهمية.

بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة المشتركة بالذكاء الاصطناعي
وحدات معالجة رسومات جاهزة
أفضل الأسعار
ابدأ الآن

Hyper Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp