HyperAIHyperAI

Command Palette

Search for a command to run...

تحسين استراتيجية تباين المجموعة GVPO

Date

منذ 2 أشهر

Organization

جامعة هونغ كونغ للعلوم والتكنولوجيا (قوانغتشو)

Paper URL

2504.19599

تم اقتراح تحسين سياسة تباين المجموعة (GVPO) من قبل فريق Zuoyebang بالتعاون مع جامعة هونج كونج للعلوم والتكنولوجيا (قوانغتشو) في أبريل 2025. وقد نُشرت نتائج البحث ذات الصلة في الورقة البحثية "...".GVPO: تحسين سياسة تباين المجموعة لنموذج اللغة الكبير بعد التدريب"، تم قبولها بواسطة NeurIPS 2025.

يُدمج GVPO الحل التحليلي لتعظيم المكافأة المقيدة بـ KL مباشرةً في أوزان التدرج، مما يضمن التوافق مع السياسة المثلى. تُقدم هذه الطريقة تفسيرًا فيزيائيًا بديهيًا: يعكس تدرجها متوسط مربع الخطأ بين المسافة الضمنية لمركز المكافأة والمسافة الفعلية لمركز المكافأة. يتميز GVPO بميزتين رئيسيتين: أولًا، يضمن حلًا مثاليًا فريدًا، وهو هدف تعظيم المكافأة المقيدة بـ KL؛ ثانيًا، يدعم توزيعات العينات المرنة، متجنبًا القيود التي تفرضها السياسة وأخذ العينات حسب الأهمية.

Build AI with AI

From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.

AI Co-coding
Ready-to-use GPUs
Best Pricing

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp