إطار عمل متعدد الأبعاد لفحص بيانات ما قبل التدريب Meta-rater
Date
تم اقتراح طريقة اختيار البيانات متعددة الأبعاد لنماذج اللغة قبل التدريب (Meta-rater) من قبل مختبر الذكاء الاصطناعي في شنغهاي وجامعة شرق الصين العادية في 4 يونيو 2025. وتهدف إلى دمج الأبعاد الأربعة للاحترافية والقابلية للقراءة والمنطق والنظافة مع مؤشرات الجودة الحالية من خلال تعلم الأوزان المثلى.Meta-rater: طريقة اختيار بيانات متعددة الأبعاد لنماذج اللغة التدريبية المسبقة"، والتي فازت بجائزة ACL 25 لأفضل ورقة بحثية موضوعية.
يستخدم ميتا-راتر نموذجًا بديلًا لتدريب نموذج انحدار والتنبؤ بفقدان مجموعة التحقق، وبالتالي تحديد أفضل تركيبة لدرجات الجودة. تُظهر النتائج التجريبية أن ميتا-راتر قادر على مضاعفة سرعة التقارب لنموذج ذي 1.3 مليار معلمة ثلاث مرات، وتحسين أداء المهام اللاحقة بمقدار 3.23%. هذه الميزة قابلة للتطوير لتشمل نموذجًا ذي 7.2 مليار معلمة.
Build AI with AI
From idea to launch — accelerate your AI development with free AI co-coding, out-of-the-box environment and best price of GPUs.