Gayathri Saranathan Cong Xu Mahammad Parwez Alam Tarun Kumar Martin Foltin et al

الملخص

شهدت النماذج اللغوية الكبيرة (LLMs) وبيانات معالجة اللغة الطبيعية توسعاً سريعاً، مما جعل إجراء تقييمات موسعة وشاملة باستخدام المعايير الحسابية أمرًا غير عملي من الناحية الحاسوبية. مستوحاة من المنافسات ذات الأهمية القصوى مثل الأولمبياد الدولي للرياضيات – حيث يكفي عدد قليل من المسائل المختارة بعناية لتمييز الأداء المتميز – نقدم منهجية "SubLIME"، التي تقلل من تكاليف التقييم بنسبة تصل إلى 80% إلى 99% مع الحفاظ على دقة الترتيب. تعتمد هذه الطريقة على تدريب نموذج تنبؤ بالارتباط التصنيفي (RCP)، يجمع بين بيانات الأداء المحدودة المستمدة من 5 إلى 20 نموذجًا أساسياً (anchor LLMs) ومقاييس داخلية للبيانات – مثل صعوبة المسألة (Difficulty)، ونوعية البيانات (Quality)، وتشتت التوزيع (Distributional Dispersion) – لتقدير مدى قرب مجموعة مرشحة من الترتيب الكامل للمعايير. وباستخدام هذه التنبؤات كدليل، تختار "SubLIME" مجموعة "الناجية" (تتراوح بين 1% إلى 20% من بيانات المجموعة الكاملة) لتقييم النماذج اللغوية الجديدة، مما يضمن الحفاظ على الترتيب العام بشكل أفضل بكثير من الطرق الأخرى الفعالة من حيث استخدام البيانات، وذلك عبر عشرة معايير متنوعة.