Gayathri Saranathan Cong Xu Mahammad Parwez Alam Tarun Kumar Martin Foltin et al

Abstract

Die rasanten Fortschritte bei großen Sprachmodellen (Large Language Models, LLMs) und natürlichen Sprachverarbeitungsdatensätzen haben umfassende Benchmark-Evaluierungen rechnerisch zunehmend unpraktikabel gemacht. Inspiriert von hochkarätigen Wettbewerben wie der Internationalen Mathematik-Olympiade – bei denen bereits wenige sorgfältig ausgewählte Aufgaben ausreichen, um Spitzenleistungen zu differenzieren – stellen wir SubLIME vor, eine Methode, die die Evaluierungskosten um 80 % bis 99 % senkt, ohne die Treue der Rangfolge zu beeinträchtigen. SubLIME trainiert ein Modell zur Vorhersage der Rangkorrelation (Rank Correlation Prediction, RCP), das begrenzte Leistungsdaten aus lediglich 5 bis 20 Referenz-LLMs mit intrinsischen Datensatzmetriken – Schwierigkeit, Qualität und verteilungsmäßige Streuung – kombiniert, um vorherzusagen, wie gut ein Kandidatensubset die Rangfolge des vollständigen Benchmarks widerspiegelt. Auf Basis dieser Vorhersagen wählt SubLIME eine „gewinnende“ Teilmenge (1 bis 20 % der Gesamtdatenmenge) aus, um neue LLMs zu evaluieren. Damit wird die globale Rangfolge signifikant besser erhalten als bei anderen dateneffizienten Methoden über zehn unterschiedliche Benchmarks hinweg.