Mehrdimensionales Daten-Screening-Framework Vor Dem Training Meta-Rater

Am 4. Juni 2025 wurde vom Shanghai Artificial Intelligence Laboratory und der East China Normal University eine mehrdimensionale Datenauswahlmethode für das Vortraining von Sprachmodellen (Meta-Rater) vorgeschlagen. Ziel ist es, die vier Dimensionen Professionalität, Lesbarkeit, Argumentation und Sauberkeit durch das Erlernen optimaler Gewichte mit vorhandenen Qualitätsindikatoren zu integrieren.Meta-Rater: Eine mehrdimensionale Datenauswahlmethode für das Vortraining von Sprachmodellen“, das mit dem ACL 25 Best Theme Paper Award ausgezeichnet wurde.

Meta-Rater verwendet ein Surrogatmodell, um ein Regressionsmodell zu trainieren und den Validierungssatzverlust vorherzusagen. Dadurch wird die optimale Kombination von Qualitätsbewertungen ermittelt. Experimentelle Ergebnisse zeigen, dass Meta-Rater die Konvergenzgeschwindigkeit eines 1,3 Milliarden Parameter umfassenden Modells verdreifachen und die Leistung nachgelagerter Aufgaben um 3,231 TP3T verbessern kann. Dieser Vorteil ist auf ein 7,2 Milliarden Parameter umfassendes Modell skalierbar.