Effiziente LLM-Entwicklung durch systematische Skalierungsgesetze

Bei der Entwicklung großer Sprachmodelle (LLMs) steht die Optimierung der Leistung unter begrenztem Rechen- und Budgetrahmen im Mittelpunkt. Da die Trainingskosten solcher Modelle oft in die Millionen gehen, ist eine präzise Planung entscheidend. Forscher nutzen daher sogenannte Skalierungsgesetze, um die Leistung großer Modelle vorherzusagen, indem sie kleinere, kostengünstigere Modelle aus derselben Familie analysieren. Diese Methode vermeidet das zeitaufwändige und teure vollständige Training zahlreicher Kandidaten. Bisher war jedoch die Vielzahl möglicher Skalierungsgesetze und die fehlende Standardisierung ein Hindernis. Forscher von MIT und dem MIT-IBM Watson AI Lab haben nun eine umfangreiche Datensammlung aus über 485 vortrainierten Modellen aus 40 verschiedenen Modellfamilien wie LLaMA, OPT, Pythia, Bloom und T5-Pile erstellt. Dazu gehören Daten zu Architekturen, Trainingscheckpoints, FLOPs, Epochen und 1,9 Millionen Leistungsmetriken. Mit diesen Daten haben sie über tausend Skalierungsgesetze angepasst und deren Genauigkeit analysiert. Die Ergebnisse zeigen, dass die Verwendung von Zwischencheckpoints – also Teilen des Trainingsprozesses – die Vorhersagegenauigkeit deutlich verbessert, während Daten aus den ersten 10 Milliarden Tokens zu Rauschen führen und abgelehnt werden sollten. Eine optimale Vorhersage erfordert mindestens fünf Modelle unterschiedlicher Größe, wobei größere Modelle zwar präziser sind, aber durch partielle Trainingsaufwendungen (etwa 30 % des Datensatzes) kosteneffizienter genutzt werden können. Bei begrenztem Budget empfehlen die Forscher, ein kleines Modell zu trainieren und Skalierungsgesetze aus ähnlichen Architekturen zu übernehmen – allerdings nur bei nicht-encoder-decoder-Modellen. Eine überraschende Erkenntnis: Skalierungsgesetze lassen sich auch von großen auf kleinere Modelle übertragen, was die gängige Annahme widerlegt, dass kleine und große Modelle grundlegend unterschiedlich verhalten. Die Studie zeigt zudem, dass nur drei von fünf Hyperparametern fast die gesamte Varianz erklären, was die Entwicklung allgemeingültiger Modelle erleichtert. Die Forscher legen eine praxisnahe Anleitung vor, die Entwicklern hilft, Ressourcen gezielt einzusetzen und fundierte Entscheidungen zu treffen. Industrieexperten sehen in der Arbeit einen Meilenstein für die Effizienzsteigerung im LLM-Entwicklungsbereich. „Die systematische Meta-Analyse ist ein Sprung vorwärts – sie macht Skalierungsgesetze nicht nur nutzbar, sondern auch vertrauenswürdig“, sagt ein Experte von Google AI. Die Methode könnte besonders für Forschungseinrichtungen mit begrenzten Mitteln transformative Wirkung haben. MIT-IBM Watson AI Lab, eine gemeinsame Forschungseinrichtung, fördert seit Jahren die Grundlagenforschung in KI, und diese Studie unterstreicht ihre Bedeutung für skalierbare und nachhaltige KI-Entwicklung. Die Forscher planen, ihre Methodik auf die Inference-Zeit auszudehnen – also darauf, wie lange ein Modell denken muss, um eine Antwort zu liefern. „Die Zukunft der KI ist nicht nur im Training, sondern im kontinuierlichen, dynamischen Denken“, betont Jacob Andreas. Die Entwicklung von Skalierungsgesetzen für die Inference könnte entscheidend sein, um Ressourcen in Echtzeit effizient zu steuern.