HyperAIHyperAI

Command Palette

Search for a command to run...

Quadrillionen-Parameter-Transformer optimal trainieren

Forschende um Ethan Baron stellen in einer 2026 veröffentlichten Arbeit von Q Labs Research Trainingsvorschriften für extrem große transformerbasierte Sprachmodelle vor. Ziel ist die Skalierung auf Systeme im Bereich von 10 hoch 15 Parametern, was deutlich über heutigen Modellen liegt. Hintergrund ist die Dateneffizienz: Der Chinchilla-Ansatz geht bei 30 Billionen Texteinheiten von etwa 1,5 Billionen Parametern aus, während das menschliche Gehirn mit deutlich weniger wahrgenommenen Einheiten pro synaptischer Verbindung lernt. Die Arbeit argumentiert, dass Sprachmodelle im datenlimitierten Regime näher an diese Effizienz rücken sollten. Die zentrale Erkenntnis ist, dass die rechenoptimale Modellgröße bei festem Datensatz nicht konstant bleibt, sondern mit dem Rechenbudget wächst. Das Team erweitert bestehende Skalierungsgesetze für Trainingsläufe mit mehreren Epochen und ergänzt Modellensembles als eigene Achse. Die Hyperparameter, etwa der Gewichtsverfall, werden dabei nicht starr übernommen, sondern als Funktionen von Datenmenge, Modellgröße und Epochenanzahl bestimmt. Für den Trainingseinsatz empfehlen die Forschenden zwei Verfahren. Momentaufnahme-Ensembles speichern Modellzustände aus einem einzigen Trainingslauf, etwa bei zyklischer Lernrate, und mitteln ihre Vorhersagen. Dadurch sinkt der Fehler ohne zusätzlichen Trainingsaufwand. Ergänzend werden Ensembles aus unabhängig trainierten Modellen eingesetzt, wenn das Rechenbudget groß genug gegenüber dem Datensatz ist. Zuerst steigen Modellgröße, Epochenzahl und Momentaufnahme-Ensembles; zusätzliche Rechenleistung fließt dann in weitere Modelle. In Extrapolationen für fünf Billionen Texteinheiten ergibt sich bei 10 hoch 29 Rechenoperationen ein Ensemble mit mehr als 300 Parametern pro Texteinheit. Das entspricht etwa dem 7.000-Fachen des von Chinchilla empfohlenen Verhältnisses. Die neue Regel bleibt auch jenseits des angepassten Bereichs stabil nahe am Optimum, während frühere Vorschriften auf mindestens einer Achse danebenlagen. Damit verschiebt sich die Optimierung von reinen Datenmengen auf ein Zusammenspiel aus Modellgröße, Rechenbudget, Hyperparametern und Modellensembles. Für die KI-Entwicklung markiert dies einen möglichen Weg, die Lücke zwischen menschlicher und maschineller Dateneffizienz zu verringern. Die vorgeschlagenen Größenordnungen erfordern jedoch neue Algorithmen, leistungsfähigere Hardware und weitere Forschung.

Verwandte Links