KI-Benchmarking soll zur Wissenschaft werden

Der Informatiker Moritz Hardt, Direktor am Max-Planck-Institut für intelligente Systeme, betrachtet KI-Benchmarks als entscheidendes, aber problematisches Steuerungsinstrument der Forschung. Vergleichstests funktionieren nach dem Muster: Ein Datensatz wird in Trainings- und Testbereich geteilt, Modelle entwickeln sich am Trainingsmaterial, und der Test erzeugt eine Rangliste. Der erste solche Test entstand 1959 mit handschriftlichen Ziffern und Buchstaben auf Lochkarten. Hardt zufolge waren Benchmarks lange kein verlässliches Messinstrument, sondern ein Wettbewerbsmechanismus. Die ersten großen Wirkungen zeigen dies deutlich. Ein DARPA-Benchmark zur automatischen Sprach-zu-Text-Übersetzung aus dem Jahr 1987 zeigte, dass KI-Systeme einfachen statistischen Verfahren unterlagen; das Ergebnis trug zu einem Vertrauensverlust und zu sinkender Förderung in der KI-Forschung bei. 2012 kehrte die Dynamik mit ImageNet um: Ein achtschichtiges neuronales Netz übertraf ältere Methoden bei der Bilderkennung und beschleunigte den Durchbruch des Deep Learning. Heute werden Standardsprachmodelle wie GPT, Claude oder Gemini regelmäßig mit Aufgaben getestet, von Mathematik bis Software-Sicherheit. Hardt warnt jedoch vor der Deutung absoluter Punktzahlen. Öffentliche Testdaten ermöglichen es Entwicklern, in der Entwicklungsphase auf sie zuzugreifen, selbst wenn offiziell nur das Ranking am Ende steht. Dieses gezielte Lernen auf den Test verzerrt Ergebnisse: Die genauen Prozentzahlen können stark schwanken, je nachdem wie der Test leicht verändert wird. Ein Modell kann 90 Prozent auf einem Datensatz erreichen, aber deutlich schwächer auf einem anderen wirken, ohne dass klar wird, welche Zahl die reale Leistung besser beschreibt. Interessanterweise blieb die KI-Forschung dennoch relativ stabil. Viele Jahre funktionierte die Rangfolge der Modelle besser als ihre Einzelwerte. Wenn ein Modell eine Führung auf einem Benchmark errang, bestätigte sich das oft auf anderen Datensätzen. Für Hardt ist das ein empirischer Glücksfall ohne tragfähige Theorie. Voraussetzung war, dass die Modelle auf denselben oder sehr ähnlichen Trainingsdaten lernten. In der Ära großer Sprachmodelle entfällt diese Voraussetzung zunehmend. Unternehmen nutzen intransparente Datenmischungen und können gezielt auf verfügbare Benchmarks nachtrainieren. Neue Modelle glänzen häufig auf älteren Tests, schwächeln aber auf kurz danach erschienenen Aufgaben. Solche Benchmark-Optimierungseffekte führen dazu, dass nicht mehr zwangsläufig das bessere Modell gewinnt, sondern das besser vorbereitete. Hardt schlägt einen Paradigmenwechsel vor: Statt klassischer Trainingsbereiche mit streng gehüteten Tests würde er vor der Bewertung eine einheitliche Vorbereitungsphase erlauben. Alle Kandidaten würden mit einem definierten Protokoll auf den Test vorbereitet, ähnlich der Höhenanpassung von Läuferinnen und Läufern vor Wettbewerben in großer Höhe. Die Frage sei nicht, ob Modelle optimiert werden, sondern ob sie alle gleich optimiert werden. So könnten Ranglisten ihre Aussagekraft zurückgewinnen, auch wenn sie keine objektiven Messungen von Intelligenz oder Verständnis liefern. Letztlich sieht Hardt in Benchmarks keine fertige Wissenschaft, sondern eine Technik, die neue Erkenntnis anstoßen kann. Der Protein-Faltungswettbewerb CASP habe die Strukturforschung vorangetrieben, lange bevor vollständige theoretische Modelle existierten. Für KI-Benchmarks gilt analog: Ihr Wert liegt weniger in absoluten Punktzahlen als in der Fähigkeit, Fortschritt vergleichbar zu machen, selbst wenn der eigentliche Lernmechanismus noch unklar bleibt.