Hugging Face: eingebettete KI-Prüfer keine leichte Lösung

Die methodischen Grundlagen des KI-Benchmarking sind nach Einschätzung von Irene Solaiman, Chief Policy Officer von Hugging Face, noch zu uneinheitlich und unausgereift, um belastbare Vergleiche zwischen KI-Produkten zu ermöglichen. Auf der TechCrunch Disrupt in der vergangenen Woche sagte sie, die Prüfverfahren entwickelten sich erst noch zu einer konsistenteren Wissenschaft. Für Vertrauen sei vor allem entscheidend, ob Ergebnisse reproduzierbar seien und ob Prüfer ausreichenden Zugriff auf die getesteten Modelle hätten. Offene Modellgewichte könnten hier einen wichtigen Beitrag leisten, weil sie eine unabhängige Überprüfung erleichtern. Solaiman warnte zugleich vor einer zu starken Fixierung auf einzelne Modelltests. In der Branche werde zunehmend über eingebettete Bewertungsstellen diskutiert, also neutrale Dritte, die Sicherheitsrisiken von KI-Systemen innerhalb von KI-Laboren überwachen sollen. Das Konzept gewann an Bedeutung, nachdem mehrere Sicherheitsvorfälle die Debatte über mögliche Gefahren von KI-Modellen verschärft hatten. Hugging Face war selbst von einem solchen Vorfall betroffen. Statt auf aktive staatliche Regulierung setzen viele KI-Anbieter bisher verstärkt auf externe Prüfer. Deren Neutralität und fachliche Eignung gelten jedoch als offen. Die Entscheidung von Anthropic, Accenture als ersten Bewertungsanbieter zu engagieren, stieß auf Kritik, weil viele die Qualifikation der Beratung für tiefgehende KI-Sicherheitstests anzweifeln. Aus Sicht von Hugging Face muss sich die Evaluation von KI-Modellen künftig stärker auf das gesamte System beziehen, nicht nur auf das Modell selbst. Entscheidend seien auch der Harness und die Agentenarchitektur. Der Harness, also das Werkzeug oder die Umgebung, über die Nutzer ein Modell steuern, beeinflusst die Leistung erheblich. Ein schwächeres Modell kann mit einem besseren Harness ein leistungsstärkeres Frontier-Modell übertreffen. Solaiman sagte, agentische Tests seien besonders schwierig und teuer. Es gebe deutlich mehr Evaluierungen für Modelle als für Harness-Komponenten oder vollständige Agent-Systeme, obwohl Nutzer daraus zunehmend praktischen Wert schöpften. Für Solaiman ist klar: Wenn Benchmarks in der KI-Branche als verlässliche Entscheidungsgrundlage dienen sollen, braucht es eine breitere und einheitlichere Annäherung. Dazu zählen standardisierte Kriterien dafür, wer als wirksamer Prüfer gelten kann, welche Aufgaben wie bewertet werden und wie unterschiedliche Tests aussagekräftig miteinander verglichen werden können. Ohne solche Vereinbarungen bleibe das Evaluationsgeschäft uneinheitlich und seine Ergebnisse nur begrenzt vertrauenswürdig.