Das Open ASR Leaderboard hat seit seiner Einführung im September 2023 über 710.000 Aufrufe verzeichnet und dient als zentraler Anlaufpunkt für die Bewertung von Spracherkennungsmodellen. Um die Gefahr des sogenannten Benchmaxxing zu minimieren, bei dem Entwickler Modelle speziell auf öffentliche Testdaten optimieren, ohne ihre reale Robustheit zu verbessern, führt die Plattform nun private Datensätze ein. Dazu wurde eine Zusammenarbeit mit den Unternehmen Appen Inc. und DataoceanAI geschlossen. Diese liefern hochwertige englische Audio-Daten, die sowohl gesprochene als auch dialogartige Sprache sowie verschiedene Akzente abdecken. Um die Integrität des Benchmarks zu wahren, bleiben diese neuen Datensätze privat und werden nicht öffentlich zugänglich gemacht. Standardmäßig wird der durchschnittliche Fehlerquotient (WER) weiterhin nur auf Basis der öffentlichen Datensätze berechnet. Nutzer können über einen Schalter jedoch optional die privaten Daten einbeziehen, um die Auswirkungen auf die Gesamtbewertung zu sehen. Diese Maßnahme soll die Glaubwürdigkeit des Leaderboards stärken und sicherstellen, dass Modelle nicht durch den Zugriff auf spezifische Testdaten oder ähnliche Trainingsverteilungen manipuliert werden. Zudem fördert die Einbindung mehrerer Anbieter eine ausgewogene Bewertung. Die Plattform betont zwei Kernziele: Standardisierung und Offenheit. Durch einen gemeinsamen Datensatz auf dem Hub und einen Normalisierer, der Groß- und Kleinschreibung sowie Interpunktion vereinheitlicht, wird sichergestellt, dass verschiedene Modelle vergleichbar sind. Gleichzeitig sind der Code und die Evaluierungsskripts offen, was der Community die Möglichkeit gibt, Beiträge zu leisten und die Qualität zu verbessern. Dennoch erfordern diese Offenheit und Standardisierung zusätzliche Schutzmaßnahmen gegen Benchmark-spezifische Optimierungen. Die neuen privaten Datensätze decken ein breites Spektrum ab, darunter gesprochene und dialogartige Inhalte in australischem, kanadischem, indischem, britischem und amerikanischem Englisch. Sie enthalten sowohl strukturierte als auch spontane Sprache mit Füllwörtern und Diskontinuitäten. Um eine gezielte Optimierung für einen bestimmten Anbieter oder Akzent zu verhindern, werden keine Einzelergebnisse pro Split veröffentlicht. Stattdessen werden die Ergebnisse anonym aggregiert. Nutzer können Modelle auf dem Leaderboard registrieren, wobei die Auswertung durch das Team auf den privaten Daten durchgeführt wird. Die Autoren weisen darauf hin, dass es kein universelles ASR-Modell gibt. Je nach Anwendung sind unterschiedliche Fähigkeiten wie Geschwindigkeit, Akzentvielfalt oder Robustheit in lauter Umgebung gefragt. Die neuen Funktionen sollen Entwicklern helfen, das für ihren spezifischen Anwendungsfall geeignetste Modell zu finden. Zukünftig plant das Team, auch Umgebungsgeräusche und schwierigere akustische Bedingungen stärker zu berücksichtigen. Bis dahin können Nutzer ihre Ergebnisse auf öffentlichen Daten über YAML-Dateien selbst melden, wobei diese Einträge nicht verifiziert sind.