Depuis son lancement en septembre 2023, le Open ASR Leaderboard a suscité un intérêt majeur auprès de la communauté, atteignant plus de 710 000 visites. Pour maintenir la pertinence de ce benchmark, les gestionnaires s'efforcent d'équilibrer deux principes fondamentaux : la standardisation des formats de sortie et de données, et l'ouverture du code d'évaluation via des scripts en libre accès. Cependant, ces efforts rendent également la plateforme vulnérable au « benchmaxxing », une pratique où les développeurs optimisent leurs modèles spécifiquement pour les ensembles de test publics, ce qui n'améliore pas nécessairement la robustesse réelle des systèmes de reconnaissance vocale (ASR) dans des environnements réels. Face à ce défi, les organisateurs ont introduit des ensembles de données privés en partenariat avec les entreprises Appen Inc. et DataoceanAI. Ces nouvelles données couvrent un spectre linguistique plus large, incluant des accents australien, canadien, indien, britannique et américain, ainsi que des styles de parole variés allant du texte lu avec ponctuation à la conversation spontanée pleine de disfluences. Ces ensembles, d'une durée totale significative, sont conçus pour évaluer la capacité des modèles dans des conditions plus complexes et moins saturées que les tests publics actuels. Conscients des risques de favoritisme, les partenaires ont convenu de ne pas fournir ces jeux de données à leurs propres clients. Par ailleurs, la présence de plusieurs fournisseurs de données permet de neutraliser l'avantage potentiel qu'un modèle pourrait obtenir en ayant été entraîné sur des données d'une distribution similaire à celle d'un seul fournisseur. Pour éviter que ces nouveaux ensembles n'affectent le classement général de manière préjudiciable, la calculatrice du taux d'erreur mot (WER) moyen par défaut n'inclut pas les données privées. Les utilisateurs peuvent cependant basculer l'option pour inclure ces données dans la moyenne globale, ce qui permet d'observer les écarts de performance et de mieux comprendre les biais existants entre les conditions de contrôle et les scénarios réels. La procédure d'évaluation sur ces données privées reste centralisée. Les développeurs soumettent leurs modèles via GitHub en se concentrant d'abord sur les ensembles publics. Une fois les résultats vérifiés sur ces derniers, l'équipe du leaderboard exécute automatiquement les tests sur les données privées pour générer des métriques ciblées. Aucune note individuelle n'est affichée pour chaque sous-ensemble afin d'empêcher l'optimisation ciblée sur un accent ou un fournisseur spécifique. L'interface permet désormais d'afficher un onglet « Données privées » offrant une vision nuancée des performances, avec une colonne indiquant comment le classement change selon l'inclusion de ces jeux de test. Cette évolution vise à capturer les nuances du paysage de l'IA ASR, où aucun modèle unique ne domine toutes les tâches. Certains systèmes excellent sur l'anglais américain standardisé, tandis que d'autres sont optimisés pour la vitesse ou les accents variés. En offrant des mesures de performance plus riches et moins susceptibles d'être manipulées, le projet souhaite fournir une vue d'ensemble plus holistique. L'équipe continue de travailler sur l'amélioration de la qualité des transcriptions et du son, notamment en identifiant les cas difficiles comme le faible rapport signal-sur-bruit. Des retours de la communauté sont attendus pour guider les futures améliorations, y compris des évaluations dans des conditions acoustiques réalistes et bruyantes.