Treble Technologies et Hugging Face ont lancé le classement FFASR, une initiative communautaire ouverte visant à évaluer les modèles de reconnaissance automatique de la parole dans des conditions acoustiques réalistes. Cette plateforme répond à un problème majeur du secteur : les benchmarks classiques mesurent la précision sur des audios nets enregistrés près du microphone, ce qui ne prédit pas les performances lors du déploiement réel. Dans des environnements éloignés, la réverbération, le bruit de fond et la distance réduisent drastiquement la fiabilité des systèmes vocaux. Pour combler ce fossé, le benchmark utilise un moteur de simulation hybride développé par Treble Technologies, combinant des calculs ondes et de l'acoustique géométrique. Il reproduit des scénarios dans quatorze pièces meublées de tailles variées. Les modèles sont testés sur des audios générés à différents niveaux de rapport signal-sur-bruit, incluant des bruits permanents comme les systèmes de ventilation et des bruits transitoires. Une section évalue également les sources en mouvement, pertinent pour les assistants automobiles ou les robots humanoïdes. La validité des simulations a été vérifiée par des mesures en laboratoire. L'évaluation ne se limite pas à la précision. Le classement rapporte conjointement le taux d'erreur lexical et la latence, mesurée en secondes audio traitées par seconde d'inférence. Cette approche met en lumière les compromis nécessaires pour des déploiements industriels. Les premières données révèlent un écart significatif entre les performances en champ proche et en champ lointain, avec une dégradation accrue lorsque le bruit ambiant augmente. Les développeurs peuvent ainsi identifier les architectures véritablement robustes de celles qui sont sensibles aux conditions acoustiques. La plateforme est ouverte à la communauté. Les équipes peuvent y soumettre leurs modèles, qu'ils soient basés sur des architectures open source ou propriétaires, via une interface simplifiée sur Hugging Face. Un jeu de test indépendant garantit l'absence de contamination des résultats. Pour les pipelines complexes intégrant un prétraitement audio, des évaluateurs personnalisés sont acceptés après validation. Treble Technologies et Hugging Face prévoient d'étendre progressivement le benchmark pour inclure des scénarios à plusieurs interlocuteurs, le traitement par tableaux de microphones et l'annulation d'écho. L'évolution future du classement sera guidée par les retours de la communauté afin de refléter les besoins concrets du développement vocal. Cette initiative marque une étape vers une standardisation des tests en conditions réelles, encourageant la création de systèmes vocaux plus fiables pour les assistants domestiques, les salles de réunion et les appareils mobiles.