Open TTS Leaderboard : benchmark fiable des TTS open-source
Face à l'explosion du nombre de modèles open source de synthèse vocale, disponibles sur plus de 8 000 instances sur Hugging Face, les méthodes d'évaluation peinent à suivre. Les classements actuels reposent principalement sur des votes humains et des scores de préférence, une approche lente, inconsistante et désavantageant les modèles gratuits au profit des solutions commerciales. Pour remédier à cette fragmentation, l'Open TTS Leaderboard a été développé. Il propose une évaluation objective, scalable et centrée sur les performances réelles. Au lieu de s'appuyer uniquement sur des tests subjectifs, ce nouveau classement mesure trois axes complémentaires. L'intelligibilité est évaluée via le taux d'erreur sur mots ou caractères, en utilisant le modèle de reconnaissance automatique Qwen3. La vitesse de génération est quantifiée par un facteur de temps réel inverse pour les inférences par lots, et par le temps avant la première émission audio pour le streaming, le tout testé sur GPU H200 et CPU. Enfin, la similarité vocale est mesurée par la comparaison des embeddings de locuteurs WavLM, permettant de vérifier si le modèle conserve bien l'identité de la voix de référence lors du clonage vocal. Cette approche réduit drastiquement le temps d'évaluation, passant de plusieurs semaines à quelques heures. Le classement prend en charge plusieurs langues, y compris le chinois, le japonais et le coréen, en adaptant les métriques selon l'écriture. Des visualisations aident les chercheurs à identifier les meilleurs compromis entre précision, vitesse de calcul et taille du modèle. Des architectures comme Kokoro-82M, Supertonic-3 et s2-pro se distinguent en anglais, tandis qu'OmniVoice et Fun-CosyVoice3 dominent le multilingue. Pour les applications interactives, kyutai/pocket-tts se démarque grâce à son faible délai de latence sur les deux plateformes matérielles. L'initiative ne cherche pas à remplacer le jugement humain, reconnu comme la référence ultime pour la naturalité et l'expressivité. Un onglet dédié permet de comparer les sorties audio et de voter pour ses préférences, les résultats alimentant progressivement le classement. Pour garantir la fiabilité des avis, une connexion à un compte Hugging Face est requise. L'objectif final est de créer un écosystème d'évaluation évolutif et transparent. Les scripts seront prochainement ouverts, invitant la communauté à proposer de nouvelles métriques et bases de test. Cette initiative marque un pas vers une standardisation des benchmarks vocaux, permettant aux développeurs open source de mesurer concrètement leurs avancées face aux solutions propriétaires.
