HyperAIHyperAI

Command Palette

Search for a command to run...

Benchmark ASR bilingue

ElevenLabs a publié une étude évaluant la capacité des systèmes de reconnaissance automatique de la parole à traiter les discours code-switchés, c'est-à-dire les échanges où les locuteurs bilingues basculent naturellement d'une langue à l'autre. Face à la demande des entreprises pour supporter des clients multilingues, cette recherche mesure l'impact réel du mélange linguistique sur la précision des transcriptions et des assistants vocaux. La méthodologie s'appuie sur un jeu de données de près de mille enregistrements audio, couvrant quatre paires linguistiques prioritaires : espagnol-anglais, français-anglais, français canadien-anglais et allemand-anglais. Les énoncés, centrés sur les ressources humaines et le support technique, ont été générés via des modèles de langage, synthétisés acoustiquement et validés par des linguistes natifs. L'évaluation repose sur trois indicateurs : le taux d'erreur de mots, le taux d'erreur sémantique et le taux d'erreur de réponse. Ces mesures permettent de vérifier à la fois la fidélité textuelle, la préservation du sens et la fiabilité pour les étapes automatisées suivantes. Sept systèmes ont été testés. Les résultats distinguent clairement ElevenLabs Scribe V2, Gemini 3 Flash et AssemblyAI Universal 3-Pro comme les plus performants. Ces modèles affichent les meilleurs scores et subissent le moindre déclin lors des changements de langue. À l'inverse, Whisper Large V3 Turbo enregistre des écarts importants, principalement parce qu'il traduit systématiquement le discours en anglais plutôt que de le transcrire fidèlement. Deepgram Nova-3 se révèle également fragile, présentant un faible taux d'erreur textuelle mais des scores désastreux en compréhension et en réponse aux requêtes techniques. L'analyse révèle que le mélange linguistique n'augmente pas uniformément la difficulté. Les meilleurs systèmes ne perdent que quelques points par rapport à leur performance monolingue, ce qui indique une robustesse croissante. En revanche, les modèles moins affinés subissent une dégradation marquée. L'étude précise que la fréquence des changements linguistiques multiplie les risques d'erreur, tandis qu'une forte densité de mots étrangers amplifie leur gravité. De manière surprenante, les fautes ne se concentrent pas aux points de bascule, mais touchent préférentiellement les segments anglais, probablement en raison de termes techniques ou d'une adaptation contextuelle plus complexe. Cette recherche confirme que les assistants vocaux peuvent désormais gérer naturellement les interactions bilingues, à condition de sélectionner des outils adaptés à leur audience spécifique. La variation des performances selon les paires de langues souligne l'importance de tests ciblés avant tout déploiement. Pour les services clients modernes, le mélange des langues n'est plus un obstacle technique, mais un paramètre opérationnel maîtrisé par les solutions de pointe.

Liens associés

Benchmark ASR bilingue | Articles tendance | HyperAI