Le nombre de systèmes accessibles librement pour la reconnaissance automatique de la parole (ASR) basés sur les réseaux neuronaux augmente de manière continue, accompagné d’une fiabilité croissante des prédictions. Toutefois, l’évaluation des modèles entraînés repose généralement exclusivement sur des métriques statistiques telles que le WER (Word Error Rate) ou le CER (Character Error Rate), qui ne fournissent aucune information sur la nature ni sur l’impact des erreurs commises lors de la génération de transcriptions à partir d’entrées vocales. Ce travail présente une sélection d’architectures de modèles ASR préentraînées sur la langue allemande, et les évalue sur une benchmark comprenant divers jeux de données de test. Il identifie les erreurs de prédiction communes entre différentes architectures, les classe selon des catégories, puis traque les sources de ces erreurs par catégorie jusqu’aux données d’entraînement ainsi qu’à d’autres origines. Enfin, il propose des solutions visant à concevoir des jeux de données d’entraînement de meilleure qualité et à développer des systèmes ASR plus robustes.