SPGISpeech : 5 000 heures d'audio financier transcrit pour une reconnaissance vocale bout-en-bout entièrement formatée

Dans la tâche d’apprentissage automatique de reconnaissance vocale en anglais (STT), les modèles acoustiques sont traditionnellement entraînés sur des caractères latins en minuscules, et toute orthographe nécessaire (comme la majuscule, la ponctuation ou la normalisation des mots non standards) est ajoutée par des modèles de post-traitement séparés. Cette approche ajoute de la complexité et limite les performances, car de nombreuses tâches de formatage bénéficient d’informations sémantiques présentes dans le signal acoustique mais absentes de la transcription. Nous proposons ici une nouvelle tâche STT : une transcription neurale end-to-end avec des étiquettes cibles complètement formatées. Nous présentons des modèles de base basés sur le Conformer, entraînés sur un corpus de 5 000 heures d’appels d’exploitation professionnellement transcrits, atteignant un taux d’erreur de caractères (CER) de 1,7. À titre de contribution à la communauté de recherche en STT, nous mettons gratuitement à disposition ce corpus à usage non commercial à l’adresse suivante : https://datasets.kensho.com/datasets/scribe.