fairseq S2T : Modélisation rapide de la reconnaissance vocale en texte avec fairseq

Nous présentons fairseq S2T, une extension de fairseq dédiée aux tâches de modélisation de type parole-vers-texte (S2T), telles que la reconnaissance automatique de parole (end-to-end) et la traduction parole-vers-texte. Elle s’inscrit dans la conception rigoureuse de fairseq en matière d’évolutivité et de modularité. Nous proposons des flux de travail complets, allant du prétraitement des données à l’entraînement du modèle, jusqu’à l’inférence hors ligne (ou en ligne). Nous implémentons des modèles de pointe basés sur des réseaux de neurones récurrents (RNN), des architectures Transformer ainsi que des modèles Conformer, et mettons à disposition des recettes d’entraînement détaillées et open source. Les modèles de traduction automatique et les modèles de langage de fairseq peuvent être intégrés de manière transparente aux workflows S2T afin de permettre l’apprentissage multi-tâches ou le transfert d’apprentissage. La documentation et les exemples de fairseq S2T sont disponibles à l’adresse suivante : https://github.com/pytorch/fairseq/tree/master/examples/speech_to_text.