Conformer : Transformer augmentée par convolution pour la reconnaissance vocale

Récemment, les modèles fondés sur les réseaux de neurones Transformer et convolutionnels (CNN) ont montré des résultats prometteurs en reconnaissance automatique de la parole (ASR), surpassant les réseaux de neurones récurrents (RNN). Les modèles Transformer se distinguent par leur capacité à capturer des interactions globales basées sur le contenu, tandis que les CNN exploitent efficacement les caractéristiques locales. Dans ce travail, nous combinons les avantages des deux approches en étudiant comment intégrer de manière efficace les CNN et les Transformers pour modéliser à la fois les dépendances locales et globales d'une séquence audio, tout en préservant une faible consommation de paramètres. À cet effet, nous proposons un nouveau modèle, nommé Conformer, qui enrichit le Transformer par des opérations convolutionnelles. Le Conformer dépasse significativement les modèles précédents basés sur les Transformers ou les CNN, atteignant des performances de pointe. Sur le benchmark largement utilisé LibriSpeech, notre modèle atteint des taux d'erreur de mot (WER) de 2,1 %/4,3 % sans modèle de langage, et de 1,9 %/3,9 % avec un modèle de langage externe, sur les ensembles de test et testother respectivement. Nous observons également des performances compétitives de 2,7 %/6,3 % avec un modèle réduit de seulement 10 millions de paramètres.