Modèle d’espace d’état à plusieurs têtes pour la reconnaissance vocale

Les modèles à espace d’état (state space models, SSM) ont récemment montré des résultats prometteurs sur des tâches de modélisation de séquences et de langage à petite échelle, rivalisant voire surpassant de nombreux approches basées sur l’attention. Dans cet article, nous proposons une architecture multi-têtes à espace d’état (MH-SSM) munie de mécanismes d’activation spéciaux, dans laquelle des têtes parallèles sont entraînées à capturer à la fois les dynamiques temporelles locales et globales dans les données séquentielles. En tant que substitution directe de l’attention multi-têtes dans les encodeurs de transformateur, ce nouveau modèle surpasse significativement le transformateur transducteur sur le corpus de reconnaissance vocale LibriSpeech. En outre, en enrichissant le bloc de transformateur avec des couches MH-SSM, que nous désignons sous le nom de Stateformer, nous atteignons des performances de pointe sur la tâche LibriSpeech, avec des taux d’erreur de mot de 1,76 % / 4,37 % sur les ensembles de développement et de 1,91 % / 4,36 % sur les ensembles de test, sans recourir à un modèle de langage externe.