Mot-clé Transformer : un modèle d'attention auto-associative pour la détection de mots-clés

L'architecture Transformer s'est révélée particulièrement efficace dans de nombreux domaines, notamment le traitement du langage naturel, la vision par ordinateur et la reconnaissance vocale. En détection de mots-clés, l'attention autonome a principalement été appliquée au-dessus d'encodeurs convolutionnels ou récurrents. Nous étudions diverses approches pour adapter l'architecture Transformer à la détection de mots-clés, et introduisons le Keyword Transformer (KWT), une architecture entièrement fondée sur l'attention autonome qui dépasse les performances de l'état de l'art sur plusieurs tâches, sans nécessiter de pré-entraînement ni de données supplémentaires. De manière surprenante, cette architecture simple surpasse des modèles plus complexes combinant couches convolutionnelles, récurrentes et attentives. Le KWT peut être utilisé comme substitut direct de ces modèles, établissant deux nouveaux records sur le jeu de données Google Speech Commands, avec des taux de précision respectifs de 98,6 % et 97,7 % pour les tâches à 12 et 35 mots-clés.