HyperAIHyperAI

Command Palette

Search for a command to run...

Mot-clé Transformer : un modèle d'attention auto-associative pour la détection de mots-clés

Axel Berg Mark O&#39 Connor Miguel Tairum Cruz

Résumé

L'architecture Transformer s'est révélée particulièrement efficace dans de nombreux domaines, notamment le traitement du langage naturel, la vision par ordinateur et la reconnaissance vocale. En détection de mots-clés, l'attention autonome a principalement été appliquée au-dessus d'encodeurs convolutionnels ou récurrents. Nous étudions diverses approches pour adapter l'architecture Transformer à la détection de mots-clés, et introduisons le Keyword Transformer (KWT), une architecture entièrement fondée sur l'attention autonome qui dépasse les performances de l'état de l'art sur plusieurs tâches, sans nécessiter de pré-entraînement ni de données supplémentaires. De manière surprenante, cette architecture simple surpasse des modèles plus complexes combinant couches convolutionnelles, récurrentes et attentives. Le KWT peut être utilisé comme substitut direct de ces modèles, établissant deux nouveaux records sur le jeu de données Google Speech Commands, avec des taux de précision respectifs de 98,6 % et 97,7 % pour les tâches à 12 et 35 mots-clés.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp