Modèle Transformer-Capsule pour la détection d'intention

La reconnaissance d’intention est l’une des tâches les plus cruciales dans les systèmes de traitement du langage naturel (NLU), qui sont aujourd’hui particulièrement importants pour la conception de conversations intelligentes. Nous proposons une nouvelle approche de reconnaissance d’intention fondée sur la combinaison de l’architecture Transformer avec des réseaux de capsules. Nos résultats montrent que cette architecture outre-passe les implémentations originales de réseaux de capsules pour les NLU et atteint des performances de pointe sur des jeux de données tels qu’ATIS, AskUbuntu et WebApp.