BERT pour la classification conjointe des intentions et le remplissage des slots

La classification d'intention et le remplissage de slots sont deux tâches essentielles pour la compréhension du langage naturel. Elles souffrent souvent d'un manque de données d'entraînement étiquetées par des humains à grande échelle, ce qui entraîne une faible capacité de généralisation, en particulier pour les mots rares. Récemment, un nouveau modèle de représentation linguistique, BERT (Bidirectional Encoder Representations from Transformers), a facilité l'entraînement préalable de représentations bidirectionnelles profondes sur des corpus non étiquetés à grande échelle, et après un simple ajustement fin, il a permis la création de modèles d'avant-garde pour une variété importante de tâches de traitement du langage naturel. Cependant, peu d'efforts ont été consacrés à l'exploration de BERT pour la compréhension du langage naturel. Dans cette étude, nous proposons un modèle conjoint de classification d'intention et de remplissage de slots basé sur BERT. Les résultats expérimentaux montrent que notre modèle proposé réalise des améliorations significatives en termes de précision de classification d'intention, de score F1 pour le remplissage de slots et d'exactitude sémantique au niveau des phrases sur plusieurs jeux de données benchmarks publics, par rapport aux modèles basés sur les réseaux neuronaux récurrents avec attention et aux modèles à portes de slots.