HyperAIHyperAI
il y a 2 mois

Génération de réponses dialogiques conditionnées sémantiquement par une attention hiérarchique désentrelacée

Wenhu Chen; Jianshu Chen; Pengda Qin; Xifeng Yan; William Yang Wang
Génération de réponses dialogiques conditionnées sémantiquement par une attention hiérarchique désentrelacée
Résumé

La génération de réponses neuronales contrôlées sémantiquement dans des domaines limités a obtenu d'excellents résultats. Cependant, l'extension à des scénarios à grande échelle et multi-domaines s'est avérée difficile en raison de la croissance exponentielle des combinaisons possibles d'entrées sémantiques avec le nombre de domaines. Pour atténuer ce problème de scalabilité, nous exploitons la structure des actes de dialogue pour construire un graphe hiérarchique à plusieurs couches, où chaque acte est représenté par une route allant de la racine aux feuilles du graphe. Ensuite, nous intégrons cette structure de graphe comme biais inductif pour construire un réseau d'auto-attention hiérarchique et désentrelacé, où nous désentrelaçons les têtes d'attention pour modéliser les nœuds désignés sur le graphe des actes de dialogue. En activant différentes têtes (désentrelacées) à chaque couche, de nombreuses sémantiques combinatoires d'actes de dialogue peuvent être modélisées pour contrôler la génération de réponses neuronales. Sur le jeu de données Multi-Domain-WOZ à grande échelle, notre modèle peut apporter une amélioration significative par rapport aux méthodes de base selon diverses métriques d'évaluation automatique et humaine.

Génération de réponses dialogiques conditionnées sémantiquement par une attention hiérarchique désentrelacée | Articles de recherche récents | HyperAI