Command Palette
Search for a command to run...
Modèle hiérarchique de phrases auto-adaptatif
Modèle hiérarchique de phrases auto-adaptatif
Han Zhao Zhengdong Lu Pascal Poupart
Résumé
La capacité de modéliser précisément une phrase à différents stades (par exemple, mot-phrase-sentence) joue un rôle central dans le traitement du langage naturel. Dans cette optique, nous proposons un modèle hiérarchique de phrase auto-adaptatif (AdaSent). AdaSent forme efficacement une hiérarchie de représentations, passant des mots aux phrases puis aux phrases complètes, grâce à la composition locale récursive et contrôlée par des portes de segments adjacents. Nous concevons un mécanisme compétitif (à travers des réseaux de portes) permettant aux représentations d'une même phrase d'être impliquées dans une tâche d'apprentissage spécifique (par exemple, la classification), ce qui atténue efficacement le problème d'effacement du gradient persistant dans d'autres modèles récursifs. Les analyses qualitatives et quantitatives montrent que AdaSent peut automatiquement former et sélectionner les représentations appropriées pour la tâche en cours lors de l'entraînement, offrant ainsi des performances supérieures en classification par rapport aux modèles concurrents sur 5 jeux de données de référence.