Modèle hiérarchique de phrases auto-adaptatif

La capacité de modéliser précisément une phrase à différents stades (par exemple, mot-phrase-sentence) joue un rôle central dans le traitement du langage naturel. Dans cette optique, nous proposons un modèle hiérarchique de phrase auto-adaptatif (AdaSent). AdaSent forme efficacement une hiérarchie de représentations, passant des mots aux phrases puis aux phrases complètes, grâce à la composition locale récursive et contrôlée par des portes de segments adjacents. Nous concevons un mécanisme compétitif (à travers des réseaux de portes) permettant aux représentations d'une même phrase d'être impliquées dans une tâche d'apprentissage spécifique (par exemple, la classification), ce qui atténue efficacement le problème d'effacement du gradient persistant dans d'autres modèles récursifs. Les analyses qualitatives et quantitatives montrent que AdaSent peut automatiquement former et sélectionner les représentations appropriées pour la tâche en cours lors de l'entraînement, offrant ainsi des performances supérieures en classification par rapport aux modèles concurrents sur 5 jeux de données de référence.