Mots ou caractères ? Une porte de granularité fine pour la compréhension de la lecture

Les travaux précédents combinent les représentations au niveau des mots et des caractères en utilisant la concaténation ou le pondération scalaire, ce qui est sous-optimal pour les tâches de haut niveau comme la compréhension de lecture. Nous présentons un mécanisme de porte fine-grained (fine-grained gating) permettant de combiner dynamiquement les représentations au niveau des mots et des caractères en fonction des propriétés des mots. Nous étendons également l'idée de porte fine-grained à la modélisation de l'interaction entre les questions et les paragraphes pour la compréhension de lecture. Les expériences montrent que notre approche peut améliorer les performances sur les tâches de compréhension de lecture, atteignant de nouveaux résultats d'état de l'art sur le jeu de données Children's Book Test. Pour démontrer la généralité de notre mécanisme de porte, nous montrons également des résultats améliorés sur une tâche de prédiction des tags dans les médias sociaux.