Les Modèles Basés sur les Embeddings de Mots Simples et les Mécanismes de Pooling Associés Méritent Plus d'Attention

De nombreuses architectures d'apprentissage profond ont été proposées pour modéliser la compositionnalité dans les séquences de texte, nécessitant un nombre considérable de paramètres et des calculs coûteux. Cependant, il n'y a pas eu d'évaluation rigoureuse concernant l'apport des fonctions compositionnelles sophistiquées. Dans cet article, nous menons une étude comparative détaillée entre les Modèles Basés sur les Plongements de Mots Simples (SWEMs), composés d'opérations de regroupement sans paramètre, par rapport aux modèles RNN/CNN basés sur les plongements de mots. De manière surprenante, les SWEMs montrent des performances comparables ou même supérieures dans la majorité des cas examinés. Sur la base de cette compréhension, nous proposons deux stratégies de regroupement supplémentaires sur les plongements de mots appris : (i) une opération de max-pooling pour améliorer l'interprétabilité ; et (ii) une opération de regroupement hiérarchique, qui préserve l'information spatiale (n-grammes) au sein des séquences de texte. Nous présentons des expériences sur 17 jeux de données couvrant trois tâches : (i) classification de documents (longs) ; (ii) correspondance de séquences textuelles ; et (iii) tâches sur des textes courts, incluant la classification et l'étiquetage. Le code source et les jeux de données peuvent être obtenus à partir du lien suivant : https://github.com/dinghanshen/SWEM.