Classification de texte améliorée par l'intégration de LSTM bidirectionnelle avec un max pooling bidimensionnel

Le Réseau de Neurones Récursif (RNN) est l'une des architectures les plus populaires utilisées dans les tâches de Traitement du Langage Naturel (NLP), en raison de sa structure récursive qui convient très bien au traitement de texte de longueur variable. Le RNN peut utiliser des représentations distribuées de mots en convertissant d'abord les jetons composant chaque texte en vecteurs, formant ainsi une matrice. Cette matrice comprend deux dimensions : la dimension temporelle et la dimension du vecteur caractéristique. La plupart des modèles existants utilisent généralement une opération de max pooling unidimensionnelle (1D) ou une opération basée sur l'attention uniquement sur la dimension temporelle pour obtenir un vecteur de longueur fixe. Cependant, les caractéristiques sur la dimension du vecteur caractéristique ne sont pas mutuellement indépendantes, et appliquer simplement une opération de max pooling 1D sur la dimension temporelle indépendamment peut détruire la structure de la représentation caractéristique. D'autre part, l'application d'une opération de max pooling bidimensionnelle (2D) sur les deux dimensions peut échantillonner des caractéristiques plus significatives pour les tâches de modélisation séquentielle. Pour intégrer les caractéristiques des deux dimensions de la matrice, cet article explore l'application d'une opération de max pooling 2D afin d'obtenir une représentation de longueur fixe du texte. Cet article utilise également des convolutions 2D pour échantillonner des informations plus pertinentes de la matrice. Des expériences ont été menées sur six tâches de classification textuelle, incluant l'analyse des sentiments, la classification des questions, la classification subjective et la classification des groupes de discussion. Comparativement aux modèles les plus avancés actuellement disponibles, les modèles proposés obtiennent d'excellents résultats sur 4 des 6 tâches. Plus précisément, l'un des modèles proposés atteint la meilleure précision sur les tâches de classification binaire et à grains fins du Stanford Sentiment Treebank.