Classification supervisée et semi-supervisée de texte à l'aide de LSTM pour les plongements régionaux

Le réseau neuronal convolutif à une seule chaîne (CNN, convolutional neural network) s'est révélé efficace pour la catégorisation de texte (Johnson & Zhang, 2015). Nous le considérons comme un cas particulier d'un cadre général qui entraîne conjointement un modèle linéaire avec un générateur de caractéristiques non-linéaires composé de « plongement de région textuelle + regroupement » (text region embedding + pooling). Dans ce cadre, nous explorons une méthode plus sophistiquée de plongement de région textuelle en utilisant les Mémoires à court et long terme (LSTM, Long Short-Term Memory). Les LSTM peuvent plonger des régions textuelles de tailles variables (et potentiellement grandes), tandis que la taille des régions doit être fixe dans un CNN. Nous cherchons à utiliser les LSTM de manière efficace et performante pour cette tâche dans les contextes supervisés et semi-supervisés. Les meilleurs résultats ont été obtenus en combinant les plongements de régions sous forme de LSTM et des couches convolutives entraînées sur des données non étiquetées. Ces résultats indiquent que, pour cette tâche, les plongements de régions textuelles, capables de transmettre des concepts complexes, sont plus utiles que les plongements de mots isolés. Nous rapportons des performances dépassant les meilleurs résultats précédents sur quatre jeux de données de référence.