Amélioration de la modélisation des phrases à l'aide d'un LSTM bidirectionnel suffixe

Les réseaux de neurones récurrents (RNR) sont devenus omniprésents dans la représentation des données séquentielles, en particulier les données textuelles dans le traitement du langage naturel (NLP). Plus précisément, les LSTM bidirectionnels (BiLSTM) sont au cœur de plusieurs modèles neuronaux atteignant des performances de pointe dans une grande variété de tâches en NLP. Cependant, les BiLSTM sont connus pour souffrir d'un biais séquentiel – la représentation contextuelle d'un jeton est fortement influencée par les jetons proches de lui dans une phrase. Nous proposons une amélioration générale et efficace du modèle BiLSTM qui encode chaque suffixe et préfixe d'une séquence de jetons dans les deux directions, avant et arrière. Nous appelons notre modèle Suffix Bidirectional LSTM ou SuBiLSTM. Cela introduit un biais alternatif qui favorise les dépendances à longue portée. Nous appliquons les SuBiLSTMs à plusieurs tâches nécessitant la modélisation des phrases. Nous montrons que l'utilisation de SuBiLSTM au lieu de BiLSTM dans les modèles existants entraîne des améliorations des performances dans l'apprentissage des représentations générales des phrases, la classification du texte, l'entailment textuel et la détection de paraphrases. En utilisant SuBiLSTM, nous obtenons de nouveaux résultats de pointe pour la classification fine-grained du sentiment et la classification des questions.