Réseaux de neurones récurrents déconnectés pour la catégorisation de texte

Le réseau de neurones récurrent (RNN) a obtenu des performances remarquables dans la catégorisation de textes. Le RNN est capable de modéliser l’ensemble de la séquence et de capturer des dépendances à long terme, mais il se montre moins efficace dans l’extraction de motifs clés. À l’inverse, le réseau de neurones convolutif (CNN) excelle dans l’extraction de caractéristiques locales et invariantes par rapport à la position. Dans cet article, nous proposons un nouveau modèle nommé réseau de neurones récurrent déconnecté (DRNN), qui intègre l’invariance de position au sein du RNN. En limitant la distance du flux d’information au sein du RNN, l’état caché à chaque étape temporelle est contraint à représenter uniquement les mots proches de la position actuelle. Le modèle proposé réalise des améliorations significatives par rapport aux modèles RNN et CNN, et atteint les meilleurs résultats sur plusieurs jeux de données standards pour la catégorisation de textes.