Réseaux de neurones convolutionnels pyramidaux profonds pour la catégorisation de texte

Cet article propose une architecture de réseau de neurones convolutifs profonds (CNN) à niveau de mot, de faible complexité, destinée à la catégorisation de texte, capable de représenter efficacement les associations à longue portée présentes dans les textes. Dans la littérature, plusieurs réseaux profonds et complexes ont été proposés pour cette tâche, sous l'hypothèse d'une disponibilité de grandes quantités de données d'entraînement. Toutefois, la complexité computationnelle augmente significativement avec la profondeur des réseaux, ce qui pose des défis sérieux dans les applications pratiques. Par ailleurs, des travaux récents ont montré que des CNNs à niveau de mot peu profonds peuvent être plus précis et bien plus rapides que les architectures très profondes les plus avancées, telles que les CNNs à niveau de caractère, même dans des scénarios où de grandes quantités de données d'entraînement sont disponibles. Inspirés par ces résultats, nous avons mené une étude approfondie sur l'augmentation de la profondeur des CNNs à niveau de mot afin de capturer des représentations globales du texte, et avons identifié une architecture simple permettant d’obtenir la meilleure précision en augmentant la profondeur du réseau sans augmenter de manière significative le coût computationnel. Nous appelons cette architecture le CNN pyramidal profond. Le modèle proposé, comprenant 15 couches de poids, surpasser les meilleurs modèles précédents sur six jeux de données standards pour la classification d’opinion et la catégorisation de sujets.