Réseaux Neuronaux Hybrides à Attention Hiérarchique pour la Classification de Documents

La classification de documents est une tâche complexe avec des applications importantes. Les approches basées sur l'apprentissage profond (deep learning) ont récemment attiré beaucoup d'attention pour résoudre ce problème. Malgré les progrès réalisés, les modèles proposés n'intègrent pas efficacement la connaissance de la structure des documents dans leur architecture et ne prennent pas suffisamment en compte l'importance contextuelle des mots et des phrases. Dans cet article, nous proposons une nouvelle approche combinant des réseaux neuronaux convolutifs (convolutional neural networks), des unités récurrentes à portes (gated recurrent units) et des mécanismes d'attention pour les tâches de classification de documents. La principale contribution de cette étude est l'utilisation de couches de convolution pour extraire des caractéristiques plus significatives, généralisables et abstraites grâce à une représentation hiérarchique. La méthode proposée dans cet article améliore les résultats des approches actuelles basées sur l'attention pour la classification de documents.