Un Modèle Hiérarchique Structuré à Auto-Attention pour la Synthèse de Documents par Extraction (HSSAS)

Les récentes avancées dans l'architecture des réseaux de neurones et les algorithmes d'entraînement ont démontré l'efficacité de l'apprentissage de représentation. Les modèles basés sur les réseaux de neurones génèrent une meilleure représentation que les modèles traditionnels. Ils ont la capacité d'apprendre automatiquement la représentation distribuée pour les phrases et les documents. À cette fin, nous avons proposé un nouveau modèle qui aborde plusieurs problèmes qui ne sont pas suffisamment modélisés par les modèles précédemment proposés, tels que le problème de mémoire et l'intégration des connaissances sur la structure du document. Notre modèle utilise un mécanisme d'auto-attention structurée hiérarchique pour créer les plongements (embeddings) de phrases et de documents. Cette architecture reflète la structure hiérarchique du document et permet ainsi d'obtenir une meilleure représentation des caractéristiques. Le mécanisme d'attention fournit une source supplémentaire d'information pour guider l'extraction du résumé. Le nouveau modèle traite la tâche de résumé comme un problème de classification, où le modèle calcule les probabilités respectives d'appartenance des phrases au résumé. Les prédictions du modèle sont décomposées en plusieurs caractéristiques telles que le contenu informatif, la pertinence, la nouveauté et la représentation positionnelle. Le modèle proposé a été évalué sur deux ensembles de données bien connus, CNN/Daily Mail et DUC 2002. Les résultats expérimentaux montrent que notre modèle surpassent considérablement l'état actuel de l'art en extraction de résumés.