Phraseformer : Extraction multimodale de phrases clés à l’aide de Transformer et d’embedding graphique

Contexte : L’extraction de mots-clés est un sujet de recherche largement étudié dans le domaine du traitement du langage naturel. Les mots-clés sont des termes qui décrivent l'information la plus pertinente d'un document. Le principal défi auquel les chercheurs sont confrontés réside dans l’extraction efficace et précise des mots-clés principaux à partir d’un document. Toutefois, bien que les approches précédentes d’extraction de mots-clés aient exploité à la fois les caractéristiques textuelles et graphiques, il manque encore des modèles capables d’apprendre et de combiner de manière optimale ces deux types de caractéristiques.Méthodes : Dans cet article, nous proposons une méthode multimodale d’extraction de phrases-clés, nommée Phraseformer, basée sur les techniques de transformer et d’embedding de graphes. Dans Phraseformer, chaque candidat à mot-clé est représenté par un vecteur obtenu par concaténation des représentations issues de l’apprentissage textuel et structurel. Cette approche tire parti des avancées récentes telles que BERT et ExEm afin de préserver efficacement les deux types de représentations. De plus, Phraseformer traite la tâche d’extraction de phrases-clés comme un problème d’étiquetage de séquence résolu par une tâche de classification.Résultats : Nous évaluons la performance de Phraseformer sur trois jeux de données — Inspec, SemEval2010 et SemEval2017 — en utilisant le score F1. Nous analysons également les performances de différents classificateurs appliqués à la méthode Phraseformer sur le jeu de données Inspec. Les résultats expérimentaux démontrent l’efficacité de Phraseformer sur les trois jeux de données utilisés. En outre, le classificateur Random Forest obtient le meilleur score F1 parmi tous les classificateurs testés.Conclusion : Étant donné que la combinaison de BERT et d’ExEm est plus significative et permet une meilleure représentation sémantique des mots, Phraseformer surpasse significativement les méthodes monocanales.