Identification des tâches, des ensembles de données, des métriques d'évaluation et des scores numériques pour la construction de classements scientifiques

Bien que l'introduction rapide de nouvelles tâches et de nouveaux ensembles de données contribue à stimuler une recherche active au sein d'une communauté dans des directions intéressantes, suivre l'abondance des activités de recherche dans différentes domaines et sur différents ensembles de données risque de devenir de plus en plus difficile. La communauté pourrait grandement bénéficier d'un système automatique capable de résumer les résultats scientifiques, par exemple sous la forme d'un classement. Dans cet article, nous construisons deux ensembles de données et développons un cadre (TDMS-IE) visant à extraire automatiquement les tâches, les ensembles de données, les métriques et les scores à partir d'articles en traitement du langage naturel (NLP), afin de construire automatiquement des classements. Les expériences montrent que notre modèle dépasse plusieurs modèles de base avec une marge considérable. Notre modèle constitue une première étape vers la construction automatique de classements, par exemple dans le domaine du traitement du langage naturel (NLP).