Aperçu de la tâche partagée SV-Ident 2022 sur l'identification des variables d'enquête dans les publications en sciences sociales

Dans cet article, nous présentons un aperçu de la tâche partagée SV-Ident, qui fait partie du 3e Atelier sur le Traitement des Documents Scientifiques (SDP) lors de la conférence COLING 2022. Dans cette tâche partagée, les participants ont reçu une phrase et un vocabulaire de variables, et leur mission était d'identifier les variables mentionnées, s'il y en avait, dans chaque phrase extraite de documents scientifiques en texte intégral. Deux équipes ont effectué un total de 9 soumissions au classement de la tâche partagée. Bien que aucune des équipes n'ait amélioré les systèmes de référence, nous tirons néanmoins des enseignements de leurs soumissions. De plus, nous fournissons une évaluation détaillée. Les données et les systèmes de référence pour notre tâche partagée sont librement accessibles à l'adresse suivante : https://github.com/vadis-project/sv-ident