WiC-TSV : Une base d'évaluation pour la vérification du sens ciblé des mots dans leur contexte

Nous présentons WiC-TSV, un nouveau benchmark d’évaluation multi-domaines pour la désambiguïsation des sens des mots. Plus précisément, nous introduisons un cadre pour la vérification du sens cible des mots dans leur contexte, dont l’originalité réside dans sa formulation comme une tâche de classification binaire, indépendante des inventaires externes de sens, ainsi que dans sa couverture étendue de divers domaines. Cela rend le jeu de données particulièrement souple pour l’évaluation d’une large variété de modèles et systèmes, à l’intérieur et entre domaines. WiC-TSV propose trois configurations d’évaluation différentes, selon les signaux d’entrée fournis au modèle. Nous établissons une performance de référence sur ce jeu de données à l’aide de modèles linguistiques d’avant-garde. Les résultats expérimentaux montrent que, bien que ces modèles puissent s’acquitter raisonnablement de la tâche, un écart subsiste entre les performances humaines et celles des machines, notamment dans les configurations hors domaine. Les données WiC-TSV sont disponibles à l’adresse suivante : https://competitions.codalab.org/competitions/23683