HyperAIHyperAI

Command Palette

Search for a command to run...

WiC-TSV : Une base d'évaluation pour la vérification du sens ciblé des mots dans leur contexte

Anna Breit Artem Revenko Kiamehr Rezaee Mohammad Taher Pilehvar Jose Camacho-Collados

Résumé

Nous présentons WiC-TSV, un nouveau benchmark d’évaluation multi-domaines pour la désambiguïsation des sens des mots. Plus précisément, nous introduisons un cadre pour la vérification du sens cible des mots dans leur contexte, dont l’originalité réside dans sa formulation comme une tâche de classification binaire, indépendante des inventaires externes de sens, ainsi que dans sa couverture étendue de divers domaines. Cela rend le jeu de données particulièrement souple pour l’évaluation d’une large variété de modèles et systèmes, à l’intérieur et entre domaines. WiC-TSV propose trois configurations d’évaluation différentes, selon les signaux d’entrée fournis au modèle. Nous établissons une performance de référence sur ce jeu de données à l’aide de modèles linguistiques d’avant-garde. Les résultats expérimentaux montrent que, bien que ces modèles puissent s’acquitter raisonnablement de la tâche, un écart subsiste entre les performances humaines et celles des machines, notamment dans les configurations hors domaine. Les données WiC-TSV sont disponibles à l’adresse suivante : https://competitions.codalab.org/competitions/23683


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp