HyperAIHyperAI

Command Palette

Search for a command to run...

SCDE : Jeu de données de cloze de phrases avec des distracteurs de haute qualité issus d'épreuves

Xiang Kong Varun Gangal Eduard Hovy

Résumé

Nous présentons SCDE, un jeu de données conçu pour évaluer les performances des modèles computationnels via la prédiction de phrases. SCDE est un ensemble de données à trous de phrases créé par des humains, extrait d’épreuves d’anglais destinées aux écoles publiques. Notre tâche consiste à remplir plusieurs trous dans un passage à partir d’un ensemble commun de candidats, dont les distracteurs ont été soigneusement conçus par des enseignants d’anglais. Les résultats expérimentaux démontrent que cette tâche nécessite l’utilisation de contextes non locaux, au niveau du discours, au-delà du voisinage immédiat de la phrase. Les trous doivent être résolus conjointement, et s’interfèrent significativement mutuellement dans leur contexte. En outre, grâce à des analyses d’ablation, nous montrons que les distracteurs sont de haute qualité et augmentent considérablement la difficulté de la tâche. Nos expérimentations révèlent un écart important de performance entre les modèles avancés (72 %) et les humains (87 %), ce qui encourage le développement futur de modèles capables de réduire cet écart.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
SCDE : Jeu de données de cloze de phrases avec des distracteurs de haute qualité issus d'épreuves | Articles | HyperAI