SCDE : Jeu de données de cloze de phrases avec des distracteurs de haute qualité issus d'épreuves

Nous présentons SCDE, un jeu de données conçu pour évaluer les performances des modèles computationnels via la prédiction de phrases. SCDE est un ensemble de données à trous de phrases créé par des humains, extrait d’épreuves d’anglais destinées aux écoles publiques. Notre tâche consiste à remplir plusieurs trous dans un passage à partir d’un ensemble commun de candidats, dont les distracteurs ont été soigneusement conçus par des enseignants d’anglais. Les résultats expérimentaux démontrent que cette tâche nécessite l’utilisation de contextes non locaux, au niveau du discours, au-delà du voisinage immédiat de la phrase. Les trous doivent être résolus conjointement, et s’interfèrent significativement mutuellement dans leur contexte. En outre, grâce à des analyses d’ablation, nous montrons que les distracteurs sont de haute qualité et augmentent considérablement la difficulté de la tâche. Nos expérimentations révèlent un écart important de performance entre les modèles avancés (72 %) et les humains (87 %), ce qui encourage le développement futur de modèles capables de réduire cet écart.