Notation automatique des essais par régression contrastive par paires

L’évaluation automatisée des essais (AES, Automated Essay Scoring) consiste à prédire une note correspondant à la qualité d’un essai rédigé. La plupart des travaux existants dans le domaine de l’AES reposent sur des objectifs de régression ou des objectifs de classement, respectivement. Toutefois, ces deux approches s’avèrent hautement complémentaires. À cet effet, dans cet article, nous nous inspirons de l’apprentissage contrastif pour proposer un nouveau modèle unifié, appelé Régression Contrastive Pairwise Neurale (NPCR), dans lequel les deux objectifs sont optimisés simultanément au sein d’une seule fonction de perte. Plus précisément, nous concevons d’abord un modèle neuronal de classement par paires afin de garantir l’ordre de classement global dans une grande liste d’essais, puis nous étendons ce modèle de classement par paires pour prédire les scores relatifs entre un essai d’entrée et plusieurs essais de référence. Par ailleurs, une stratégie de vote à plusieurs échantillons est adoptée pour l’inférence. Nous évaluons notre modèle sur le jeu de données public Automated Student Assessment Prize (ASAP) en utilisant le kappa pondéré quadratique, et les résultats expérimentaux montrent que NPCR surpassent largement les méthodes antérieures, atteignant ainsi un niveau d’performance moyen de pointe pour la tâche d’AES.