Xingwei Tan Mahathi Parvatham Chiara Gambi Gabriele Pergola

Résumé

L’engagement et la motivation sont des facteurs essentiels dans l’acquisition d’une langue seconde, pourtant il reste difficile de maintenir l’intérêt des apprenants dans les échanges éducatifs. Bien que des recherches antérieures aient exploré les éléments qui rendent les textes éducatifs intéressants, on connaît encore peu les caractéristiques linguistiques qui stimulent l’engagement dans les conversations. Pour combler cette lacune, nous introduisons IntrEx, le premier grand jeu de données annoté pour l’intérêt et l’intérêt attendu dans les interactions enseignant-élève. Construit à partir du corpus Teacher-Student Chatroom (TSCC), IntrEx prolonge les travaux antérieurs en intégrant des annotations au niveau de la séquence, permettant ainsi d’étudier l’engagement au-delà des échanges isolés et de capturer l’évolution de l’intérêt au cours de dialogues prolongés. Nous avons mis en œuvre un processus d’annotation rigoureux impliquant plus de 100 apprenants d’une langue seconde, en utilisant une approche de notation comparative inspirée du renforcement par feedback humain (RLHF) afin d’améliorer la cohérence des jugements. Nous examinons si les grands modèles linguistiques (LLM) peuvent prédire les jugements humains d’intérêt. Nos résultats montrent que les LLM (7B/8B paramètres) fine-tunés sur des évaluations d’intérêt surpassent des modèles plus grands et propriétaires comme GPT-4o, démontrant ainsi le potentiel des jeux de données spécialisés à modéliser l’engagement dans les contextes éducatifs. Enfin, nous analysons l’impact de facteurs linguistiques et cognitifs – tels que la concretisation, la compréhensibilité (lisible) et l’« uptake » – sur l’engagement dans les dialogues éducatifs.