Xingwei Tan Mahathi Parvatham Chiara Gambi Gabriele Pergola

Abstract

Engagement und Motivation sind entscheidend für die Erwerbung einer zweiten Sprache, dennoch bleibt die Aufrechterhaltung des Interesses der Lernenden in pädagogischen Gesprächen eine Herausforderung. Während frühere Forschungsarbeiten untersucht haben, was pädagogische Texte interessant macht, ist bisher wenig darüber bekannt, welche sprachlichen Merkmale die Engagement-Dynamik in Gesprächen beeinflussen. Um diese Lücke zu schließen, stellen wir IntrEx vor – den ersten großen Datensatz, der für Interessantheit und erwartete Interessantheit in Lehrer-Schüler-Interaktionen annotiert ist. Aufbauend auf dem Teacher-Student Chatroom Corpus (TSCC) erweitert IntrEx vorangegangene Arbeiten durch sequenzbasierte Annotationen, was die Untersuchung von Engagement über einzelne Äußerungen hinaus ermöglicht und es erlaubt, die Entwicklung von Interesse über längere Dialogverläufe hinweg zu erfassen. Wir setzen einen rigorosen Annotierungsprozess mit über 100 Lernenden einer zweiten Sprache ein, wobei wir einen vergleichsbasierten Bewertungsansatz verwenden, der sich an der menschlichen Rückmeldung im Rahmen der Verstärkungslernverfahren (Reinforcement Learning from Human Feedback, RLHF) orientiert, um die Übereinstimmung der Annotierungen zu erhöhen. Wir untersuchen, ob große Sprachmodelle (Large Language Models, LLMs) menschliche Urteile zur Interessantheit vorhersagen können. Dabei zeigen sich, dass LLMs mit 7B/8B Parametern, die auf Interessantheitsbewertungen fine-tuned wurden, größere proprietäre Modelle wie GPT-4o übertrumpfen und so das Potenzial spezialisierter Datensätze zur Modellierung von Engagement in pädagogischen Kontexten unterstreichen. Abschließend analysieren wir, wie sprachliche und kognitive Faktoren – wie Konkretheit, Verständlichkeit (Lesbarkeit) und Aufnahme (Uptake) – das Engagement in pädagogischen Dialogen beeinflussen.