Zu einer angemessenen Berechnung von Query, Key und Value für das Wissensverfolgung

Wissensverfolgung, also die Modellierung des Wissens eines Lernenden anhand von Lernaktivitäten, ist ein umfassend untersuchtes Problem im Bereich der computergestützten Bildung. Obwohl Modelle mit Aufmerksamkeitsmechanismus traditionelle Ansätze wie die bayessche Wissensverfolgung und kollaboratives Filtern übertrumpft haben, weisen sie zwei wesentliche Einschränkungen auf. Erstens basieren diese Modelle auf flachen Aufmerksamkeits-Schichten und können komplexe Beziehungen zwischen Übungen und Antworten über die Zeit nicht ausreichend erfassen. Zweitens wurden verschiedene Kombinationen von Abfragen, Schlüsseln und Werten für die Self-Attention-Schicht im Kontext der Wissensverfolgung bisher nicht ausreichend erforscht. Die übliche Praxis, Übungen und Interaktionen (Übung-Antwort-Paare) jeweils als Abfragen und Schlüssel/Werte zu verwenden, ist empirisch nicht hinreichend gestützt. In diesem Artikel stellen wir ein neuartiges, auf Transformer basierendes Modell für die Wissensverfolgung vor: SAINT (Separated Self-AttentIve Neural Knowledge Tracing). SAINT verfügt über eine Encoder-Decoder-Architektur, bei der die Embedding-Sequenzen von Übungen und Antworten jeweils separat den Encoder und den Decoder betreten, was es ermöglicht, mehrfach Aufmerksamkeits-Schichten zu stapeln. Sofern uns bekannt ist, handelt es sich hierbei um die erste Arbeit, die ein Encoder-Decoder-Modell für die Wissensverfolgung vorschlägt, das tiefgehende, getrennte Self-Attention-Schichten sowohl für Übungen als auch für Antworten einsetzt. Die empirischen Evaluierungen an einem großskaligen Datensatz für die Wissensverfolgung zeigen, dass SAINT die derzeit beste Leistung erzielt, wobei die AUC um 1,8 Prozentpunkte gegenüber den aktuellen State-of-the-Art-Modellen verbessert wird.