Vers un calcul approprié de requête, de clé et de valeur pour le traçage des connaissances

Le suivi des connaissances, c’est-à-dire la modélisation de l’état de connaissance d’un étudiant à travers ses activités d’apprentissage, est un problème largement étudié dans le domaine de l’éducation assistée par ordinateur. Bien que les modèles intégrant un mécanisme d’attention aient surpassé les approches traditionnelles telles que le suivi bayésien des connaissances (Bayesian Knowledge Tracing) ou le filtrage collaboratif, ils présentent deux limitations majeures. Premièrement, ces modèles reposent sur des couches d’attention superficielles, ce qui limite leur capacité à capturer des relations complexes entre les exercices et les réponses au fil du temps. Deuxièmement, les différentes combinaisons possibles de requêtes, clés et valeurs dans la couche d’attention auto-attentive pour le suivi des connaissances n’ont pas été suffisamment explorées. La pratique courante, qui consiste à utiliser les exercices et les interactions (paires exercice-réponse) comme requêtes et clés/valeurs respectivement, manque de fondement empirique. Dans cet article, nous proposons un nouveau modèle basé sur le Transformer pour le suivi des connaissances, appelé SAINT : Separated Self-AttentIve Neural Knowledge Tracing. SAINT adopte une architecture encodeur-décodeur où les séquences d’embeddings d’exercices et de réponses entrent séparément dans l’encodeur et le décodeur, permettant ainsi d’empiler plusieurs couches d’attention. À notre connaissance, il s’agit du premier travail à proposer un modèle encodeur-décodeur pour le suivi des connaissances qui applique des couches d’attention auto-attentive profondes de manière séparée aux exercices et aux réponses. Les évaluations empiriques menées sur un grand jeu de données de suivi des connaissances montrent que SAINT atteint une performance de pointe dans ce domaine, avec une amélioration de 1,8 % en termes d’AUC par rapport aux modèles actuellement les plus performants.