面向知识追踪的恰当查询、键与值计算

知识追踪（Knowledge Tracing）是指通过学习行为建模学生知识状态的问题，是计算机辅助教育领域中被广泛研究的核心课题。尽管带有注意力机制的模型已超越传统的贝叶斯知识追踪（Bayesian Knowledge Tracing）和协同过滤等方法，但现有模型仍存在两个主要局限：其一，这些模型依赖于浅层注意力结构，难以捕捉练习题与作答行为随时间演变的复杂关联；其二，对于自注意力层中查询（query）、键（key）与值（value）的不同组合方式在知识追踪任务中的应用尚未得到充分探索。目前普遍采用练习题与交互行为（即练习-作答对）分别作为查询与键/值的做法，缺乏充分的实证支持。本文提出一种基于Transformer架构的新模型——SAINT：Separated Self-AttentIve Neural Knowledge Tracing。SAINT采用编码器-解码器结构，将练习题嵌入序列与作答行为嵌入序列分别输入编码器与解码器，从而支持多层注意力机制的堆叠。据我们所知，这是首个将深层自注意力机制分别应用于练习题与作答行为的编码器-解码器型知识追踪模型。在大规模知识追踪数据集上的实证评估表明，SAINT在知识追踪任务中达到了当前最优性能，相较于现有最先进模型，AUC指标提升了1.8%。