知識追跡における適切なクエリ、キー、値の計算へ向けて

知識追跡（Knowledge Tracing）とは、学習活動を通じて学生の知識状態をモデル化する問題であり、コンピュータ支援教育（Computer-Aided Education）分野で広く研究されている。従来のベイジアン知識追跡や協調フィルタリングといった手法に比べ、アテンション機構を備えたモデルは優れた性能を発揮しているが、依然として二つの制約を抱えている。第一に、これらのモデルは浅いアテンション層に依存しており、時間経過に伴う問題（エクササイズ）と回答の間の複雑な関係を十分に捉えられていない。第二に、自己アテンション層におけるクエリ（query）、キー（key）、バリュー（value）の組み合わせについて、知識追跡の文脈で十分な探索が行われていない。一般的に、エクササイズと相互作用（エクササイズ-回答ペア）をそれぞれクエリおよびキー／バリューとして使用する手法は、実証的な根拠が乏しい。本論文では、知識追跡に向けた新たなTransformerベースのモデル「SAINT（Separated Self-AttentIve Neural Knowledge Tracing）」を提案する。SAINTはエンコーダ・デコーダ構造を採用しており、エクササイズと回答の埋め込み系列がそれぞれエンコーダとデコーダに独立して入力されるため、複数段のアテンション層を積み重ねることが可能となる。本研究において、エクササイズと回答を別々に深層自己アテンション層に適用するエンコーダ・デコーダモデルを知識追跡に導入したのは、知られている限り初めてである。大規模な知識追跡データセットを用いた実証評価の結果、SAINTは現在の最先端モデルと比較してAUCスコアを1.8%向上させ、知識追跡分野における最先端の性能を達成した。