지식 추적을 위한 적절한 쿼리, 키, 그리고 값 계산 방향

지식 추적은 학습 활동을 통해 학습자의 지식 상태를 모델링하는 문제로, 컴퓨터 지원 교육 분야에서 광범위하게 연구되어온 주제이다. 주목성(attention) 메커니즘을 도입한 모델들은 베이지안 지식 추적 및 협업 필터링과 같은 전통적 접근 방식을 넘어섰지만, 두 가지 공통적인 한계를 가지고 있다. 첫째, 이러한 모델들은 얕은 주목성 계층에 의존하여 시간에 따라 연습 문제와 응답 간의 복잡한 관계를 포착하지 못한다. 둘째, 자기 주목성(self-attention) 계층에서 쿼리(query), 키(key), 값(value)의 다양한 조합이 지식 추적에 적용되는 방식에 대한 체계적인 탐색이 부족하다. 일반적으로 연습 문제와 상호작용(연습-응답 쌍)을 각각 쿼리와 키/값으로 사용하는 방식은 실험적 근거가 부족하다. 본 논문에서는 지식 추적을 위한 새로운 트랜스포머 기반 모델인 SAINT(Separated Self-AttentIve Neural Knowledge Tracing)을 제안한다. SAINT는 인코더-디코더 구조를 갖추고 있으며, 연습 문제와 응답의 임베딩 시퀀스가 각각 인코더와 디코더에 별도로 입력되어, 주목성 계층을 다수 쌓아올릴 수 있도록 설계되었다. 본 연구가 최초로 지식 추적에 대해 연습 문제와 응답을 별도로 깊이 있는 자기 주목성 계층에 적용하는 인코더-디코더 모델을 제안한 것으로 확인된다. 대규모 지식 추적 데이터셋에 대한 실증 평가 결과, SAINT는 현재 최고 성능 모델 대비 AUC에서 1.8% 향상된 최신 기술 수준의 성능을 달성하였다.