지식 추적 향상을 위한 사전 훈련 기반 질문 임베딩

지식 추적(Knowledge Tracing, KT)은 학생의 과거 응답 기록을 바탕으로 그들이 질문에 올바르게 답할 수 있는지 예측하는 작업을 정의한다. 기존 연구들은 질문 정보를 효과적으로 활용하기 위해 많은 노력을 기울였지만, 질문과 기술 간에 존재하는 풍부한 고급 정보는 여전히 충분히 추출되지 못하고 있어, 이전의 방법들이 충분한 성능을 발휘하기 어려운 상황이다. 본 논문에서는 풍부한 부가 정보를 기반으로 각 질문에 대한 임베딩을 사전 훈련한 후, 얻어진 임베딩을 이용해 깊은 KT 모델을 훈련함으로써 KT 성능을 크게 향상시킬 수 있음을 보여준다. 구체적으로, 부가 정보에는 질문의 난이도와 질문과 기술 간 이분 그래프 내에 포함된 세 가지 유형의 관계가 포함된다. 질문 임베딩을 사전 훈련하기 위해, 우리는 제품 기반 신경망(Products-based Neural Networks)을 활용하여 부가 정보를 복원하는 방법을 제안한다. 그 결과, 기존의 깊은 KT 모델에 사전 훈련된 임베딩을 도입함으로써, 세 가지 일반적인 KT 데이터셋에서 최신 기술(SOTA) 기준선보다 유의미하게 우수한 성능을 달성할 수 있었다.