SSE-PT: 개인화된 Transformer를 통한 순차적 추천

시간 정보는 사용자 선호가 현실 세계에서 자연스럽게 변화하기 때문에 추천 문제 해결에 있어 핵심적인 역할을 한다. 최근 자연어 처리 분야에서 깊이 있는 학습 기술의 발전, 특히 다양한 주의 메커니즘(attention mechanisms)과 RNN, CNN 외에도 새로운 아키텍처의 등장으로 인해 사용자가 상호작용한 아이템들의 시간적 순서를 보다 효과적으로 활용할 수 있게 되었다. 특히 자연어 처리 분야에서 인기를 끌고 있는 Transformer 모델을 영감으로 삼아 개발된 SASRec 모델은 최첨단 성능을 달성했다. 그러나 SASRec는 원래의 Transformer 모델과 마찬가지로 본질적으로 개인화되지 않은 모델이며, 사용자별 개인화된 임베딩(embedding)을 포함하지 않는다. 이러한 한계를 극복하기 위해 우리는 개인화된 Transformer 모델인 SSE-PT(Sparse Stochastic Embedding - Personalized Transformer)를 제안한다. 이 모델은 5개의 실세계 데이터셋에서 NDCG@10 지표 기준으로 SASRec보다 약 5% 높은 성능을 기록하며 우수한 성능을 입증하였다. 또한 무작위로 선정한 사용자의 상호작용 기록을 분석한 결과, 본 모델은 해석 가능성(해석 가능성)이 뛰어나며, 각 사용자의 최근 상호작용 패턴에 더 집중함을 확인할 수 있었다. 더 나아가, 약간의 수정을 가한 SSE-PT++ 모델은 매우 긴 시퀀스 데이터를 처리할 수 있으며, 학습 속도는 유사하면서도 순위 추천 성능에서 SASRec를 능가하여 성능과 속도 사이의 균형을 효과적으로 달성한다. 본 연구의 핵심 요소는 Stochastic Shared Embeddings(SSE) 정규화 기법의 새로운 응용으로, 개인화 성능의 성공에 결정적인 역할을 한다. 코드와 데이터는 https://github.com/SSE-PT/SSE-PT 에 공개되어 있다.