BERT4Rec: 트랜스포머의 양방향 인코더 표현을 활용한 순차적 추천

사용자의 역동적이고 진화하는 선호도를 그들의 과거 행동에서 모델링하는 것은 추천 시스템에 있어 도전적이면서도 중요한 문제입니다. 이전 방법들은 순환 신경망(예: 재귀 신경망(Recurrent Neural Network))을 사용하여 사용자의 과거 상호작용을 왼쪽에서 오른쪽으로 인코딩하여 숨겨진 표현을 생성하고 추천을 수행하였습니다. 이러한 방법들이 만족할 만한 결과를 달성하였지만, 종종 실제와 항상 일치하지 않는 엄격하게 정렬된 시퀀스를 가정합니다. 우리는 이러한 왼쪽에서 오른쪽으로 단방향 아키텍처가 역사적 시퀀스 표현의 능력을 제한한다고 주장합니다. 이를 위해 양방향 트랜스포머 인코더 표현(Bidirectional Encoder Representations from Transformers for Sequential Recommendation, BERT4Rec)을 소개합니다. 그러나 깊은 양방향 모델에서 왼쪽과 오른쪽 컨텍스트를 동시에 조건부로 설정하면 각 항목이 간접적으로 '타겟 항목을 볼 수' 있게 되어 훈련이 자명해질 수 있습니다. 이 문제를 해결하기 위해 클로즈 작업(Cloze task)을 사용하여 양방향 모델을 훈련시키는데, 이는 시퀀스 내의 마스크된 항목들을 왼쪽과 오른쪽 컨텍스트를 동시에 고려하여 예측하는 것입니다. 시퀀스 내 각 위치에서 다음 항목을 예측하는 것과 비교할 때, 클로즈 작업은 더 많은 샘플을 생성하여 더 강력한 양방향 모델을 훈련시킬 수 있습니다. 네 가지 벤치마크 데이터셋에 대한 광범위한 실험 결과, 우리의 모델이 다양한 최신 순차적 모델들보다 지속적으로 우수한 성능을 보임을 확인하였습니다.