시퀀스 추천을 위한 자기주의 주의(self-attention)를 넘어서는 주의 깊은 인도적 편향

Transformer 기반의 순차 추천(SR) 모델은 놀라운 성과를 거두고 있다. 컴퓨터 비전 및 자연어 처리 분야에서 Transformer의 자기 주의(self-attention) 메커니즘은 히든 표현이 토큰들 사이에서 유사해지는 과도한 평활화(oversmoothing) 문제를 겪는다. 본 연구에서는 SR 분야에서 처음으로 동일한 문제가 발생함을 밝히며, 자기 주의 메커니즘이 SR 환경에서 저역통과 필터(low-pass filtering) 성질을 지닌다는 선도적인 탐구 결과를 제시한다. 이를 해결하기 위해, 우리는 새로운 방법론인 $\textbf{B}$eyond $\textbf{S}$elf-$\textbf{A}$ttention for Sequential $\textbf{Rec}$ommendation (BSARec)을 제안한다. 이 방법은 푸리에 변환(Fourier transform)을 활용하여 i) 세밀한 순차 패턴을 고려함으로써 유도적 편향(inductive bias)을 도입하고, ii) 저주파 및 고주파 정보를 통합함으로써 과도한 평활화 문제를 완화한다. 본 연구의 발견은 SR 분야에서의 중요한 진전을 보여주며, 기존 Transformer 기반 SR 모델들 간의 격차를 좁히는 데 기여할 것으로 기대된다. 제안된 접근법은 6개의 벤치마크 데이터셋을 대상으로 광범위한 실험을 통해 검증되었으며, 실험 결과는 제안 모델이 7개의 기준 모델 대비 우수한 추천 성능을 보임을 입증한다. 코드는 https://github.com/yehjin-shin/BSARec 에서 공개되어 있다.