AutoInt: 자동 특성 상호작용 학습을 위한 자기 주의 신경망

클릭률(CTR, Click-through rate) 예측은 사용자가 광고나 항목을 클릭할 확률을 예측하는 것을 목표로 하며, 온라인 광고 및 추천 시스템과 같은 많은 온라인 응용 프로그램에서 중요한 역할을 합니다. 이 문제는 (1) 입력 특성(예: 사용자 ID, 사용자 나이, 항목 ID, 항목 카테고리)이 일반적으로 희소하고 고차원적이며, (2) 효과적인 예측은 도메인 전문가들이 수작업으로 생성하는 것이 매우 시간이 소요되고 열거하기 어려운 고차 조합 특성(\textit{즉,} 교차 특성)에 의존한다는 점에서 매우 어렵습니다. 따라서 희소하고 고차원적인 원시 특성의 저차원 표현과 그 의미 있는 조합을 찾는 데 많은 노력이 기울여져 왔습니다. 본 논문에서는 입력 특성의 고차 상호작용을 자동으로 학습하는 효과적이고 효율적인 방법인 \emph{AutoInt}를 제안합니다. 제안된 알고리즘은 매우 일반적이어서 수치형 및 범주형 입력 특성 모두에 적용될 수 있습니다. 구체적으로, 수치형 및 범주형 특성을 동일한 저차원 공간으로 매핑합니다. 이후에 잔여 연결(residual connections)을 가진 다중 헤드 자기 주의(multi-head self-attentive) 신경망을 제안하여 저차원 공간에서 특성 상호작용을 명시적으로 모델링합니다. 다중 헤드 자기 주의 신경망의 다양한 층을 통해 입력 특성의 다양한 차수의 조합이 모델링될 수 있습니다. 전체 모델은 대규모 원시 데이터를 단계별(end-to-end)로 효율적으로 적합시킬 수 있습니다. 네 개의 실제 데이터셋에 대한 실험 결과는 제안된 접근 방식이 예측 성능 면에서 기존 최신 접근 방식들을 능가하며 좋은 설명력을 제공함을 보여줍니다. 코드는 다음 URL에서 확인 가능합니다: \url{https://github.com/DeepGraphLearning/RecommenderSystems}.