제품 기반 신경망 모델을 이용한 사용자 반응 예측

사용자 반응(클릭 및 전환 등)을 예측하는 것은 매우 중요하며, 추천 시스템, 웹 검색, 온라인 광고 등 많은 웹 애플리케이션에서 활용되고 있습니다. 이러한 애플리케이션의 데이터는 대부분 범주형이며 여러 필드를 포함하고 있으며, 일반적인 표현 방법은 원-핫 인코딩(one-hot encoding)을 통해 고차원 희소 이진 특성 표현으로 변환하는 것입니다. 극단적인 희소성에 직면할 때, 전통적인 모델은 데이터에서 얕은 패턴(즉, 저차원 특성 조합)을 추출하는 능력이 제한될 수 있습니다. 한편, 딥 뉴럴 네트워크와 같은 딥 모델은 거대한 특성 공간 때문에 고차원 입력에 직접 적용할 수 없습니다. 본 논문에서는 범주형 데이터의 분산 표현을 학습하기 위한 임베딩 레이어(embedding layer), 필드 간 범주 간의 상호작용 패턴을 포착하기 위한 곱셈 레이어(product layer), 그리고 고차원 특성 상호작용을 탐색하기 위한 완전 연결 레이어(fully connected layers)를 갖춘 제품 기반 신경망(Product-based Neural Networks, PNN)을 제안합니다. 두 개의 대규모 실제 광고 클릭 데이터셋에 대한 실험 결과는 PNN이 다양한 평가 지표에서 최신 모델들을 일관되게 능가함을 보여줍니다.