기억하기, 인수분해하기, 또는 단순하게 하기: CTR 예측을 위한 최적의 특성 상호작용 방법 학습

클릭률 예측은 상용 추천 시스템에서 핵심적인 과제 중 하나이다. 이는 사용자 및 아이템의 특성 정보를 바탕으로 특정 아이템을 클릭할 확률을 예측하는 것을 목표로 한다. 특성 간 상호작용은 비선형성을 유발하므로, 이를 효과적으로 모델링함으로써 CTR 예측 모델의 성능을 향상시키는 데 널리 활용되고 있다. 따라서 특성 간 상호작용을 효과적으로 모델링하는 것은 연구계와 산업계 모두에서 큰 관심을 받고 있다. 현재의 접근 방식은 일반적으로 세 가지 유형으로 나뉜다. (1) 특성 상호작용을 모델링하지 않고 원본 특성만 사용하는 단순한 방법; (2) 특성 상호작용을 명시적으로 새로운 특성으로 간주하고 훈련 가능한 임베딩을 할당함으로써 기억하는 기억형 방법; (3) 원본 특성에 대해 잠재 벡터를 학습하고, 인자화 함수를 통해 특성 상호작용을 암묵적으로 모델링하는 인자화 방법이다. 기존 연구들은 이러한 세 가지 방법 중 하나만을 사용하는 경우, 서로 다른 특성 상호작용의 고유한 특성으로 인해 성능이 최적화되지 않음을 밝혀냈다. 이 문제를 해결하기 위해, 우리는 각 특성 상호작용에 가장 적합한 모델링 방법을 자동으로 찾아내는 일반적인 프레임워크인 OptInter를 제안한다. 최신의 다양한 딥 CTR 모델들은 모두 OptInter의 구체적인 사례로 볼 수 있다. OptInter의 기능을 구현하기 위해, 최적의 모델링 방법을 자동으로 탐색하는 학습 알고리즘도 도입하였다. 우리는 네 개의 대규모 데이터셋에서 광범위한 실험을 수행하였으며, 실험 결과 OptInter는 최고 성능을 보인 최신 딥 CTR 기준 모델보다 최대 2.21%의 성능 향상을 달성함을 확인하였다. 또한, 기존의 성능이 우수한 기억형 방법과 비교했을 때, 파라미터 수를 최대 91%까지 감소시켰다. 더불어 OptInter의 각 구성 요소가 성능에 미치는 영향을 분석하기 위한 여러 가지 아블레이션 연구를 수행하였다. 마지막으로, OptInter의 실험 결과에 대해 해석 가능한 논의를 제공한다.