딥 인터랙션 머신: 고차원 특성 상호작용을 위한 간단하지만 효과적인 모델

클릭률(Click-Through Rate, CTR) 예측은 추천 시스템 및 온라인 광고와 같은 다양한 온라인 응용 분야에서 핵심적인 과제이다. CTR 예측의 목적은 고차원 입력 특징(feature)을 기반으로 사용자의 클릭 행동 발생 확률을 예측하는 것이다. 수작업으로 특징 공학(Feature Engineering)을 피하기 위해 CTR 예측의 핵심 과제는 입력 특징 간의 자동 상호작용을 모델링하는 것이다. 인자 분해 기계(Factorization Machine, FM)는 2차 특징 상호작용을 효과적으로 모델링하는 방법으로 널리 사용되고 있다. 최근에는 xDeepFM과 고차 인자 분해 기계(Higher-Order Factorization Machine, HOFM)와 같이 고차 상호작용을 모델링할 수 있도록 FM이 확장되었다. 그러나 이러한 접근법들은 높은 계산 복잡도를 가지거나 반복 계산을 통해 많은 시간과 메모리를 소모하는 단점이 있다. 이러한 문제를 해결하기 위해, 우리는 뉴턴 항등식(Newton's identities)에 기반하여 임의의 차수의 FM을 거듭제곱 합(power sums)의 형태로 표현하였다. 이를 바탕으로 새로운 상호작용 기계(Interaction Machine, IM) 모델을 제안한다. IM은 고차원 FM의 효율적이고 정확한 구현 방식으로, 계산 복잡도가 상호작용의 차수와 특징 필드의 수에 대해 선형적으로 증가한다. IM을 통해 임의의 차수의 특징 상호작용을 매우 간단한 방식으로 수행할 수 있다. 더불어, IM을 심층 신경망과 결합한 DeepIM 모델을 제안하였으며, 이는 xDeepFM과 비교해 유사하거나 더 우수한 성능을 보이면서도 더 높은 효율성을 갖는다. 실-world 데이터셋 두 개에서 수행한 실험을 통해 IM과 DeepIM의 효과성과 효율성이 강력하게 검증되었다.