AutoFIS: 클릭-through 비율 예측을 위한 인자 분해 모델에서의 자동 특성 상호작용 선택

클릭률(CTR) 예측에서 특성 간 상호작용을 학습하는 것은 매우 중요하다. 기존의 대부분의 딥러닝 모델에서는 특성 간 상호작용이 수작업으로 설계되거나 단순히 전부 나열되는 방식을 사용한다. 그러나 모든 특성 간 상호작용을 나열하는 방식은 큰 메모리와 계산 비용을 수반한다. 더 나쁜 점은 무의미한 상호작용이 노이즈를 유발하고 학습 과정을 복잡하게 만든다는 것이다. 본 연구에서는 계산 비용이 타겟 모델의 수렴까지 학습하는 것과 동일한 수준으로 유지되면서, 자동으로 중요한 특성 간 상호작용을 식별할 수 있는 이단계 알고리즘인 자동 특성 상호작용 선택(Automatic Feature Interaction Selection, AutoFIS)을 제안한다. \emph{검색 단계}에서는 후보 특성 상호작용의 이산 집합을 탐색하는 대신, 아키텍처 파라미터를 도입하여 선택을 연속적으로 완화한다. 아키텍처 파라미터에 정규화된 최적화기를 적용함으로써, 모델은 학습 과정 중에 부정확하거나 불필요한 특성 상호작용을 자동으로 식별하고 제거할 수 있다. \emph{재학습 단계}에서는 아키텍처 파라미터를 주의(attention) 단위로 유지하여 성능을 추가로 향상시킨다. 세 개의 대규모 데이터셋(공개 벤치마크 두 개, 사내 데이터셋 하나)을 대상으로 한 오프라인 실험 결과, AutoFIS는 다양한 FM 기반 모델의 성능을 크게 향상시켰다. AutoFIS는 화웨이 앱스토어 추천 서비스의 학습 플랫폼에 배포되었으며, 10일간의 온라인 A/B 테스트 결과, DeepFM 모델의 클릭률(CTR)과 전환율(CVR)에서 각각 20.3%, 20.1% 향상되는 효과를 입증하였다.