FLEN: 확장 가능한 CTR 예측을 위한 필드 활용

클릭률(Click-Through Rate, CTR) 예측은 추천 시스템 및 온라인 광고와 같은 다양한 산업 응용 분야에서 필수적인 구성 요소로 자리 잡았다. CTR 예측 시스템은 일반적으로 다중 필드 범주형 특성(multi-field categorical features)을 기반으로 하며, 각 특성은 단 하나의 필드에만 속한다. 특성 간 결합(Feature conjunctions)을 효과적으로 모델링하는 것은 CTR 예측 정확도에 있어 핵심적인 요소이다. 그러나 모든 특성 결합을 명시적으로 모델링하기 위해서는 엄청난 수의 파라미터가 필요하며, 이는 실세계 생산 시스템에서는 확장성이 떨어지는 문제를 야기한다. 본 논문에서는 미투(Meitu)의 상용 추천 시스템에 배포되어 주요 트래픽을 처리하고 있는 새로운 Field-Leveraged Embedding Network(FLEN)을 제안한다. FLEN은 필드별 이중 상호작용 풀링(field-wise bi-interaction pooling) 기법을 도입하여, 필드 정보를 적절히 활용함으로써 소수의 모델 파라미터와 산업적 응용에 적합한 시간 복잡도로 필드 간 및 필드 내 특성 결합을 동시에 효과적으로 포착한다. 우리는 다양한 최신 CTR 모델들이 이 기법 아래에서 수학적으로 표현 가능함을 보여준다. 더불어, 독립적인 잠재 특성(latent features) 간의 공적 적응(co-adaptation)을 방지하기 위한 새로운 드롭아웃 기법인 Dicefactor를 개발하였다. 실질적인 생산 시스템에서 수행된 광범위한 실험, 즉 오프라인 평가와 온라인 A/B 테스트를 통해 FLEN이 기존 최첨단 기법들에 비해 뛰어난 효과성과 효율성을 입증하였다. 특히, 이전 버전(NFM) 대비 메모리 사용량과 계산 시간을 6분의 1로 줄이며 CTR 예측 성능에서 5.19%의 개선을 달성하였다.