FiBiNet++: CTR 예측을 위한 저랭크 특징 상호작용 레이어를 통한 모델 크기 축소

클릭률(Click-Through Rate, CTR) 추정은 다양한 실세계 응용 분야에서 가장 핵심적인 과제 중 하나가 되었으며, 이에 따라 여러 가지 심층 학습 모델이 제안되어 왔다. 일부 연구에서는 FiBiNet이 최고 성능을 보이는 모델 중 하나이며, Avazu 데이터셋에서 다른 모든 모델을 능가함을 입증한 바 있다. 그러나 FiBiNet의 큰 모델 크기는 그 보다 넓은 응용을 방해하는 주요 장애물이 되고 있다. 본 논문에서는 FiBiNet의 모델 구조를 재설계하기 위한 새로운 모델인 FiBiNet++을 제안한다. 이 모델은 성능을 더욱 향상시키면서도 모델 크기를 크게 줄이는 데 성공하였다. 주요 기술 중 하나로, 특성 상호작용에 초점을 맞춘 본 논문에서 제안한 ‘저랭크 레이어(Low Rank Layer)’를 도입하였으며, 이는 모델의 뛰어난 압축 비율을 달성하는 핵심 요소로 작용한다. 공개된 세 가지 데이터셋에서 실시한 광범위한 실험 결과, FiBiNet++은 FiBiNet의 임베딩을 제외한 모델 파라미터를 세 데이터셋에서 각각 12배에서 16배까지 감소시킴을 확인하였다. 또한, 최신 CTR 추정 기법들과 비교했을 때 FiBiNet++은 성능 면에서 뚜렷한 개선을 보이며, FiBiNet 자체의 성능을 넘어서는 결과를 얻었다.