OptEmbed: 클릭률 예측을 위한 최적 임베딩 테이블 학습

클릭률(Click-through Rate, CTR) 예측에서 임베딩 테이블 학습은 모델 성능과 메모리 사용 측면에서 핵심적인 역할을 한다. 임베딩 테이블은 두 차원의 텐서로, 각 축은 특성 값의 수와 임베딩 차원을 나타낸다. 효율적이고 효과적인 임베딩 테이블을 학습하기 위해 최근 연구들은 각 특성 필드에 대해 다양한 임베딩 차원을 할당하거나 임베딩 테이블의 파라미터를 마스킹하는 방식을 채택하고 있다. 그러나 기존의 모든 방법들은 최적의 임베딩 테이블을 도출하지 못하고 있다. 한편으로는, 특성 수가 방대한 데이터셋에서 다양한 임베딩 차원을 사용하더라도 여전히 막대한 메모리 사용이 발생한다. 다른 한편으로는, 임베딩 수를 줄이는 것은 일반적으로 성능 저하를 초래하며, 이는 CTR 예측에서 용납될 수 없는 문제이다. 마지막으로, 임베딩 파라미터를 절단(pruning)하면 희소한 임베딩 테이블이 생성되며, 이는 실시간 배포에 어려움을 초래한다. 이를 해결하기 위해, 다양한 기본 CTR 모델에 대해 최적의 임베딩 테이블을 찾는 실용적이고 일반적인 방법을 제안하는 OptEmbed라는 프레임워크를 제안한다. 구체적으로, 각 특성의 중요도에 따라 학습 가능한 절단 기준(learnable pruning thresholds)을 활용해 불필요한 임베딩을 제거하는 방식을 제안한다. 또한, 다양한 임베딩 차원 할당을 하나의 후보 아키텍처로 통합하여 고려한다. 최적의 임베딩 차원을 효율적으로 탐색하기 위해, 모든 후보 아키텍처를 동일하게 학습할 수 있도록 균일한 임베딩 차원 샘플링 방식을 설계하였으며, 이는 아키텍처 관련 파라미터와 학습 가능한 기준이 하나의 슈퍼넷(supernet) 내에서 동시에 학습됨을 의미한다. 이후, 슈퍼넷 기반의 진화 탐색(evolution search) 방법을 제안하여 각 특성 필드에 대한 최적의 임베딩 차원을 탐색한다. 공개 데이터셋을 이용한 실험 결과, OptEmbed는 모델 성능을 향상시킬 수 있는 컴팩트한 임베딩 테이블을 효과적으로 학습함을 입증하였다.