클릭률 예측을 위한 특성 집합 최적화

클릭률 예측(Click-through Prediction, CTR) 모델은 입력 특징 집합을 기반으로 특징을 잠재 벡터로 변환하고 가능한 특징 상호작용을 탐색하여 성능을 향상시킨다. 따라서 최적의 특징 집합을 선택할 때, 특징 자체뿐 아니라 그 특징 간 상호작용의 영향을 함께 고려해야 한다. 그러나 기존의 대부분의 연구는 특징 필드 선택에 집중하거나, 고정된 특징 집합을 기반으로 특징 상호작용만을 선택하는 방식을 채택한다. 전자의 경우 탐색 공간이 특징 필드 수준으로 제한되어 미세한 특징을 정밀하게 결정하는 데 한계가 있다. 또한 유용하지 않은 특징 상호작용을 필터링하지 않아 계산 비용이 증가하고 모델 성능이 저하된다. 후자의 경우 모든 가능한 특징에서 유용한 상호작용을 탐지하므로, 최종 특징 집합에 다수의 불필요한 특징이 포함되게 된다. 본 논문에서는 이러한 문제를 해결하기 위해 새로운 방법 OptFS를 제안한다. 특징과 그 상호작용의 선택을 통합하기 위해, 각 특징 상호작용의 선택을 두 개의 관련 특징 선택으로 분해한다. 이러한 분해는 다양한 특징 상호작용 연산에 대해 모델이 엔드 투 엔드로 학습 가능하게 한다. 특징 수준의 탐색 공간을 채택하여 각 특징이 특징 집합에 포함되어야 할지 여부를 결정하는 학습 가능한 게이트를 도입한다. 대규모 탐색 공간으로 인해, 이러한 게이트를 학습하기 위해 ‘계속 학습(learning-by-continuation)’ 기반의 훈련 방식을 개발하였다. 따라서 OptFS는 최종 예측 성능을 향상시키는 특징들만 포함하는 특징 집합을 생성한다. 실험적으로 세 가지 공개 데이터셋에서 OptFS를 평가한 결과, OptFS가 모델 성능을 향상시키는 특징 집합을 최적화할 뿐만 아니라 저장 및 계산 비용을 추가로 절감함을 입증하였다.