클릭률 예측을 위한 깊은 관심 네트워크

클릭률 예측은 온라인 광고와 같은 산업 응용 분야에서 필수적인 작업입니다. 최근에는 딥 러닝 기반 모델이 제안되어, 이는 유사한 임베딩 및 다층 퍼셉트론(Embedding\&MLP) 패러다임을 따릅니다. 이러한 방법에서는 대규모 희소 입력 특성이 먼저 저차원 임베딩 벡터로 매핑되고, 그 다음에 그룹별로 고정 길이 벡터로 변환된 후, 마지막으로 연결(concatenated)되어 다층 퍼셉트론(MLP)에 입력되어 특성 간의 비선형 관계를 학습합니다. 이렇게 하면 사용자 특성이 후보 광고와 무관하게 고정 길이 표현 벡터로 압축됩니다. 고정 길이 벡터의 사용은 병목 현상이 될 수 있으며, 이는 Embedding\&MLP 방법들이 풍부한 역사적 행동에서 사용자의 다양한 관심사를 효과적으로 포착하는 데 어려움을 초래합니다. 본 논문에서는 이 문제를 해결하기 위해 새로운 모델인 딥 인터레스트 네트워크(Deep Interest Network, DIN)를 제안합니다. DIN은 특정 광고에 대한 역사적 행동으로부터 사용자의 관심사 표현을 적응적으로 학습하도록 설계된 로컬 활성화 유닛(local activation unit)을 도입하여, 이 표현 벡터가 다른 광고에 따라 달라집니다. 이를 통해 모델의 표현 능력이 크게 향상됩니다. 또한, 우리는 수백만 개의 매개변수를 가진 산업용 딥 네트워크의 학습을 돕기 위한 두 가지 기술인 미니 배치 인식 정규화(mini-batch aware regularization)와 데이터 적응형 활성화 함수(data adaptive activation function)를 개발하였습니다. 두 공개 데이터셋과 20억 개 이상의 샘플을 포함하는 알리바바 실제 생산 데이터셋에서 수행된 실험들은 제안된 접근 방식들의 유효성을 입증하며, 최신 방법들보다 우수한 성능을 보여주었습니다. DIN은 현재 알리바바의 온라인 디스플레이 광고 시스템에 성공적으로 배포되어 주요 트래픽을 서비스하고 있습니다.