MemoNet: CTR 예측을 위한 다중 해시 코드북 네트워크를 통한 모든 크로스 피처 표현의 효율적 기억화

자연어 처리(NLP) 분야의 최신 연구 결과는 대규모 언어 모델(LLM)의 성공에 크게 기여하는 핵심 요소로 강력한 기억 능력이 있음을 보여주고 있다. 이에 영감을 받아, CTR 순위 모델에 독립적인 메모리 메커니즘을 명시적으로 도입하여 교차 특징(cross features)의 표현을 학습하고 기억하도록 하였다. 본 논문에서는 CTR 작업에서 교차 특징의 표현을 효율적으로 학습하고 기억하기 위한 메모리 메커니즘으로 다중 해시 코드북 네트워크(Multi-Hash Codebook NETwork, HCNet)를 제안한다. HCNet은 다중 해시 코드북을 주 메모리 저장소로 사용하며, 전체 메모리 프로세스는 세 단계로 구성된다: 다중 해시 주소 지정, 메모리 복원, 특징 축소. 또한, DNN 백본과 HCNet을 결합한 새로운 CTR 모델인 MemoNet을 제안한다. 세 가지 공개 데이터셋 및 온라인 실험을 통해 수행한 광범위한 실험 결과는 MemoNet이 최첨단 기법들보다 우수한 성능을 달성함을 입증하였다. 더불어 MemoNet은 NLP 분야의 대규모 언어 모델에서 관찰되는 스케일링 법칙을 보이며, HCNet 내 코드북의 크기를 확대함으로써 지속적인 성능 향상을 얻을 수 있음을 보여준다. 본 연구는 교차 특징의 표현을 학습하고 기억하는 것의 중요성과 실현 가능성을 입증하며, 새로운 전망 있는 연구 방향을 제시한다.