정확한 정규화가 중요한 이유: 클릭률 예측을 위한 깊은 신경망 모델에서 정규화의 영향 이해하기

정규화는 머신러닝 작업에서 많은 딥 신경망의 핵심 구성 요소로 자리 잡았으며, 딥 신경망은 또한 CTR(Click-Through Rate, 클릭률) 추정 분야에서 널리 활용되고 있다. 제안된 딥 신경망 모델 중 대부분은 정규화 기법을 활용하지 않는 경우가 많다. 일부 연구들인 Deep & Cross Network(DCN) 및 Neural Factorization Machine(NFM)은 구조 내 MLP(다층 퍼셉트론) 부분에 배치 정규화(Batch Normalization)를 사용하고 있지만, 정규화가 DNN 랭킹 시스템에 미치는 영향에 대해 체계적으로 탐구한 연구는 아직 부족하다. 본 논문에서는 DNN 모델의 특징 임베딩 및 MLP 부분에 다양한 정규화 기법을 적용함으로써, 널리 사용되는 정규화 방식의 효과를 체계적으로 연구한다. 실제 세 가지 데이터셋을 대상으로 실시한 광범위한 실험 결과, 적절한 정규화가 모델 성능을 크게 향상시킨다는 것이 입증되었다. 또한 본 연구에서는 레이어 정규화(LayerNorm) 기반으로 새로운 효과적인 정규화 방법인 ‘분산만을 고려한 레이어 정규화(Variance Only LayerNorm, VO-LN)’를 제안한다. 위의 관찰을 바탕으로 정규화를 강화한 DNN 모델인 NormDNN도 제안한다. CTR 추정에서 정규화가 DNN 모델에 효과를 발휘하는 이유에 대해서는, 본 연구에서 정규화의 분산이 주요 역할을 한다는 것을 발견하였으며, 이를 설명하고자 한다.