DCN V2: 개선된 딥 앤 크로스 네트워크 및 웹 스케일 학습 순위 지정 시스템을 위한 실용적 교훈

추천 시스템을 구축하는 핵심은 효과적인 특성 교차(feature cross)를 학습하는 것이다. 그러나 희소하고 대규모의 특성 공간에서는 효과적인 교차를 탐색하기 위해 막대한 탐색이 필요하다. 이를 해결하기 위해 깊이 있는 및 교차 네트워크(Deep & Cross Network, DCN)가 제안되었으며, 이는 제한된 차수의 예측 가능한 특성 상호작용을 자동으로 효율적으로 학습할 수 있도록 했다. 그러나 수십억 개의 학습 예제를 처리하는 웹 규모의 트래픽 환경에서 DCN의 교차 네트워크는 더 예측력 있는 특성 상호작용을 학습하는 데 있어 표현력이 제한적인 것으로 나타났다. 비록 많은 연구 진전이 이루어졌음에도 불구하고, 여전히 많은 실용적 딥러닝 모델은 특성 교차를 비효율적으로 학습하기 위해 전통적인 순전파 신경망을 사용하고 있다.DCN과 기존의 특성 상호작용 학습 기법들의 장단점을 고려하여, 우리는 대규모 산업 환경에서 DCN의 실용성을 높이기 위한 개선된 프레임워크인 DCN-V2를 제안한다. 광범위한 하이퍼파라미터 탐색과 모델 튜닝을 포함한 종합적인 실험 연구를 통해, DCN-V2가 인기 있는 벤치마크 데이터셋에서 기존 최고 성능 알고리즘을 모두 능가함을 관찰하였다. 개선된 DCN-V2는 더 높은 표현력을 갖추면서도 특성 상호작용 학습에서 비용 효율성을 유지하며, 특히 낮은 랭크 아키텍처의 혼합 구조와 결합할 경우 더욱 두드러진 성능을 발휘한다. DCN-V2는 구조적으로 간단하며, 쉽게 구성 요소로 활용할 수 있으며, 구글에서 운영하는 여러 웹 규모의 랭킹 학습 시스템에서 오프라인 정확도와 온라인 비즈니스 지표 모두에서 상당한 성능 향상을 달성하였다.