FCN: 클릭률 예측을 위한 지수 및 선형 크로스 네트워크 융합

클릭률(CTR) 예측에서 중요한 모델링 패러다임으로, 딥 앤 크로스 네트워크(DCN) 및 그 유도 모델들은 계산 비용과 성능 간의 균형에서의 성공으로 인해 널리 주목받고 있다. 이 패러다임은 선형 증가하는 특성 상호작용을 명시적으로 모델링하기 위해 크로스 네트워크를 사용하며, 동시에 딥 신경망(DNN)을 활용하여 고차원 특성 상호작용을 암묵적으로 포착한다. 그러나 이러한 모델들은 여전히 몇 가지 핵심적인 한계를 안고 있다: (1) 기존의 명시적 특성 상호작용 방법은 암묵적인 DNN에 비해 성능이 뒤처져 있어, 전체 모델 성능이 DNN에 의해 주도되는 경향이 있다; (2) 이러한 모델들은 고차원 특성 상호작용을 포착한다고 주장하지만, 실제로는 이러한 상호작용 내부에 존재할 수 있는 잡음(노이즈)을 무시하는 경우가 많다; (3) 서로 다른 상호작용 네트워크 브랜치의 학습 과정에는 적절한 감독 신호가 부족하다; (4) DNN에 의존하는 방식으로 인해 모델이 포착하는 고차원 특성 상호작용은 종종 암묵적이며 해석이 불가능하다.이러한 한계를 해결하기 위해 본 논문에서는 새로운 모델인 병합 크로스 네트워크(Fusing Cross Network, FCN)를 제안하며, 이를 보완하는 두 가지 하위 네트워크인 선형 크로스 네트워크(Linear Cross Network, LCN)와 지수 크로스 네트워크(Exponential Cross Network, ECN)를 도입한다. FCN은 선형과 지수적 증가를 모두 갖춘 명시적 특성 상호작용을 모델링함으로써, 암묵적인 DNN에 의존할 필요 없이 고차원 상호작용을 효과적으로 포착할 수 있다. 더불어, 노이즈를 계층적으로 필터링하고 크로스 네트워크의 파라미터 수를 절반으로 줄이기 위해 자가 마스크(Self-Mask) 연산을 제안한다. 이러한 두 가지 크로스 네트워크를 효과적으로 학습시키기 위해, 각 네트워크에 맞춤형 감독 신호를 제공하는 간단하면서도 효과적인 손실 함수인 Tri-BCE를 제안한다. 제안된 모델의 효과성, 효율성 및 해석 가능성은 여섯 개의 벤치마크 데이터셋에서 평가되었다. 또한 LCN과 ECN을 통합함으로써 FCN은 새로운 최고 성능(State-of-the-art)을 달성하였다.