무한 추천 네트워크: 데이터 중심적 접근법

우리는 무한히 넓은 신경망 학습과 동등한 관계를 갖는 신경 탄성 커널(Neural Tangent Kernel)을 활용하여, 무한히 넓은 Bottleneck 레이어를 갖는 자동인코더인 $\infty$-AE를 제안한다. 그 결과, 단일 하이퍼파라미터와 폐쇄형 해를 가지며, 표현력은 뛰어나면서도 구조적으로 단순한 추천 모델이 도출된다. $\infty$-AE의 단순성에 기반하여, 우리는 추천 시스템의 핵심 데이터인 사용자-아이템 상호작용 행렬의 가장 중요한 지식을 효율적이고 정확한 후속 데이터 활용(예: 모델 학습, 추론, 아키텍처 탐색 등)을 위해 소형이면서도 고정밀도의 데이터 요약을 생성하는 Distill-CF를 개발하였다. 이는 추천에 있어 데이터 중심적 접근을 제안하며, 학습 알고리즘에 독립적으로 기록된 사용자 피드백 데이터의 품질을 향상시키는 것을 목표로 한다. 특히, 데이터의 이질성, 희소성, 반구조적 특성을 다룰 수 있는 미분 가능한 Gumbel-샘플링 기법을 활용함으로써, 수억 건에 달하는 사용자-아이템 상호작용 데이터셋에 대해 확장 가능한 해결책을 제공한다. 제안하는 두 가지 접근법은 각각의 최신 기술 대비 크게 우수한 성능을 보이며, 둘을 결합할 경우 원래 데이터셋 크기의 단지 0.1%만으로도 전체 데이터셋에서 $\infty$-AE의 성능의 96~105%를 달성한다. 이는 직관에 반하는 질문을 제기하게 만든다: 더 많은 데이터가 더 나은 추천을 위한 필수 조건일까?