대규모 아이템 카탈로그를 갖춘 순차적 추천을 위한 확장 가능한 교차 엔트로피 손실

생산화되는 현대 추천 시스템에서 확장성 문제는 핵심적인 역할을 한다. 경량 아키텍처라도 중간 계산으로 인해 높은 계산 부하를 겪을 수 있어 실세계 응용에서의 실용성을 제한할 수 있다. 특히, 전체 교차 엔트로피(Cross-Entropy, CE) 손실을 적용할 경우 추천 품질 측면에서 최고 성능을 달성하는 경우가 많다. 그러나 대규모 아이템 카탈로그를 다룰 때 GPU 메모리 사용량이 과도하게 증가하는 문제가 존재한다. 본 논문은 순차적 학습 환경에서 대규모 카탈로그 데이터셋을 대상으로 CE 손실을 근사하는 새로운 확장 가능한 교차 엔트로피(Scalable Cross-Entropy, SCE) 손실 함수를 제안한다. 이는 추천 품질을 희생하지 않으면서 시간 효율성과 메모리 사용 효율성을 동시에 향상시킨다. 기존의 음성 샘플링 기법과 달리, 본 연구는 가장 정보가 풍부한 카탈로그 요소, 특히 거짓 긍정(False Positive)일 가능성이 높은 요소에 집중하는 선택적 GPU 효율적인 계산 전략을 활용한다. 이를 위해 모델 출력의 부분 집합에 대해 최대 내적 곱 탐색(Maximum Inner Product Search, MIPS)을 통해 소프트맥스 분포를 근사한다. 다양한 데이터셋을 대상으로 한 실험 결과, SCE는 기존 방법 대비 최대 100배까지 피크 메모리 사용량을 감소시키며, 동일하거나 더 높은 성능 지표를 유지함을 입증하였다. 제안된 방법은 대규모 언어 모델을 포함한 다양한 분야에서의 대규모 개발 가능성을 열어주는 새로운 전망을 제시한다.