약한 감독 하에 신경망 순위 모델

비즈니스 프로세스 개선에 있어 인상적인 성과를 거둔 비지도 딥 뉴럴 네트워크가 정보 검색의 순위 결정에서는 아직 그러한 성과를 보이지 않고 있다. 이는 순위 결정 문제의 복잡성 때문일 수 있으며, 감독 신호(예: 클릭 데이터)가 없는 상태에서 쿼리와 문서로부터 학습하는 방법이 명확하지 않기 때문이다. 따라서 본 논문에서는 인간 주석자나 외부 자원 없이 자동으로 라벨을 얻어 약한 지도(weak supervision)를 사용하여 신경 순위 모델을 훈련시키는 방법을 제안한다. 이를 위해 비지도 순위 모델(BM25 등)의 출력을 약한 지도 신호로 활용한다. 또한 피드포워드 뉴럴 네트워크 기반의 간단하면서도 효과적인 여러 순위 모델들을 추가로 훈련시킨다. 우리는 포인트-와이즈(point-wise) 및 페어-와이즈(pair-wise) 모델 등 다양한 학습 시나리오에서 이러한 모델들의 효과성을 연구하고, 입력 표현 방식(쿼리-문서 쌍을 밀집/희소 벡터로 인코딩하거나 워드 임베딩 표현을 사용하는 것 등)에 따라 그 결과를 분석한다. 우리는 수천만 개의 훈련 샘플을 사용하여 네트워크를 훈련시키고, 두 가지 표준 컬렉션인 동질적 뉴스 컬렉션(Robust)과 이종적 대규모 웹 컬렉션(ClueWeb)에서 성능을 평가하였다. 실험 결과, 적절한 목적 함수를 사용하고 약한 지도 데이터에 기반하여 입력 표현을 학습하도록 하면 BM25 모델보다 Robust 컬렉션에서는 13% 이상, ClueWeb 컬렉션에서는 35% 이상의 MAP(Mean Average Precision) 개선 효과를 얻을 수 있음을 확인하였다. 우리의 연구 결과는 대량의 약하게 라벨링된 데이터(비지도 IR 모델에서 쉽게 얻을 수 있는 데이터)를 사전 학습(pre-training)으로 활용하면 감독 신경 순위 모델이 크게 혜택 받을 수 있음을 시사한다.