
최근의 랭킹 학습(Learning to Rank) 연구들은 회귀 트리의 앙상블로부터 신경망을 효과적으로 소화(distill)할 수 있음을 보여주었다. 이러한 결과는 신경망이 랭킹 작업에서 트리 기반 앙상블과 자연스럽게 경쟁 가능한 존재가 되게 했다. 그러나 CPU에서 점수를 매기는 상황에서는 여전히 트리 기반 앙상블이 신경망 모델보다 효율성과 효과성 면에서 우수한 성능을 보이고 있다. 본 논문에서는 지식 소화(Knowledge Distillation), 절단(Pruning), 그리고 빠른 행렬 곱셈(Fast Matrix Multiplication)의 조합을 적용하여 신경망의 점수 산출 시간을 가속화하는 새로운 접근법을 제안한다. 먼저, 회귀 트리의 앙상블로부터 얕은 신경망을 지식 소화를 통해 학습한다. 그 후, 효율성 중심의 절단 기법을 활용하여 신경망 중 가장 계산 부담이 큰 계층들을 희소화(sparse)하고, 최적화된 희소 행렬 곱셈을 통해 점수를 산출한다. 또한, 밀집(Dense) 및 희소(Sparse) 고성능 행렬 곱셈을 체계적으로 분석함으로써, 점수 산출 시간을 예측하는 모델을 개발하였으며, 이는 원하는 효율성 요구사항을 충족하는 신경망 아키텍처 설계에 기여한다. 공개된 두 개의 랭킹 학습 데이터셋을 대상으로 실시한 종합적인 실험 결과, 본 논문에서 제안한 새로운 방법으로 생성된 신경망은 트리 기반 앙상블과 비교했을 때, 효과성-효율성 트레이드오프의 어느 지점에서도 경쟁력이 있으며, 랭킹 품질에 영향을 주지 않으면서도 최대 4배의 점수 산출 시간 가속화를 달성함을 입증하였다.