要約
最近のラーニング・トゥ・ランク（Learning to Rank）に関する研究では、回帰木のアンサンブルからニューラルネットワークを効果的に蒸留（distillation）する可能性が示された。この成果により、ニューラルネットワークは順序付けタスクにおける木ベースのアンサンブルと自然な競合関係に位置づけられるようになった。しかし、特にCPU上でスコアリングを行う場合、回帰木のアンサンブルは効率性および有効性の面でニューラルモデルを上回っている。本論文では、蒸留、構造的削減（pruning）、高速行列乗算の組み合わせを用いて、ニューラルネットワークのスコアリング時間を高速化する手法を提案する。まず、回帰木のアンサンブルから浅いニューラルネットワークを知識蒸留により学習する。次に、効率性を重視した構造的削減技術を適用し、計算負荷の高い層を疎化（sparsification）した上で、最適化された疎行列乗算によりスコアリングを行う。さらに、密行列および疎行列の高性能乗算を詳細に分析することで、スコアリング時間の予測モデルを構築し、目的の効率要件を満たすニューラルネットワークアーキテクチャの設計を支援する。公開されている2つのラーニング・トゥ・ランクデータセットを用いた包括的な実験により、本研究で提案する新手法によって得られたニューラルネットワークは、木ベースのアンサンブルと比較して、有効性と効率性のトレードオフの任意の点において競争力を持つことが確認された。特に、ランキング品質に影響を与えることなく、最大4倍のスコアリング時間の高速化を達成した。