ニューラル再ランク付けからニューラルランク付けへ：インバーテッドインデキシングのためのスパース表現学習

大規模なデータと計算資源の可用性により、データ駆動型ニューラルアプローチは機械学習および情報検索の研究に大きな影響を与えているが、これらのモデルには効率性に関する根本的な課題が存在する。現在のニューラルランキングモデルは、マルチステージランカーとして実装されている：効率性を考慮して、ニューラルモデルは入力クエリに対して最初の段階で効率的に取得された上位ドキュメントのみを再ランク付けしている。ニューラルランキングモデルは濃密な表現（dense representations）を学習するため、本質的にすべてのクエリ語がすべてのドキュメント語とマッチしてしまうという問題があり、全コレクションのランク付けは極めて非効率的、あるいは現実的に不可能となる。このような第一段階のランカーに依存するアーキテクチャは二重の問題を引き起こす。第一に、クエリとドキュメント間の相互作用や組み合わせ効果が十分に理解されていない。第二に、第一段階のランカーが「ゲートキーパー」あるいはフィルターとして機能し、ニューラルモデルが新たな関連ドキュメントを発見する可能性を実質的に遮断している。本研究では、各クエリおよびドキュメントに対して潜在的なスパース表現（latent sparse representation）を学習できるように、スパース性（sparsity）の特性を導入することで、単体型ニューラルランキングモデル（Standalone Neural Ranking Model: SNRM）を提案する。この表現はクエリとドキュメント間の意味的関係を捉えつつも、十分にスパースであるため、全コレクションに対してインバーテッドインデックス（inverted index）を構築することが可能となる。モデルのスパース性をパラメータ制御することで、従来の語彙ベースのモデルと同等の効率性を実現できる。本モデルは効率性の低下を伴わず、効果性を維持しつつ、既存の語彙マッチングベースのベースラインを上回る性能を発揮する。また、最近の濃密表現を用いた再ランク付け型ニューラルモデルと同等の性能を達成している。さらに、本モデルは擬似関連フィードバック（pseudo-relevance feedback）を活用することで、さらなる性能向上が可能である。広く言えば、本研究の結果はニューラル情報検索（Neural IR）モデルにおけるスパース性の重要性を示しており、濃密表現を効果的にプルーニング（pruning）可能であることを示唆し、本質的な意味的特徴とその分布に関する新たな知見を提供している。