REPLUG: 検索強化型ブラックボックス言語モデル

REPLUGという検索強化型言語モデルフレームワークを紹介します。このフレームワークは、言語モデル（LM）をブラックボックスとみなし、調整可能な検索モデルでそれを補完します。従来の検索強化型LMは、特殊なクロスアテンションメカニズムを使用して取得したテキストをエンコードするための言語モデルの訓練が必要でしたが、REPLUGは凍結されたブラックボックスLMへの入力に取得したドキュメントを単純に前置するだけで済みます。この単純な設計は、既存の任意の検索モデルや言語モデルに容易に適用できます。さらに、我々はLMが検索モデルの監督に使用できることを示し、これによりLMがより良い予測を行うために役立つドキュメントを見つけることができます。実験結果では、調整された検索器を使用したREPLUGがGPT-3（175B）の言語モデリング性能を6.3%向上させるとともに、Codexの5ショットMMLUでの性能も5.1%向上させることを確認しました。