RA-DIT：リトリーブ増強型デュアルインストラクションチューニング

検索拡張型言語モデル（RALMs）は、外部データストアから長尾領域や最新の知識にアクセスすることで性能を向上させるが、構築は困難である。既存のアプローチは、言語モデル（LM）の事前学習段階で高コストな検索特化型の修正を要するか、あるいはデータストアを後処理的に統合するため、最適な性能が得られない。本研究では、任意の大規模言語モデル（LLM）に検索機能を再設計（retrofitting）する軽量なファインチューニング手法である「検索拡張型二段階指示チューニング（RA-DIT）」を提案する。本手法は、以下の2段階のファインチューニングを実施する：（1）事前学習済みLMを、取得した情報をより効果的に活用できるように更新する段階、（2）LMが望むようなより関連性の高い結果を返すよう、検索器（retriever）を更新する段階。知識の活用と文脈理解を要するタスク上でファインチューニングを行うことで、各段階ともに顕著な性能向上を示し、両方を組み合わせることでさらなる改善が得られることを実証した。最良のモデルであるRA-DIT 65Bは、知識集約型のゼロショットおよびFew-shot学習ベンチマークにおいて、現行のコンテキスト内RALMアプローチを大幅に上回る最先端の性能を達成。特にゼロショット設定では平均で最大+8.9%、5ショット設定では平均で+1.4%の性能向上を示した。