Self-RAG：自己反省を通じた検索、生成、批判の学習

大規模言語モデル（LLM）は、そのパラメトリック知識にのみ依存しているため、事実上の誤りを含む応答を生成する傾向がある。これに対して、関連知識を検索してモデルに補完する「検索拡張生成（RAG）」というアドホックなアプローチは、こうした問題を軽減する効果がある。しかし、必要性や関連性にかかわらず、固定数の文書を無差別に検索・統合してしまう方法は、モデルの柔軟性を損なうか、役立たない応答を生成する原因となる。本研究では、検索と自己反省を通じてLLMの質および事実性を向上させる新たなフレームワーク「自己反省型検索拡張生成（Self-Reflective Retrieval-Augmented Generation, Self-RAG）」を提案する。本フレームワークは、任意のLLMを1つ学習させ、必要に応じて動的に文書を検索し、検索結果および自身の生成結果について特別なトークン（「反省トークン」）を用いて生成と反省を行う。反省トークンの生成により、推論段階でのLLMの制御が可能となり、多様なタスク要件に応じた行動の調整が可能になる。実験の結果、Self-RAG（7Bおよび13Bパラメータ）は、多様なタスクにおいて最先端のLLMおよび検索拡張モデルを顕著に上回ることが示された。特に、オープンドメインQA、推論、事実検証タスクにおいて、ChatGPTおよび検索拡張型Llama2-chatを上回り、長文生成における事実性および引用の正確性においても顕著な向上が確認された。