ChatQA: GPT-4を上回る対話型QAとRAG

本研究では、GPT-4を上回る検索支援生成（Retrieval-Augmented Generation: RAG）と対話型質問応答（Conversational Question Answering: QA）のためのモデル群であるChatQAを紹介します。生成性能を向上させるために、二段階の指示微調整手法を提案し、これによりRAGの性能が大幅に向上しました。効果的な検索のために、対話型QAに最適化された稠密リトリーバーを導入しており、これが他の最先端のクエリ書き換えモデルと同等の結果をもたらす一方で、展開コストを大幅に削減しています。また、RAG、テーブル関連QA、算術計算、および答えられない質問が含まれるシナリオに関する包括的な評価を行う10つのデータセットから構成されるChatRAG Benchも提示します。Llama2というGPT-4よりも弱い基盤モデルを使用したChatQA-1.0-70B（スコア: 54.14）は、OpenAI GPTモデルからの合成データに依存せずに、ChatRAG BenchにおいてGPT-4-0613（スコア: 53.90）やGPT-4-Turbo-2024-04-09（スコア: 54.03）をわずかに上回ります。特にLlama3-ChatQA-1.5-70Bモデルは、GPT-4-Turbo-2024-04-09の精度を超えており、4.4%の改善を達成しています。この分野での研究を進めるために、我々はコミュニティに対してモデルの重み、指示微調整データ、ChatRAG Benchおよびリトリーバーをオープンソース化しました：https://chatqa-project.github.io/。