質問応答向けに、RAGアーキテクチャ全体（DPRリトリーバを含む）をファインチューニングする

本稿では、検索拡張生成（Retrieval Augmented Generation: RAG）アーキテクチャ全体をエンド・ツー・エンドの形で微調整する方法を提示する。この目的を達成するために克服すべき主なエンジニアリング上の課題についても詳述する。さらに、質問応答タスクにおいて、エンド・ツー・エンド型RAGアーキテクチャが従来のRAGアーキテクチャを上回る性能を発揮する様子を比較検証する。本研究の実装コードは、HuggingFace Transformersライブラリにてオープンソース化している。