LLMの要件を理解する：検索拡張生成のための二重嗜好アライメント

リトリーバル拡張生成（RAG）は、大規模言語モデル（LLM）の幻覚問題を軽減する効果を示しています。しかし、リトリーバーを多様なLLMの知識嗜好と整合させる難しさは、信頼性のあるRAGシステムの開発において避けられない課題となっています。この課題に対処するために、私たちはDPA-RAGという普遍的なフレームワークを提案します。このフレームワークは、多様な知識嗜好をRAGシステム内で整合させるために設計されています。具体的には、最初に嗜好知識構築パイプラインを導入し、5つの新しいクエリ拡張戦略を取り入れることで、嗜好データの不足を緩和します。DPA-RAGは、嗜好データに基づいて外部および内部の両方での嗜好整合を達成します：1) ペアワイズ、ポイントワイズ、およびコントラスティブな嗜好整合能力をランカーに統合し、RAGコンポーネント間での外部嗜好整合を実現します。2) 通常の監督微調整（SFT）前に事前整合ステージを導入することで、LLMが推論嗜好に合わせて整列された知識を暗黙的に捉えられるようにし、LLMの内部整合を達成します。4つの知識集約型QAデータセットにおける実験結果は、DPA-RAGがすべてのベースラインを超えており、ブラックボックスとオープンソースのLLMリーダー双方とのシームレスな統合が可能であることを示しています。さらに質的な分析や議論も提供され、信頼性のあるRAGシステムの達成に向けた経験的ガイダンスが得られます。私たちのコードは公開されており、以下のURLからアクセスできます：https://github.com/dongguanting/DPA-RAG。