EnronQA: 私有ドキュメント向け個人化RAGの新ベンチマークデータセット発表

EnronQA：プライベートドキュメントに対するパーソナライズされたRAG向けベンチマーク 検索増強生成（RAG）は、大規模言語モデル（LLM）に知識集約型のコンテキストを導入するための最も人気のある手法の一つとなっています。これは、微調整のコストやデータ漏洩のリスクを負うことなく、ローカルなコンテキストを推論時に持ち込むことが可能なためです。RAGは、プライベート情報をLLMの学習データと明確に区別できるため、多くの企業でのLLM活用人.loadワークフローの基礎となっています。これにより、企業は顧客のプライベートドキュメントを活用してLLMの理解能力を強化できます。 しかし、現行のRAGワークフローのベンチマーキングや最適化のための評価指標は、主にウィキペディアや一般ウェブページなどの公開データに依存しており、個人化されたコンテキストの包含は限られています。この課題に対処するため、我々はEnronQAベンチマークデータセットを公開しました。このデータセットには、150人の異なるユーザーのメールボックスから抽出された103,638通のメールと528,304の質問-回答ペアが含まれています。 EnronQAは、プライベートデータに基づくRAGワークフローのより効果的なベンチマーキングを可能にし、実際のデータ上でパーソナライズされた検索設定を試験することができます。さらに、このデータセットを用いて、プライベートドキュメント処理における記憶と検索の間のトレードオフについても探求しています。EnronQAの公開によって、パーソナライズされたRAGアプリケーションの開発と評価がより進展することが期待されます。