RepLiQA は、コンテキスト、質問、回答の 3 つの要素を含む評価データセットです。コンテキストは、現実には存在しない架空のエンティティ (人や場所など) に関する事実ではないものの、自然に見えるドキュメントです。 RepLiQA は、提供されたドキュメント内のコンテキスト情報を検索して使用する大規模言語モデル (LLM) の機能をテストするために手動で作成されました。既存の質問応答データセットとは異なり、RepLiQA の非事実的な性質は、トレーニング データから事実を記憶する LLM の能力によってモデルのパフォーマンスが妨げられないことを意味し、提供されたコンテキストを活用するモデルの能力をより自信を持ってテストできます。

RepLiQA 文書は、企業ポリシー、サイバーセキュリティ ニュース、地域の技術とイノベーション、地域の環境問題、地域の民間伝承と神話、地域の政治と経営、ニュース記事、地域の経済と市場、地域の教育システム、地域芸術など、17 のトピックまたは文書カテゴリをカバーしています。 ＆文化、ローカルニュース、中小企業、イベントレポート、地域の食べ物とレシピ、コミュニティのストーリー、地域のスポーツとイベント、地域の健康と福祉。これらのトピックでは非事実文書に注釈が付けられており、どこにも文書化されていない架空の/でっち上げられた実体をカバーしています。各文書には 5 つの質問と回答のペアが付属しています。