CLaRa連続潜在変量推論データセットは、Appleが2025年に公開した検索強化生成と連続潜在変量推論のためのデータセットです。関連論文は「CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning」で、圧縮された文書表現における質問応答タスクのモデル訓練および評価データを支援することを目的としています。

このデータセットには、事前学習、指示ファインチューニング、エンドツーエンド微調整という3つのカテゴリが含まれており、2WikiMultihopQA、HotpotQA、MuSiQue、Natural Questionsなど、複数の主要な質問応答ベンチマークの構築用および評価用のデータを含みます。 データ規模は比較的大きく（10G〜100Gの範囲）、形式は一貫してJSONLであり、正解ドキュメント（Oracle）を含むシナリオや通常の検索シナリオに対応しており、検索強化生成（RAG）、文書圧縮、複雑な質問応答タスクの研究に適用可能です。

データセット構成

データセットは主に以下の3つのパートで構成されており、すべてのデータはJSONL形式で保存されています：

• 事前学習データ (Pretraining)：文書圧縮器を学ぶための事前学習データ。含まれるフィールド：

  • data_type: データタイプ（例：qa）
  • question: 問題リスト
  • answers: 回答リスト
  • docs: ドキュメントコンテキストリスト

• ファインチューニングデータ (Fine-Tuning Data)：圧縮された文書表現に基づく質問応答トレーニングを行うための指示ファインチューニングデータ。含まれるフィールド：

  • question: 問題文字列
  • docs: 取得されたドキュメントリスト
  • gold_answer: 標準的な答え
  • answer： モデルによって生成された答え

さらに、異なるベンチマークテスト（2wiki, hotpotqa, musique, nq）に対する評価セットも含まれています。これらは、正解ドキュメントを含むOracle設定（inst_eval*_with_pos）と通常の設定（inst_eval*_no_pos）に分かれます。

• エンドツーエンド微調整データ (End-to-End Tuning Data)：エンドツーエンドのモデルトレーニングのための完全なフローデータ。含まれるフィールド：
  • question: 問題文字列
  • answer: 回答文字列
  • docs: 取得されたドキュメントリスト
  • pos_index: docsリスト内での正解ドキュメントのインデックス

これもまたトレーニングセットと評価セットに分かれており、異なるベンチマークテスト（ours_2wiki, ours_hotpotqa, ours_musique, ours_nq）に対して、正解を含む（with_pos）場合と含まない（no_pos）場合の2種類の設定が用意されています。

エンドツーエンド微調整データ (End-to-End Tuning Data)：エンドツーエンドのモデルトレーニングのための完全なフローデータ。含まれるフィールド：

• question: 問題文字列
• answer: 回答文字列
• docs: 取得されたドキュメントリスト
• pos_index: docsリスト内での正解ドキュメントのインデックス

これもまたトレーニングセットと評価セットに分かれており、異なるベンチマークテスト（ours_2wiki, ours_hotpotqa, ours_musique, ours_nq）に対して、正解を含む（with_pos）場合と含めない（no_pos）場合の2種類の設定が用意されています。

引用

@misc{he2025clarabridgingretrievalgeneration,
      title={CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning}, 
      author={Jie He and Richard He Bai and Sinead Williamson and Jeff Z. Pan and Navdeep Jaitly and Yizhe Zhang},
      year={2025},
      eprint={2511.18659},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2511.18659}, 
}