Der CLaRa-Datensatz für kontinuierliche latente Variablen-Inferenz wurde von Apple im Jahr 2025 veröffentlicht und dient als Datensammlung zur Unterstützung der retrieval-augmented generation (RAG) sowie des Schließens auf Basis kontinuierlicher Latenter Variablen. Die zugehörige Forschungsarbeit ist unter „CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning“ verfügbar. Ziel ist es, Trainings- und Evaluierungsdaten bereitzustellen, um die Fähigkeit von Modellen zum Beantworten von Fragen basierend auf komprimierten Dokumentendarstellungen zu trainieren und zu bewerten.

Dieser Datensatz umfasst Daten aus drei Hauptkategorien: Pretraining, Instructed Fine-Tuning und End-to-End-Fine-Tuning. Er deckt den Aufbau und die Bewertung verschiedener gängiger Frage-Antwort-Benchmarks ab, darunter 2WikiMultihopQA, HotpotQA, MuSiQue und Natural Questions. Mit einer Größe zwischen 10 GB und 100 GB liegt das Format einheitlich als JSONL vor und unterstützt sowohl positive Dokumente (Oracle-Szenario) als auch normale Retrieval-Szenarien. Dies macht ihn geeignet für Forschungen zu RAG, Dokumentenkompresseierung und komplexen QA-Aufgaben.

Zusammensetzung des Datensatzes

Der Datensatz besteht hauptsächlich aus folgenden drei Teilen; alle Daten werden im JSONL-Format gespeichert:

• Pretrainingsdaten: Werden verwendet, um einen Dokument-Kompressor zu trainieren. Enthält folgende Felder:

  • data_type: Datentyp (z.B. qa)
  • question: Liste mit Fragen
  • answers: Liste mit Antworten
  • docs: Liste mit Dokumentkontexten

• Feinjustierungsdaten (Fine-Tuning Data): Anweisungsbasierte Feinjustierungsdaten, die darauf ausgelegt sind, Modelle anhand von komprimierten Dokumentendarstellungen für QA-Aufgaben zu schulen. Enthält folgende Felder:

  • question: Zeichenfolge der Frage
  • docs: Liste der zurückgerufenen Dokumente
  • gold_answer: Standardantwort
  • answer: Antwort generiert vom Modell

Zudem enthält er Evaluationssätze für verschiedene Benchmarks (2wiki, hotpotqa, musique, nq), welche sich in zwei Konfigurationen unterscheiden: eine Oracle-Einstellung mit positiven Dokumenten (inst_eval*_with_pos) und eine Normal-Einstellung ohne diese (inst_eval*_no_pos).

• Daten für end-zu-end Feinjustierung (End-to-End Tuning Data): Vollständige Prozessdaten für das Training eines Models über den gesamten Workflow hinweg. Enthält folgende Felder:
  • question: Zeichenfolge der Frage
  • answer: Zeichenfolge der Antwort
  • docs: Liste der zurückgerufenen Dokumente
  • pos_index: Index des positiven Dokuments innerhalb der docs-Liste

Auch hier gibt es separate Trainings- und Evalutionsdatensätze. Für unterschiedliche Benchmark-Varianten (unsere Versionen: ours_2wiki, ours_hotpotqa, ours_musique, ours_nq) stehen jeweils zwei Einstellungen bereit: solche mit positiven Dokumenten (mit Positivdokument / with_pos) und jene ohne (ohne Positivdokument / no_pos).

Zitation

@misc{he2025clarabridgingretrievalgeneration,
      title={CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning}, 
      author={Jie He and Richard He Bai and Sinead Williamson and Jeff Z. Pan and Navdeep Jaitly and Yizhe Zhang},
      year={2025},
      eprint={2511.18659},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2511.18659}, 
}