Le jeu de données CLaRa pour l’inférence à variables latentes continues est un ensemble publié par Apple en 2025, conçu pour la génération assistée par récupération et l’inférence sur des représentations continues latentesses. Les résultats associés sont publiés dans « CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning ». Il vise à fournir des données d’entraînement et d’évaluation afin de soutenir les capacités de réponse aux questions des modèles lorsque les documents sont compressés.

Ce jeu de données comprend trois grandes catégories : pré-entraînement, ajustement fin supervisé (instruction tuning), et ajustement fin de bout en bout. Il couvre plusieurs benchmarks populaires de type QCM/RQ (comme 2WikiMultihopQA, HotpotQA, MuSiQue, Natural Questions) tant au niveau construction qu’à celui de l’évaluation. La taille du jeu de données est importante (entre 10 Go et 100 Go), le format étant uniformément JSONL. Il prend en charge les documents positifs (oracle) ainsi que les scénarios classiques de recherche documentaire, ce qui le rend adapté à l’étude de la Génération Assistée par Récupération (RAG), de la compression de documents et des tâches complexes de réponses aux questions.

Composition du jeu de données

Le jeu de données se compose principalement des trois parties suivantes, toutes stockées au format JSONL :

• Données de pré-entraînement : utilisées pour apprendre le compresseur de documents. Elles contiennent les champs suivants :

  • data_type : type de donnée (par exemple, qa)
  • question : liste de questions
  • answers : liste de réponses
  • docs : liste de contextes documentaires

• Données d’ajustement fin : données d’ajustement fin basées sur des instructions, destinées à entraîner les systèmes à répondre aux questions à partir de représentations compressées de documents. Champs inclus :

  • question : chaîne contenant la question
  • docs : liste de documents récupérés
  • gold_answer : réponse de référence
  • answer : réponse générée par le modèle

Par ailleurs, il existe également des jeux d’évaluation conçus pour différents benchmarks (2wiki, hotpotqa, musique, nq), divisés entre une configuration oracle incluant des documents positifs (inst_eval*_with_pos) et une configuration standard sans ces documents positifs (inst_eval*_no_pos).

• Données d’ajustement fin de bout en bout : données complètes permettant l’entraînement complet de modèles intégrés. Ces dernières comportent les champs suivants :
  • question : chaîne contenant la question
  • answer : chaîne contenant la réponse
  • docs : liste de documents récupérés
  • pos_index : index du document positif dans la liste docs

Celles-ci sont aussi séparées en ensembles d’apprentissage et d’évaluation ; elles proposent deux configurations selon les benchmarks spécifiques utilisés (ours_2wiki, ours_hotpotqa, musique, nq) avec inclusion ou non de documents positifs respectivement appelées with_pos et no_pos.

Ajustement Fin De Bout En Bout (End-To-End Fine-Tuning): Données entières servant directement à former intégralement le système final. Contient notamment :

• Question sous forme textuelle
• Réponse finale attendue
  Documents Retrieves
  Index Positif

Elles peuvent être subdivisées comme suit : Apprentissage vs Evaluation & Selon Benchmark choisi soit Avec/ Sans Documents Positifs Inclus

Citation

@misc{he2025clarabridgingretrievalgeneration,
      title={CLaRa: Bridging Retrieval and Generation with Continuous Latent Reasoning}, 
      author={Jie He and Richard He Bai and Sinead Williamson and Jeff Z. Pan and Navdeep Jaitly and Yizhe Zhang},
      year={2025},
      eprint={2511.18659},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2511.18659}, 
}