Retrieval-Synthetic-NVDocs-v1 est un jeu de données de récupération synthétique généré à partir de contenu public NVIDIA, publié par NVIDIA en 2026. Généré à l'aide du framework NeMo Data Designer, ce jeu de données vise à entraîner et à évaluer les modèles d'embeddings ainsi que les systèmes de génération augmentée par récupération (RAG).

Ce jeu de données contient 15 095 enregistrements, couvrant 105 606 paires question-réponse dédupliquées, avec un volume de données compris entre 100 K et 1 M. Le jeu de données couvre divers types de raisonnement tels que factuel, relationnel, procédural, inférentiel, temporel, causal et visuel, ainsi que divers types de requêtes comme structurelles, multi-sauts et contextuelles. Il inclut également des artefacts documentaires tels que des entités extraites, des concepts clés, des relations et des termes techniques, offrant des signaux d'entraînement variés pour les tâches de récupération et de compréhension.

Composition du jeu de données

• Champs de premier niveau : incluent file_name (chemin du fichier source), text (texte complet du document), chunks (tableau d'objets de segments de document), sections_structured (chaîne de sections formatées), bundle_id (identifiant de regroupement multi-documents), document_artifacts (objet de métadonnées extraites et d'informations sémantiques), qa_generation (objet de paires question-réponse générées), deduplicated_qa_pairs (tableau de paires question-réponse dédupliquées) et qa_evaluations (objet d'évaluation de la qualité des paires QA).
• Champs des objets de segment : chaque segment contient chunk_id, doc_chunk_index, start et end (indices de position), sentence_count, text et word_count.
• Champs des artefacts documentaires : incluent contextual_factors, entities, insights, key_concepts, processes, relationships, technical_terms et themes, chacun contenant text, description et importance.
• Champs de génération QA : les paires question-réponse incluent question, answer, query_type, reasoning_type, question_complexity, hop_count, hop_contexts et segment_ids.
• Champs d'évaluation QA : incluent accuracy, clarity, context_support, relevance, overall et improvements, les quatre premiers contenant justification et score.