Retrieval-Synthetic-NVDocs-v1 ist ein synthetischer Retrieval-Datensatz, der 2026 von NVIDIA auf der Grundlage öffentlich zugänglicher NVIDIA-Inhalte veröffentlicht wurde. Der Datensatz wurde mit dem NeMo Data Designer Framework erstellt und dient dem Training und der Evaluierung von Embedding-Modellen sowie Retrieval-Augmented Generation (RAG)-Systemen.

Der Datensatz umfasst 15.095 Datensätze und deckt 105.606 deduplizierte Frage-Antwort-Paare ab, wobei die Datenmenge zwischen 100 K und 1 M liegt. Er deckt verschiedene Inferenztypen wie faktische, relationale, prozedurale, inferenzielle, zeitliche, kausale und visuelle Aspekte ab sowie diverse Abfragetypen wie strukturelle, mehrstufige und kontextuelle Anfragen. Darüber hinaus enthält er extrahierte Entitäten, Schlüsselkonzepte, Beziehungen und Fachtermini als Dokumentartefakte, die vielfältige Trainingsignale für Retrieval- und Verständnisaufgaben bieten.

Datensatzzusammensetzung

• Top-Level-Felder: Umfassen file_name (Pfad zur Quelldatei), text (vollständiger Dokumenttext), chunks (Array von Dokument-Chunk-Objekten), sections_structured (formatierte Abschnittsstrings), bundle_id (Kennung für Mehrdokument-Bundles), document_artifacts (Objekt für extrahierte Metadaten und semantische Informationen), qa_generation (Objekt für generierte Frage-Antwort-Paare), deduplicated_qa_pairs (Array der deduplizierten Frage-Antwort-Paare) sowie qa_evaluations (Objekt zur Qualitätsbewertung der QA-Paare).
• Felder in Chunk-Objekten: Jeder Chunk enthält chunk_id, doc_chunk_index, start und end (Positionsindizes), sentence_count, text und word_count.
• Felder in Dokumentartefakten: Umfassen contextual_factors, entities, insights, key_concepts, processes, relationships, technical_terms und themes, wobei jeder Eintrag text, description und importance enthält.
• Felder für QA-Generierung: Frage-Antwort-Paare enthalten question, answer, query_type, reasoning_type, question_complexity, hop_count, hop_contexts und segment_ids.
• Felder für QA-Bewertung: Umfassen accuracy, clarity, context_support, relevance, overall und improvements, wobei die ersten vier Elemente justification und score enthalten.