Retrieval-Synthetic-NVDocs-v1는 NVIDIA가 2026년에 공개한 공개 콘텐츠를 기반으로 생성된 합성 검색 데이터셋으로, NeMo Data Designer 프레임워크를 사용하여 생성되었으며 임베딩 모델 및 검색 증강 생성(RAG) 시스템의 학습 및 평가를 목적으로 합니다.

이 데이터셋은 15,095개의 레코드를 포함하며, 중복 제거된 105,606개의 질의응답 쌍을 다루고 있으며 데이터 양은 10만에서 100만 사이입니다. 데이터셋은 사실, 관계, 절차, 추론, 시간, 인과 및 시각적 추론 유형과 구조, 다중 홉 및 컨텍스트 기반 쿼리 유형을 포함하며, 추출된 엔티티, 주요 개념, 관계 및 기술 용어 등의 문서 아티팩트를 포함하여 검색 및 이해 작업을 위한 다양한 학습 신호를 제공합니다.

데이터셋 구성

• 최상위 필드: file_name(원본 파일 경로), text(전체 문서 텍스트), chunks(문서 청크 객체 배열), sections_structured(포맷된 섹션 문자열), bundle_id(다중 문서 묶음 식별자), document_artifacts(추출된 메타데이터 및 시맨틱 정보 객체), qa_generation(생성된 질의응답 쌍 객체), deduplicated_qa_pairs(중복 제거된 질의응답 쌍 배열) 및 qa_evaluations(질의응답 쌍 품질 평가 객체)를 포함합니다.
• 청크 객체 필드: 각 청크에는 chunk_id, doc_chunk_index, start 및 end(위치 인덱스), sentence_count, text 및 word_count가 포함됩니다.
• 문서 아티팩트 필드: contextual_factors, entities, insights, key_concepts, processes, relationships, technical_terms 및 themes를 포함하며, 각 항목에는 text, description 및 importance가 포함됩니다.
• QA 생성 필드: 질의응답 쌍에는 question, answer, query_type, reasoning_type, question_complexity, hop_count, hop_contexts 및 segment_ids가 포함됩니다.
• QA 평가 필드: accuracy, clarity, context_support, relevance, overall 및 improvements를 포함하며, 첫 네 항목에는 justification과 score가 포함됩니다.