HyperAI
Command Palette
Search for a command to run...
Retrieval-Synthetic-NVDocs-v1 合成检索数据集
Retrieval-Synthetic-NVDocs-v1 是由 NVIDIA 于 2026 年发布的一个基于 NVIDIA 公开内容生成的合成检索数据集,该数据集使用 NeMo Data Designer 框架生成,旨在训练和评估嵌入模型与检索增强生成(RAG)系统。
该数据集包含 15,095 条记录,涵盖 105,606 对去重后的问答对,数据量在 100 K 到 1 M 之间。 数据集涵盖事实、关系、程序、推理、时间、因果和视觉等多种推理类型,以及结构、多跳和上下文等多种查询类型,并包含提取的实体、关键概念、关系和技术术语等文档工件,为检索和理解任务提供多样化的训练信号。
数据集组成
- 顶层字段:包括 file_name(源文件路径)、text(完整文档文本)、chunks(文档分块对象数组)、sections_structured(格式化章节字符串)、bundle_id(多文档捆绑标识)、document_artifacts(提取的元数据和语义信息对象)、qa_generation(生成的问答对对象)、deduplicated_qa_pairs(去重后的问答对数组)以及 qa_evaluations(QA 对质量评估对象)。
- 分块对象字段:每个分块包含 chunk_id、doc_chunk_index、start 和 end(位置索引)、sentence_count、text 和 word_count。
- 文档工件字段:包含 contextual_factors、entities、insights、key_concepts、processes、relationships、technical_terms 和 themes,每项包含 text、description 和 importance。
- QA 生成字段:问答对包含 question、answer、query_type、reasoning_type、question_complexity、hop_count、hop_contexts 和 segment_ids。
- QA 评估字段:包含 accuracy、clarity、context_support、relevance、overall 和 improvements,其中前四项包含 justification 和 score。
此数据集由社区用户贡献,仅用于教育和信息目的。如有任何内容涉及版权侵权,请通过 [email protected] 联系我们,我们将及时审核并删除。