Orca AgentInstruct 1M 是由 Microsoft 于 2024 年发布的一个基于 AgentInstruct 框架生成的合成指令数据集，相关论文成果为「AgentInstruct: Toward Generative Teaching with Agentic Flows」，旨在为大型语言模型提供高质量指令微调数据。

该数据集包含约 100 万条合成指令对，所有提示和响应均使用 AgentInstruct 框架仅利用公开可用的原始文本内容作为种子生成。 使用完整 AgentInstruct 数据（约 2500 万条指令对）对 Mistral-7b 进行后训练得到的 Orca-3-Mistral 模型，在 AGIEval、MMLU、GSM8K 等多个基准测试中相比原始模型取得了显著提升。 数据涵盖文本编辑、创意写作、编程、阅读理解等多种能力维度，可用于任何基础大模型的指令微调研究。

数据集组成

• creative_content：创意内容生成。
• text_modification：文本修改与润色。
• struct2text_flow：结构化数据转文本。
• rc：阅读理解。
• rag：检索增强生成。
• text_extraction：文本信息提取。
• mcq：多项选择题。
• follow_up：后续问题生成与回答。
• analytical_reasoning：分析推理。
• fermi：费米估算问题。
• fs_cot_flow：少样本思维链推理。
• code：代码生成与编程。
• brain_teaser：脑筋急转弯与逻辑谜题。
• text_classification：文本分类。
• open_domain_qa：开放领域问答。

Citation

@misc{  
      title={ AgentInstruct: Toward Generative Teaching with Agentic Flows},  
      author={Arindam Mitra, Luciano Del Corro, Guoqing Zheng, Shweti Mahajan, Dany Rouhana, Andres Codas, Yadong Lu, Wei-ge Chen, Olga Vrousgos, Corby Rosset, Fillipe Silva, Hamed Khanpour, Yash Lara, Ahmed Awadallah}, 
      year={2024}, 
      eprint={ 2407.03502}, 
      archivePrefix={arXiv}, 
      primaryClass={cs.CL} 
}