Das Orca AgentInstruct 1M Dataset ist ein synthetisches Instruktionsdatenset, das von Microsoft im Jahr 2024 auf der Grundlage des AgentInstruct-Frameworks veröffentlicht wurde. Der zugehörige Forschungsartikel ist unter AgentInstruct: Toward Generative Teaching with Agentic Flows verfügbar. Das Ziel des Datasets ist die Bereitstellung hochwertiger Daten für das Instruction Fine-Tuning großer Sprachmodelle.

Das Dataset enthält etwa eine Million synthetische Instruktionspaare. Alle Prompts und Antworten wurden ausschließlich unter Verwendung öffentlich verfügbarer Rohdaten als Seed-Daten mit dem AgentInstruct-Framework generiert. Das Modell Orca-3-Mistral, das durch Post-Training von Mistral-7b mit dem vollständigen AgentInstruct-Datensatz (ca. 25 Millionen Instruktionspaare) erzeugt wurde, zeigt im Vergleich zum ursprünglichen Modell erhebliche Leistungssteigerungen in mehreren Benchmark-Tests wie AGIEval, MMLU und GSM8K. Die Daten decken verschiedene Fähigkeitsbereiche ab, darunter Textbearbeitung, kreatives Schreiben, Programmierung und Leseverständnis, und können für die Instruction-Fine-Tuning-Forschung mit beliebigen Basismodellen großer Sprachmodelle verwendet werden.

Zusammensetzung des Datasets

• creative_content: Generierung kreativer Inhalte.
• text_modification: Textbearbeitung und -polierung.
• struct2text_flow: Umwandlung strukturierter Daten in Text.
• rc: Leseverständnis.
• rag: Retrieval-Augmented Generation.
• text_extraction: Extraktion von Textinformationen.
• mcq: Multiple-Choice-Fragen.
• follow_up: Generierung und Beantwortung von Folgefragen.
• analytical_reasoning: Analytisches Schlussfolgern.
• fermi: Fermi-Schätzprobleme.
• fs_cot_flow: Few-Shot Chain-of-Thought-Schlussfolgerung.
• code: Codegenerierung und Programmierung.
• brain_teaser: Rätsel und logische Denksportaufgaben.
• text_classification: Textklassifizierung.
• open_domain_qa: Frage-Antwort-Aufgaben im offenen Bereich.

Zitation

@misc{  
      title={ AgentInstruct: Toward Generative Teaching with Agentic Flows},  
      author={Arindam Mitra, Luciano Del Corro, Guoqing Zheng, Shweti Mahajan, Dany Rouhana, Andres Codas, Yadong Lu, Wei-ge Chen, Olga Vrousgos, Corby Rosset, Fillipe Silva, Hamed Khanpour, Yash Lara, Ahmed Awadallah}, 
      year={2024}, 
      eprint={ 2407.03502}, 
      archivePrefix={arXiv}, 
      primaryClass={cs.CL} 
}