Orca AgentInstruct 1M est un jeu de données d'instructions synthétiques généré par Microsoft en 2024 sur la base du cadre AgentInstruct, présenté dans l'article scientifique « AgentInstruct: Toward Generative Teaching with Agentic Flows », et conçu pour fournir des données de micro-réglage d'instructions de haute qualité aux grands modèles de langage.

Ce jeu de données contient environ 1 million de paires d'instructions synthétiques. Toutes les invites et réponses ont été générées en utilisant uniquement le cadre AgentInstruct, avec des contenus textuels bruts publiquement disponibles comme graines. Le modèle Orca-3-Mistral, obtenu par post-entraînement de Mistral-7b sur l'ensemble complet des données AgentInstruct (environ 25 millions de paires d'instructions), a montré des améliorations significatives par rapport au modèle original sur divers benchmarks tels que AGIEval, MMLU et GSM8K. Les données couvrent de multiples dimensions de capacités, notamment l'édition de texte, l'écriture créative, la programmation et la compréhension de lecture, et peuvent être utilisées pour la recherche sur le micro-réglage d'instructions de tout grand modèle de base.

Composition du jeu de données

• creative_content : Génération de contenu créatif.
• text_modification : Modification et amélioration de texte.
• struct2text_flow : Conversion de données structurées en texte.
• rc : Compréhension de lecture.
• rag : Génération augmentée par récupération.
• text_extraction : Extraction d'informations textuelles.
• mcq : Questions à choix multiples.
• follow_up : Génération et réponse aux questions de suivi.
• analytical_reasoning : Raisonnement analytique.
• fermi : Problèmes d'estimation de Fermi.
• fs_cot_flow : Raisonnement en chaîne de pensée à faible nombre d'exemples.
• code : Génération de code et programmation.
• brain_teaser : Devinettes et énigmes logiques.
• text_classification : Classification de texte.
• open_domain_qa : Questions-réponses en domaine ouvert.

Citation

@misc{  
      title={ AgentInstruct: Toward Generative Teaching with Agentic Flows},  
      author={Arindam Mitra, Luciano Del Corro, Guoqing Zheng, Shweti Mahajan, Dany Rouhana, Andres Codas, Yadong Lu, Wei-ge Chen, Olga Vrousgos, Corby Rosset, Fillipe Silva, Hamed Khanpour, Yash Lara, Ahmed Awadallah}, 
      year={2024}, 
      eprint={ 2407.03502}, 
      archivePrefix={arXiv}, 
      primaryClass={cs.CL} 
}