Orca AgentInstruct 1M は、Microsoft が 2024 年に公開した、AgentInstruct フレームワークに基づいて生成された合成指示データセットであり、関連する論文成果は「AgentInstruct: Toward Generative Teaching with Agentic Flows」です。これは、大規模言語モデルに対して高品質な指示微調整データを提供することを目的としています。

このデータセットには約 100 万件の合成指示ペアが含まれており、すべてのプロンプトと応答は、AgentInstruct フレームワークを用いて、公開されている元のテキストコンテンツのみをシードとして生成されました。 完全な AgentInstruct データ（約 2,500 万件の指示ペア）を用いて Mistral-7b を事後学習して得られた Orca-3-Mistral モデルは、AGIEval、MMLU、GSM8K などの複数のベンチマークテストにおいて、元のモデルと比較して著しい性能向上を達成しました。 データは、テキスト編集、創造的執筆、プログラミング、読解など、多様な能力領域をカバーしており、あらゆる基礎的な大規模モデルの指示微調整研究に利用可能です。

データセットの構成

• creative_content：創造的コンテンツの生成。
• text_modification：テキストの修正と推敲。
• struct2text_flow：構造化データからテキストへの変換。
• rc：読解。
• rag：検索拡張生成。
• text_extraction：テキストからの情報抽出。
• mcq：多肢選択問題。
• follow_up：追加質問の生成と回答。
• analytical_reasoning：分析推論。
• fermi：フェルミ推定問題。
• fs_cot_flow：少数サンプル思考連鎖推論。
• code：コード生成とプログラミング。
• brain_teaser：なぞなぞと論理パズル。
• text_classification：テキスト分類。
• open_domain_qa：オープンドメインの質問応答。

引用

@misc{  
      title={ AgentInstruct: Toward Generative Teaching with Agentic Flows},  
      author={Arindam Mitra, Luciano Del Corro, Guoqing Zheng, Shweti Mahajan, Dany Rouhana, Andres Codas, Yadong Lu, Wei-ge Chen, Olga Vrousgos, Corby Rosset, Fillipe Silva, Hamed Khanpour, Yash Lara, Ahmed Awadallah}, 
      year={2024}, 
      eprint={ 2407.03502}, 
      archivePrefix={arXiv}, 
      primaryClass={cs.CL} 
}