TaskCraft: エージェンティックタスクの自動生成

エージェンシックタスクは、自律性を必要とする多段階の問題解決、ツールの使用、および適応的な推論が求められるため、NLP（自然言語処理）とAI（人工知能）の進歩においてますます中心的な役割を果たしています。しかし、既存の指示データにはツールとの相互作用が欠けており、現在のエージェンシックベンチマークは高コストの人間によるアノテーションに依存しているため、スケーラビリティに制限があります。本研究では、難易度を調整可能で、複数のツールを使用し、実行経路を持つエージェンシックタスクを生成する自動ワークフローである\textsc{TaskCraft}を導入します。\textsc{TaskCraft}は、深さベースと幅ベースの拡張を使用して原子的なタスクを拡大し、構造的にも階層的にも複雑な課題を作成します。実証結果によると、これらのタスクは生成ワークフローにおけるプロンプト最適化を改善し、エージェンシック基盤モデルの監督学習による微調整を向上させます。また、約36,000件の異なる難易度を持つ大規模な合成データセットを提供することで、将来のエージェント調整や評価に関する研究を支援します。