Shaolei Zhang Ju Fan Meihao Fan Guoliang Li Xiaoyong Du

要約

原始データソースからアナリストレベルの深層研究レポートに至るまで、自律的なデータサイエンスは長年の課題であり、近年、強力な大規模言語モデル（LLM）の登場により、実現可能性が高まっている。最近のワークフローに基づくデータエージェントは、特定のデータタスクにおいて有望な成果を示しているが、事前に定義されたワークフローに依存しているため、完全に自律的なデータサイエンスの実現には根本的な限界がある。本論文では、自律的データサイエンスを目的として設計された、世界初のエージェント型LLM「DeepAnalyze-8B」を紹介する。このモデルは、データソースからアナリストレベルの深層研究レポートに至るまで、エンド・トゥ・エンドのパイプラインを自動で遂行可能である。高複雑度のデータサイエンスタスクに対処するため、人間のデータサイエンティストの学習経路を模倣する「カリキュラムベースのエージェント型学習枠組み」を提案する。これにより、LLMは現実の環境において段階的に多様な能力を習得・統合することが可能となる。また、高品質な学習データを構築するための「データに基づく軌道合成フレームワーク」も導入する。エージェント型学習を通じて、DeepAnalyzeは、データ質問応答や専門的分析タスクから、開放型のデータ研究に至るまで、広範なデータタスクを処理する能力を習得する。実験の結果、わずか80億パラメータの規模で、従来の最先端のプロプライエタリLLMを基盤とするワークフロー型エージェントを上回る性能を発揮することが示された。本研究のモデル、コード、および学習データはオープンソース化されており、自律的データサイエンスの実現に向けた道筋が示された。