Shaolei Zhang Ju Fan Meihao Fan Guoliang Li Xiaoyong Du

摘要

从原始数据源到分析师级别的深度研究报告，实现自主化数据科学一直是长期存在的挑战。随着强大大型语言模型（LLMs）的出现，这一目标如今正变得切实可行。尽管近期基于工作流的数据智能体在特定数据任务上已展现出良好效果，但由于其对预设工作流的依赖，仍难以真正实现完全自主的数据科学。本文提出 DeepAnalyze-8B，这是首个专为自主数据科学设计的智能体型大语言模型，能够自动完成从数据源到分析师级深度研究报告的端到端流程。为应对高复杂度的数据科学任务，我们提出一种基于课程学习的智能体训练范式，模拟人类数据科学家的学习路径，使大语言模型能够在真实环境中逐步习得并整合多种能力。此外，我们还引入了一种数据驱动的轨迹合成框架，用于构建高质量的训练数据。通过该智能体化训练，DeepAnalyze 能够执行广泛的数据任务，涵盖数据问答、专业分析任务，以及开放式的数据研究。实验结果表明，仅使用 80 亿参数，DeepAnalyze 在性能上已超越此前基于多数先进专有大语言模型构建的工作流型智能体。本文公开了 DeepAnalyze 的模型、代码及训练数据，为迈向真正自主的数据科学铺平了道路。