13 天前

MLCopilot:释放大型语言模型在解决机器学习任务中的潜力

Lei Zhang, Yuge Zhang, Kan Ren, Dongsheng Li, Yuqing Yang
MLCopilot:释放大型语言模型在解决机器学习任务中的潜力
摘要

机器学习(Machine Learning, ML)领域已获得广泛应用,推动了将ML技术适配至特定场景的强烈需求。然而,这一过程通常成本高昂且实现复杂。当前主流的ML任务自动化方法(如AutoML)往往耗时较长,且对人类开发者而言难以理解。相比之下,尽管人类工程师具备卓越的任务理解能力与问题求解推理能力,但其经验与知识往往零散且难以被量化方法有效利用。本文旨在弥合机器智能与人类知识之间的鸿沟,提出一种新颖的框架,该框架利用前沿的大语言模型(Large Language Models, LLMs)为新任务开发机器学习解决方案。我们展示了将LLMs的能力拓展至理解结构化输入并进行深入推理,以应对新型ML任务的可行性。研究发现,经过针对性设计后,LLM能够(i)从已有ML任务经验中进行有效观察,并(ii)进行高效推理,从而为新任务生成具有竞争力的解决方案。所生成的解决方案可直接应用,达到高水平的性能表现。相关示例与代码已开源,详见:https://github.com/microsoft/CoML。