Weichun Shi Minghao Liu Wanting Zhang Langchen Shi Fuqi Jia et al

摘要

约束编程（Constraint Programming, CP）是解决现实世界中约束优化问题（COPs）的关键技术，具有建模语义丰富和求解效率高等优势。利用大语言模型（Large Language Models, LLMs）自动为COPs生成形式化模型，正逐渐成为一项有前景的方法，旨在借助符号求解器构建可信的神经符号人工智能系统。然而，与基于运筹学（Operations Research, OR）模型的研究相比，CP领域仍受到较少关注。为此，我们提出了ConstraintLLM——首个专为CP建模设计的大语言模型，其基于开源LLM，通过多指令监督微调进行训练。我们进一步提出了约束感知检索模块（Constraint-Aware Retrieval Module, CARM），以增强模型的上下文学习能力，并将其集成至思维树（Tree-of-Thoughts, ToT）框架中，结合引导式自我修正机制，提升建模质量。此外，我们构建并发布了IndusCP——首个面向工业级的CP建模基准数据集，包含来自多个领域的140个具有挑战性的任务。实验结果表明，ConstraintLLM在多个基准上均达到了当前最优的求解准确率，在新发布的IndusCP基准上，其性能相较基线方法提升了2倍。代码与数据已公开，获取地址为：此链接。