Weichun Shi Minghao Liu Wanting Zhang Langchen Shi Fuqi Jia et al

초록

제약 프로그래밍(Constraint Programming, CP)은 실제 세계의 제약 최적화 문제(Constraint Optimization Problems, COPs)를 해결하는 데 핵심적인 기술로, 풍부한 모델링 의미론과 높은 해법 효율성이라는 장점을 지닌다. 제약 최적화 문제에 대한 형식적 모델링을 대규모 언어 모델(Large Language Models, LLMs)을 활용해 자동으로 생성하는 것은 신호-심볼릭 인공지능(신호-심볼릭 AI)을 신뢰할 수 있는 방식으로 구축하기 위해 심볼릭 솔버를 활용하려는 전망 있는 접근법으로 부상하고 있다. 그러나 기존의 운영 연구(Operations Research, OR) 모델 기반 연구에 비해 CP 분야는 상대적으로 덜 주목받아 왔다. 본 연구에서는 CP 모델링을 위해 특화된 최초의 LLM인 ConstraintLLM을 제안한다. ConstraintLLM은 오픈소스 LLM을 기반으로 다중 지시어(supervised fine-tuning)를 통해 훈련되었으며, 컨텍스트 내 학습 능력을 향상시키기 위해 제약 인지형 검색 모듈(Constraint-Aware Retrieval Module, CARM)을 제안한다. 이 모듈은 사고의 나무(Tree-of-Thoughts, ToT) 프레임워크에 통합되어 가이드된 자기 수정 메커니즘을 갖추고 있다. 또한, CP 모델링을 위한 최초의 산업 수준 벤치마크인 IndusCP를 구축하고 공개한다. IndusCP는 다양한 분야에서 도출된 140개의 도전적인 과제를 포함하고 있다. 실험 결과, ConstraintLLM은 여러 벤치마크에서 최신 기준(SOTA) 수준의 해법 정확도를 달성하였으며, 새로운 IndusCP 벤치마크에서 기존 기준 모델 대비 2배 이상 우수한 성능을 보였다. 코드 및 데이터는 다음 URL에서 제공된다: this https URL.