Weichun Shi Minghao Liu Wanting Zhang Langchen Shi Fuqi Jia et al

要約

制約プログラミング（Constraint Programming, CP）は、現実世界の制約最適化問題（COP）を解決する上で重要な技術であり、豊かなモデル化の意味論と高い解法効率という利点を持つ。制約最適化問題（COP）に対して大規模言語モデル（LLM）を用いて形式的なモデルを自動生成するアプローチが、記号的ソルバーを活用して信頼性の高い神経記号型AIを構築するという観点から注目されている。しかし、従来のオペレーションズ・リサーチ（OR）モデルに基づく研究に比べ、CP分野はまだ十分な注目を受けていない。本研究では、CPモデリングに特化した初のLLMであるConstraintLLMを提案する。ConstraintLLMは、オープンソースのLLMを基盤とし、複数の指示を用いた教師あり微調整（multi-instruction supervised fine-tuning）によって学習されている。さらに、コンテキスト内学習能力を向上させるため、制約に配慮した検索モジュール（Constraint-Aware Retrieval Module, CARM）を提案し、ガイド付き自己修正機構を備えたTree-of-Thoughts（ToT）フレームワークに統合した。また、CPモデリングのための初の産業レベルのベンチマークとして、複数の分野から抽出された140の困難なタスクを含むIndusCPを構築・公開した。実験結果から、ConstraintLLMは複数のベンチマークで最先端の解法精度を達成し、新規に構築したIndusCPベンチマークにおいてベースラインを2倍の性能で上回ることが明らかになった。コードとデータは以下のURLで公開されている：this https URL。