Weichun Shi Minghao Liu Wanting Zhang Langchen Shi Fuqi Jia et al

Abstract

Constraint Programming (CP) ist eine entscheidende Technologie zur Lösung realweltrelevanter Constraint-Optimierungsprobleme (COPs), da sie über eine reichhaltige Modellierungssemantik und hohe Lösungseffizienz verfügt. Die automatisierte Erzeugung formaler Modelle für COPs mittels Großsprachmodellen (LLMs) wird zu einem vielversprechenden Ansatz, der darauf abzielt, vertrauenswürdige neuro-symbolische KI mit Hilfe symbolischer Solver zu entwickeln. Allerdings hat CP im Vergleich zu Arbeiten, die auf Operations-Research-(OR)-Modellen basieren, bisher weniger Aufmerksamkeit erhalten. Wir stellen ConstraintLLM vor, das erste LLM, das speziell für die CP-Modellierung entwickelt wurde und auf einem Open-Source-LLM mittels mehrfach instruierter, überwachter Feinabstimmung trainiert wurde. Wir schlagen das Constraint-Aware Retrieval Module (CARM) vor, um die Fähigkeit des Kontextlernens zu steigern, welches in einen Tree-of-Thoughts (ToT)-Rahmen mit einer geführten Selbstkorrektur integriert ist. Darüber hinaus haben wir IndusCP, den ersten industriellen Benchmark für CP-Modellierung, erstellt und veröffentlicht, der 140 herausfordernde Aufgaben aus verschiedenen Domänen umfasst. Unsere Experimente zeigen, dass ConstraintLLM eine state-of-the-art-Lösungsgenauigkeit auf mehreren Benchmarks erreicht und die Baselines auf dem neuen IndusCP-Benchmark um das Zweifache übertrifft. Der Quellcode und die Daten sind unter folgender URL verfügbar: this https URL.