QualityFlow: Ein agenter Workflow für die Programm-Synthese, gesteuert durch LLM Qualitätsprüfungen

Wir stellen QualityFlow vor, einen dynamischen agentialen Workflow für die Programmsynthese.Gegeben eine englische Beschreibung eines Programmierproblems und ein Set von Unit-Tests,ist das Ziel des Modells, das korrekte Programm zu synthetisieren, das das Problem löstund die Tests besteht. QualityFlow umfasst Agenten großer Sprachmodelle (LLM), die einem Softwareentwicklungsteam entsprechen,darunter Codegenerierung, Testing und Selbstdebugging. Wir schlagen den LLM-Qualitätsprüfer vor,der explizit "vorstellt", ob die Ausführung der synthetisierten Programme den Unit-Tests entsprechen würde.Die Qualitätsprüfungen kontrollieren den Workflow dynamisch, einschließlich Aktionen zurAbgabe der endgültigen Antwort, Klarstellung des Problems und Rückgängigmachen früherer Workflow-Schritte.Unsere Experimente zeigen, dass der Qualitätsprüfer jedes korrekte Programm präzise akzeptieren kann,fehlerhafte synthetisierte Tests abmildern kann und potenzielle Workflow-Abweichungen verhindern kann.QualityFlow erzielt standesüberragende Ergebnisse auf vier Benchmarks für Programmsynthese: MBPP, HumanEvalund strengere Bewertungen von MBPP-EvalPlus und HumanEval-EvalPlus.