QualityFlow: プログラム合成をLLMが制御する能動的なワークフロー 品質チェック

プログラム合成のための動的なエージェントワークフローであるQualityFlowを紹介します。プログラミング問題の英語での説明と一連の単体テストが与えられた場合、モデルの目的は問題を解決し、テストに合格する正しいプログラムを合成することです。QualityFlowには、コード生成、テスト、自己デバッグを含むソフトウェア開発チームに似た大規模言語モデル（LLM）エージェントが含まれています。私たちは、合成されたプログラムの実行が単体テストに適合するかどうかを明示的に「想像」するLLM品質チェックャーを提案します。品質チェックはワークフローを動的に制御し、最終的な回答の提出、問題文の明確化、および以前のワークフローステップへの戻りなどのアクションを行います。私たちの実験結果は、品質チェックャーが任意の正しいプログラムを受け入れる精度が高く、誤った合成テストを軽減し、潜在的なワークフローの逸脱を防止できることを示しています。QualityFlowは4つのプログラム合成ベンチマーク（MBPP、HumanEval、およびより厳格な評価を行うMBPP-EvalPlusとHumanEval-EvalPlus）で最先端の結果を達成しています。