新ツールがAI生成コードのサイレント失敗を検出

コロンビア大学DAP Labの研究者らは、LLMエージェントによるヴァイブコーディングで生成されたWebアプリに潜むサイレントビヘイビアフェイルを検出する静的解析ツールFlowCheckを開発した。自然言語のみでUIを構築できるヴァイブコーディングは、表面の動作は正常だが裏側のデータ保存や状態同期が失敗する欠点が常態化している。既存のLLM自己デバッグやユニットテストは非技術者に不向きで、複雑な条件分岐やハンドラ間のデータフロー見落としを回避できないのが実情だ。 FlowCheckは、ユーザーがブラウザ上のUI要素を直接クリックして制約を定義できるオーバーレイインターフェースを採用している。特定ボタン押下時にデータが特定コンポーネントに書き込まれるといった要件は形式言語に変換され、CodeQLエンジンによる静的解析クエリに自動コンパイルされる。これにより、UIアクションからストレージまでのデータフロー経路を検証する。 検証では、Claude Codeで生成した4アプリに30件の実際のデータフローバグを仕込みFlowCheckと最先端LLMを比較した。FlowCheckは全30件の欠陥を100％検出し、誤検知はゼロだった。一方、Claude Opus 4.7を始めとするLLMは詳細なプロンプト追加でも87％の検出率に留まり、特に跨ぐハンドラフローの追跡で脆弱性が顕在化した。プロンプトの複雑化は逆効果でバグを正当化する傾向さえ確認された。 FlowCheckはコード読解を不要としUIレベルの仕様自動検証を可能にする。ヴァイブコーディングの信頼性向上と、非開発者の実用化に新たな検証基準をもたらす。技術詳細は学術論文およびGitHubで公開済み。