KI-Code-Agenten produzieren stille Fehler. Jetzt aufspüren.
Das sogenannte Vibe Coding, bei dem KI-Modelle auf Basis natürlichsprachlicher Prompts vollständig funktionsfähige Webanwendungen generieren, stößt bei der praktischen Anwendung an gravierende Grenzen. Ein zentrales Problem dabei sind so genannte silent failures: Die Benutzeroberfläche zeigt auf den ersten Blick ein korrektes Verhalten an, die dahinterliegende Datenverarbeitung scheitert jedoch im Verborgenen. Beispiele hierfür sind erfolgreich simulierte Warenkorb-Updates oder angewendete Rabattcodes, ohne dass die Daten tatsächlich in der Datenbank persistiert werden. Da diese Fehler oft erst durch manuelles Studium des generierten Quellcodes auffallen, wird der eigentliche Vorteil des promptsbasierten Arbeitens zunichtegemacht. Um diese Lücke zu schließen, hat ein Forscherteam am DAP Lab der Columbia University in New York das Analysewerkzeug FlowCheck entwickelt. Die Methode überbrückt die Diskrepanz zwischen visueller Erwartung und technischer Implementierung, indem sie statische Codeanalyse mit nutzerfreundlichen Interfaces kombiniert. Anstatt Programmierkenntnisse zu benötigen, definieren Anwender das gewünschte Verhalten direkt über die Benutzeroberfläche der Anwendung. Ein Overlay erfasst dabei Aktionen und erwartete Datenflüsse. Diese visuellen Spezifikationen werden automatisch in eine formale Constraint-Sprache übersetzt und schließlich in CodeQL-Abfragen umgewandelt. CodeQL wandelt den Quellcode in eine relationale Datenbank um, woraufhin FlowCheck systematisch prüft, ob ein vollständiger Datenpfad von der Benutzereingabe bis zur gewünschten Datenspeicherung existiert und auf allen Ausführungswegen garantiert wird. In einer umfassenden Evaluation wurden vier nach bekannten Plattformen nachgebildete Anwendungen getestet, die mittels KI-Tools erstellt wurden. Dabei wurden gezielte, schwer erkennbare Datenflussfehler injiziert. FlowCheck identifizierte einhundert Prozent der eingebrachten Verletzungen der definierten Constraints ohne falsche Positivmeldungen. Zum Vergleich wurden führende frontier-KI-Modelle wie Claude Opus 4.7, DeepSeek V3 und Gemini Pro eingesetzt. Auch bei höchstdetaillierten Prompts erreichten die Modelle maximal 87 Prozent Trefferquote. Besonders komplexe Querverbindungen zwischen Handler-Funktionen und bedingte Verzweigungen blieben selbst bei fortgeschrittenen Modellen häufig unerkannt. Die Ergebnisse unterstreichen, dass aktuelle KI-basierte Debugging-Ansätze für nicht-technische Nutzer unzureichend bleiben. FlowCheck demonstriert den Mehrwert deterministischer Analyseverfahren, die visuelle Anforderungen automatisch in verlässliche technische Prüfungen übersetzen. Das Tool sowie die zugrundeliegende Forschung sind öffentlich einsehbar und bieten einen praktikablen Ansatz, um die Qualität KI-generierter Software zu sichern, bevor sie produktiv eingesetzt wird.
