Studie: AI-Programmierwerkzeuge verlangsamen erfahrene Entwickler Según nueva investigación, las herramientas de codificación AI no mejoran la productividad de los desarrolladores experimentados. (Note: The last part of the sentence is mistakenly in Spanish, and the correct German version should be: Studie: AI-Programmierwerkzeuge verlangsamen erfahrene Entwickler)

Ein Studienbericht des gemeinnützigen KI-Forschungsverbands METR, veröffentlicht am Donnerstag, bringt die erwarteten Produktivitätssteigerungen durch moderne KI-Codierungswerkzeuge wie Cursor und GitHub Copilot in Frage. Diese Werkzeuge, die auf KI-Modellen von OpenAI, Google DeepMind, Anthropic und xAI basieren, versprechen Softwareentwicklern, ihre Arbeitsabläufe zu verbessern, indem sie Codezeilen automatisch schreiben, Fehler beheben und Änderungen testen. Allerdings zeigte die Studie, dass die Verwendung von KI-Werkzeugen bei erfahrenen Entwicklern tatsächlich die Aufgabenbearbeitungszeit erhöhen kann. Die METR-Studie führte eine randomisierte kontrollierte Studie durch, bei der 16 erfahrene Open-Source-Entwickler ausgewählt wurden, um 246 echte Aufgaben in großen Code-Repositorys zu bearbeiten, an denen sie regelmäßig arbeiten. Die Aufgaben wurden zufällig als "KI-erlaubt" oder "KI-verboten" eingeteilt. Die Entwickler, die an der Studie teilnahmen, hatten zwar in der Regel Erfahrung mit webbasierten LLMs (Large Language Models), aber nur 56% hatten spezifische Erfahrungen mit Cursor, dem im Studienrahmen hauptsächlich verwendeten KI-Werkzeug. Dennoch wurden die Teilnehmer vor der Studie in der Nutzung von Cursor geschult. Die Entwickler prognostizierten vor Beginn der Aufgaben, dass die Verwendung von KI-Codierungswerkzeugen ihre Bearbeitungszeit um 24% reduzieren würde. Das Ergebnis war jedoch überraschend: Entwickler benötigten 19% mehr Zeit, wenn sie KI-Werkzeuge einsetzten. Die Studie deutet darauf hin, dass KI-Codierungswerkzeuge, insbesondere sogenannte "Vibe Coders," nicht unmittelbar die Arbeitsabläufe beschleunigen, wie oft behauptet wird. Die METR-Forscher sehen mehrere Gründe für diese Verzögerung. Zum einen verbringen Entwickler viel Zeit damit, KI-Prompts zu formulieren und auf Antworten zu warten, anstatt direkt zu codieren. Zum anderen haben KI-Werkzeuge Schwierigkeiten in großen, komplexen Codebasen, die in der Studie verwendet wurden. Trotzdem betonen die Autoren, dass ihre Ergebnisse keine weitreichenden Schlussfolgerungen über die aktuellen Fähigkeiten von KI-Systemen ziehen lassen. Andere umfangreiche Studien haben gezeigt, dass KI-Codierungswerkzeuge die Produktivität von Softwareentwicklern tatsächlich steigern können. Die Forscher erkennen auch die rapide Entwicklung von KI-Technologien an und erwarten, dass die Ergebnisse sich innerhalb weniger Monate ändern könnten. METR hat zudem beobachtet, dass KI-Codierungswerkzeuge in den letzten Jahren ihre Fähigkeit, komplexe, langfristige Aufgaben zu lösen, erheblich verbessert haben. Trotz dieser nuancierten Einschätzungen bietet die Studie weiteren Anlass, skeptisch gegenüber den versprochenen Produktivitätssteigerungen durch KI-Codierungswerkzeuge zu sein. Andere Studien haben bereits gezeigt, dass heutige KI-Codierungswerkzeuge Fehler einführen und in manchen Fällen sogar Sicherheitslücken schaffen können. Für Branchenkenner unterstreichen diese Ergebnisse, dass es wichtig ist, die Effekte von KI-Codierungswerkzeugen kritisch zu bewerten und dass deren Anwendung nicht pauschal als Produktivitätsbooster angesehen werden sollte. Unternehmen wie GitHub und OpenAI bleiben dabei führende Akteure in der Entwicklung und Förderung solcher Technologien, obwohl ihre Wirksamkeit bei erfahrenen Entwicklern noch nicht vollständig nachgewiesen ist. Die Studie legt nahe, dass KI-Codierungswerkzeuge zwar potenzialreiche Hilfsmittel sind, aber ihre Integration in bestehende Arbeitsabläufe sorgfältig geplant und evaluiert werden muss. Dies könnte insbesondere für Firmen relevant sein, die gerade dabei sind, solche Werkzeuge einzuführen, um ihre Entwicklerteams zu unterstützen. Die Forscher empfehlen, neben den technischen Aspekten auch die menschlichen Faktoren wie die Lernkurve und die Anpassungsfähigkeit der Entwickler bei der Einführung von KI-Werkzeugen zu berücksichtigen.