SWE-Exp: Erfahrungsbasierte Software-Problemlösung

Neuere Fortschritte bei großen Sprachmodellen (Large Language Models, LLM) mit Agenten haben beachtliche Fortschritte bei der Lösung von Softwareproblemen gezeigt, wobei fortschrittliche Techniken wie die Zusammenarbeit mehrerer Agenten und der Monte-Carlo-Baum-Suchalgorithmus (Monte Carlo Tree Search, MCTS) eingesetzt werden. Derzeit agieren jedoch die meisten Agenten als gedächtnislose Erkunder – sie behandeln jedes Problem separat und speichern oder nutzen keine Erkenntnisse aus früheren Reparaturversuchen. Dies führt zu einer unnötigen Wiederholung gescheiterter Lösungspfade und lässt Chancen verstreichen, bewährte Methoden zur Problemlösung auf ähnliche Aufgaben zu übertragen. Um dieses Problem anzugehen, stellen wir SWE-Exp vor, einen erfahrungsverstärkten Ansatz, der präzise und anwendbare Erfahrungen aus vorherigen Agenten-Pfaden extrahiert und somit kontinuierliches Lernen über verschiedene Probleme hinweg ermöglicht. Unser Verfahren führt eine mehrfach strukturierte Erfahrungsbank ein, die sowohl erfolgreiche als auch gescheiterte Reparaturversuche erfasst. Insbesondere werden wiederverwendbare Erkenntnisse zur Problemlösung auf unterschiedlichen Ebenen extrahiert – von der hochleveligen Problemerfassung bis hin zu spezifischen Codeänderungen. Experimente zeigen, dass SWE-Exp auf dem SWE-bench-Verified-Datensatz unter offenen Agenten-Frameworks eine führende Lösungsrate von 41,6 % (Pass@1) erreicht. Unser Ansatz etabliert ein neues Paradigma für automatisierte Software-Ingenieur-Agenten, das systematisches Ansammeln und Nutzen von Reparaturkompetenz ermöglicht und grundlegend von einer trial-and-error-orientierten Exploration hin zu einer strategischen, erfahrungsgeleiteten Problemlösung wechselt.