INTERVENOR: Die Kodierungsfähigkeit großer Sprachmodelle durch interaktive Reparaturkette erweitern

Dieses Papier stellt INTERVENOR (INTERaktive chaiN Of Reparatur) vor, ein System, das die interaktiven Code-Reparaturprozesse nachahmt, die bei Menschen beobachtet wurden, und sowohl Code-Diagnose als auch Code-Reparatur umfasst. INTERVENOR fordert große Sprachmodelle (LLMs) auf, während des Code-Reparaturprozesses unterschiedliche Rollen zu übernehmen, indem sie sowohl als Code-Lerner als auch als Code-Lehrer fungieren. Insbesondere ist der Code-Lerner mit der Aufgabe betraut, Anweisungen zu befolgen, um Code zu generieren oder zu reparieren, während der Code-Lehrer verantwortlich ist für die Erstellung einer Reparaturkette (Chain-of-Repair, CoR), die dem Code-Lerner als Leitfaden dient. Bei der Generierung der CoR muss der Code-Lehrer den von dem Code-Lerner erzeugten Codes prüfen und anhand des vom Compiler erhaltenen Fehlerfeedbacks neu bewerten, wie er Fehler im Code behandeln soll.Experimentelle Ergebnisse zeigen, dass INTERVENOR Basismodelle übertrifft und Verbesserungen von etwa 18 % und 4,3 % in den Aufgaben der Code-Generierung und -Übersetzung gegenüber GPT-3.5 aufweist. Unsere weiteren Analysen belegen, dass die CoR effektiv ist, um die Ursachen von Fehlern in natürlicher Sprache zu erläutern und Lösungspläne darzulegen. Mit dem Feedback von Codes-Compilern kann INTERVENOR Syntaxfehler und Assert-Fehler genau identifizieren und präzise Anweisungen zur Reparatur des Codes geben. Alle Daten und Codes sind unter https://github.com/NEUIR/INTERVENOR verfügbar.